Déploiement d’un LLM open source local & sur OVH + Packaging et API

Nous recherchons un freelance expérimenté pour :

Créer un package permettant de déployer un LLM open source récent (DeepSeek, Mistral, LLaMA, etc.).

Ce package devra pouvoir tourner en local (CPU/GPU) pour les tests et développements.

Nous accompagner dans le déploiement propre et sécurisé sur OVH (dimensionnement GPU, configuration, bonnes pratiques).

Concevoir une API REST compatible OpenAI (completions, embeddings) afin que nous puissions l’utiliser de manière interchangeable avec d’autres APIs commerciales (OpenAI, Azure…) dans nos applications.

L’architecture sera totalement indépendante de notre application Django Ninja : le modèle doit être servi sur une machine dédiée OVH.

Profil recherché
✅ Expérience confirmée sur le déploiement de LLM open source récents
✅ Maîtrise Docker, Python, FastAPI ou Flask
✅ Bonne connaissance des GPU OVH et de la stack CUDA
✅ Idéalement pratique d’infrastructure as code (Terraform, Ansible)

Le modèle doit permettre des sorties json. A indiquée en tout cas. Il nous faut au moins un modèle comme ça.