« Développement d’un modèle d’IA auto-amélioré (1,5 Md de paramètres)

« Développement d’un modèle d’IA auto-amélioré (1,5 Md de paramètres) avec apprentissage par renforcement (RL) pour < 50 $. »

Description de la Mission
Objectif : Reproduire le modèle DeepSeek R1 (Berkeley) en utilisant une architecture légère (ex: TinyLlama) et des techniques d’apprentissage par renforcement (RL).

Tâches :

Configurer un modèle de base (1,5 Md de paramètres).

Implémenter un environnement RL avec PPO pour l’auto-amélioration.

Générer des données synthétiques via self-instruct.

Optimiser les coûts (< 50 $) avec LoRA et la quantification INT8.

Valider le modèle sur des benchmarks (GSM8K, MMLU).

Livrables :

Code source (GitHub).

Modèle prêt à l’emploi (Hugging Face).

Rapport technique (coûts, performances, exemples de raisonnement).

Budget et Délai
Budget : 500 €

Délai : 4 semaines.