Application IA web navigation sur les sites, scraper, fetch, analyse &

Tu es un ingénieur logiciel senior spécialisé en scraping avancé, FastAPI, parsing JSON, et machine learning prédictif.
Je veux que tu construises une application web complète avec les caractéristiques suivantes :
🎯 OBJECTIF PRINCIPAL
Créer une application IA web qui :
Permet à l’utilisateur de coller une URL d’un match provenant de :
SofaScore
365Scores
Récupère automatiquement les données du match via leurs endpoints JSON internes (NE PAS parser le HTML brut si possible).
Nettoie, structure et stocke les données.
Analyse les données via un module IA.
Génère des prédictions fiables (1X2, Over/Under, BTTS, score probable).
📊 DONNÉES À EXTRAIRE
Pour chaque match :
1️⃣ Détail du match
Équipes
Date
Compétition
Stade
Score
Statistiques principales
2️⃣ Classement actuel des deux équipes
3️⃣ Compositions officielles
Titulaires
Remplaçants
Formation
4️⃣ Absences (si disponible)
5️⃣ Head-to-head
5 à 10 derniers matchs
Scores
Moyenne buts
Tendance
6️⃣ Comparaison statistiques
Possession
Tirs
xG si disponible
Moyenne buts marqués
Moyenne encaissés
7️⃣ Évolution des cotes (si disponible via endpoint)
8️⃣ Streaks
Série de victoires
Série de défaites
Série Over/Under
BTTS streak
🏗 ARCHITECTURE À CRÉER <br />Backend <br />Python 3.11
FastAPI
httpx (requêtes async)
Playwright (fallback si endpoint bloqué)
Pydantic models
PostgreSQL
SQLAlchemy ORM
Structure des dossiers
Copier le code

/app
main.py
config.py
database.py
models/
schemas/
scrapers/
sofascore.py
scores365.py
services/
data_cleaner.py
feature_engineering.py
predictor.py
routers/
match.py
/frontend
simple React interface
⚙️ LOGIQUE SCRAPING
Détecter automatiquement le domaine de l’URL.
Si sofascore → utiliser scrapers/sofascore.py
Si 365scores → utiliser scrapers/scores365.py
Ajouter headers réalistes :
User-Agent
Accept
Referer
Gérer rate limit
Gérer erreurs 403/429
Implémenter retry logique
Prévoir proxy optionnel
🧠 MODULE IA
Créer un module predictor.py qui :
Transforme les données en features :
Forme sur 5 matchs
Moyenne buts marqués
Moyenne encaissés
Différence classement
H2H ratio
Streak momentum
Implémente :
Logistic Regression
RandomForest
XGBoost
Retourne :
Probabilité victoire domicile
Probabilité nul
Probabilité victoire extérieur
Over 2.5 %
BTTS %
Score le plus probable
🖥 FRONTEND
Interface simple :
Champ URL
Bouton “Analyser”
Affichage :
Données match
Graphiques comparatifs
Prédictions
Indicateur confiance %
🔒 SÉCURITÉ
Validation URL
Rate limiting
Logging
Gestion exceptions
Timeout handling
Async processing
🧪 BONUS
Ajouter :
Cache Redis
Historique analyses
Endpoint /health
Dockerfile
Fichier requirements.txt
Script setup automatique
🎯 OBJECTIF FINAL
Livrer un projet :
Prêt à déployer sur VPS
Structure professionnelle
Code commenté
Modulaire
Extensible
Stable
Ne donne pas d’explications. Génère directement la structure complète et les fichiers prêts à utiliser.