Bot Python de scraping multi-sites et analyse de données

Bonjour,

Je recherche un développeur Python spécialisé en web scraping afin de développer un bot d’automatisation orienté scraping multi-sites, avec une fréquence de collecte élevée. Le projet est très majoritairement basé sur du scraping de sites web complexes, avec peu ou pas d’API exploitables.

Le bot devra collecter en continu des données provenant de plusieurs sites, analyser de nombreuses pages et catégories en parallèle, puis normaliser des intitulés parfois différents selon les sources afin de rendre les données comparables. Ces données devront ensuite être traitées en quasi temps réel afin d’y appliquer une logique mathématique simple permettant d’identifier certaines conditions spécifiques. Lorsqu’une condition est détectée, le bot devra envoyer automatiquement une notification sur une plateforme tierce, de type Telegram.

Les contraintes techniques sont importantes, notamment la nécessité de scraper en parallèle avec une fréquence d’environ toutes les trente secondes, de gérer des structures de sites susceptibles d’évoluer régulièrement, et de concevoir un système suffisamment robuste pour limiter la maintenance et les interruptions. Une attention particulière devra être portée à la gestion des erreurs, à la stabilité du bot et à sa capacité à continuer de fonctionner malgré des changements mineurs sur les sites ciblés.

Un premier test technique réalisé par un ancien développeur, qui n’a pas abouti, sera partagé afin de fournir des indications sur les pistes techniques à éviter et celles qui peuvent être conservées. L’objectif n’est pas de repartir complètement de zéro mais de s’appuyer sur ce retour d’expérience pour construire une solution plus fiable.

La durée de la mission est variable en fonction de vos compétences, allant de deux semaines à un mois, avec un budget global moyen de 4 000 €. L’objectif est d’obtenir un bot fonctionnel, stable et maintenable.

Merci d’indiquer dans votre réponse votre expérience concrète en web scraping de sites complexes, votre approche pour assurer la stabilité et la maintenance d’un tel système, ainsi que votre disponibilité à court terme.

Merci.