Developpement de crawlers

Bonjour, dans le but de récupérer automatiquement des informations publiques sur des sites web très spécifiques, nous souhaitons développer des crawlers qui viendront enrichir une base de données.

Nous aurions besoin de développer deux types de crawlers

- un crawler "périodique" récupérant les informations de manière ponctuelle pour les intégrer dans la base en respectant les différents champs d'informations. Ce crawler scannerai deux sites (dont l'ergonomie est très différente pour des infos similaires) tous les mois et avertirai lorsque de nouvelles informations seraient disponible

- un crawler récurrent qui, sur demande, irait récupérer les données d'une référence en temps réel sur un site lui même basé sur une base de données. Puis il créerait lui même une donnée (simple moyenne arithmétique) en fonction des informations récupérées sur ce site.