Créer un crawler

Dans le cadre notre activité nous souhaitons crawler de l' information publique sur une 100 aine de sites web chaque mois afin de créer une base statistique.
Cette base doit être mise à jour chaque mois automatiquement et chaque site distant doit pouvoir modifier les informations crawlees en uploadant un fichier de mise à jour ( format et type à définir par le prestataire)

Ces informations ont pour objectif d'être publiées sur un site web ( comparatif )