Scraper de sites pour générer des statistiques

Bonjour,

Je souhaite faire réaliser un scraper de site web dont l'objectif sera de générer des statistiques quotidiennes sur une partie du contenu de quelques sites web identifiés. Sur la base d'un périmètre défini, il faut :

- Récupérer les URLS des nouvelles pages publiées dans ce périmètre,
- Récupérer quelques données structurées pour la classification des pages en question,
- Déterminer le statut des anciennes pages (toujours actif ou pas, mise à jour ou pas)
- Générer des statistiques dans une table mysql selon différents critères

Le périmètre représente environ 1 million de pages à analyser par jour.

La prestation comprend le développement d'un outil personnalisé pouvant être facilement adapté (notamment en ce qui concerne la définition du périmètre, ou en cas d'éventuelles modifications de la structure des pages analysées) et le déploiement du scraper sur un serveur dédié (configuration à définir ensemble). Il faut notamment prévoir de pouvoir modifier/faire varier l'IP des requêtes pour éviter d'éventuels blocages.

A terme, si la prestation se passe bien, le périmètre d'analyse sera étendu et la finesse de classification améliorée. Mais cela fera l'objet d'une nouvelle prestation.

Merci d'inclure dans vos propositions des exemples de réalisation qui me permettront de mieux connaitre vos talents de développeur.

Je n'ai pas de contraintes de planning particulière. Si vous n'êtes pas disponible tout de suite, mais pensez avoir les compétences pour faire ça bien, je peux attendre. Les statistiques que nous générerons viendront alimenter un site web existant, dont la v2 est en cours de développement.