Analyse de données de sites

Je recherche un développeur passionné et aimant les challenges.
Le but dans un premier temps est de créer un outil capable de d'analyser les données provenant d'autres sites du web en allant chercher des informations régulièrement mises à jour ou nouvelles informations.

Notamment, il faudra détecter les nouvelles pages du sites, leurs dates de création ou mise en ligne et les dates de mises a jour avec les informations modifiées.
Idem pour les pages déjà existantes.

Puis réunir toutes les données sur un seul outil afin de pouvoir les traiter et les analyser a la manière d'un big data.

Je ne suis pas fermé a l'utilisation d'une techno en particulier mais a vous de me démontrer votre choix de techno.