Extraction automatique de données de sites Web

Objectif : Création d’un service en Java qui gère automatiquement l’accès à des données extérieures, leur téléchargement, leur structuration, leur organisation et leur mise à jour.

Accès à différents sites (entre 4 et 6) publiant des informations (publiques), et extraction/téléchargement de données. Les données résultantes devraient être organisées logiquement, a priori des fichiers texte avec une structure commune.
Il faut pouvoir correctement catégoriser les fichiers qui sont ainsi téléchargés. Egalement, stocker de manière organisée certaines informations présentes sur les pages web et non dans les fichiers téléchargés. Beaucoup de parsing à prévoir pour naviguer dans les sites, et des conversions (par exemple de fichier xls -> txt). Egalement potentiellement à prévoir du nettoyage des fichiers en question.

Il est important que la manière utilisée pour accéder à ces données soit relativement abstraite et générale, puisque leur structure peut changer légèrement au cours du temps.
Il est tout à fait concevable que certaines opérations atomiques soient en script / perl, pas forcément Java.

La quantité de données est de l’ordre de 100 000 fichiers séparés.

Implémentation finale sur Mac OS / Eclipse.

J'estime que faire ce travail de manière un peu bricolée me prendrait un mois, donc je suppose que des experts devraient pouvoir le faire proprement en moins d'un mois.