Crawler de sites pour récupérer des flux RSS

Bonjour,

Je cherche à faire développer un crawler multithreaded, capable de tourner en ligne de commande, et qui selon une liste de sites donnée en entrée (BDD) parcourt chacun des sites en entier à la recherche des fichiers contenant des flux RSS.

Il ne faut pas seulement se baser sur l'extension du fichier, mais inspecter chaque fichier encapsulé dans un lien à la recherche de balises spécifiques que je fournirai.

Pour chaque site je souhaite récupérer la liste des liens vers les flux RSS qui m'intéressent.

Idéalement, le crawler saura parser du JS pour récupérer les liens dynamiques (affichés au clic) de certains sites.

Le résultat du crawl est la liste des liens vers ces fichiers détectés, à inscire en BDD.
Des informations sur le déroulement des opérations seront inscrites dans une table de la BDD permettant de suivre l'avancement du crawl.

Paris-dev