Script pour crawler des sites (scraping & multi-threads)

Bonjour,
je recherche un développeur francophone qui sache créer un script de scraping (en PHP, mais si vous pouvez le faire plus efficacement dans un autre langage ça ne me dérange pas) qui sera hébergé sur mon ordinateur.
J'ai besoin d'un développeur sur le long terme pour améliorer ce script petit à petit.
Ce script (bot) devra crawler des milliers de pages web. Il faut savoir gérer le multi-threads, et récupérer les liens externe de chaque page pour les stocker en base de donnée (et généré un fichier .txt avec les URLs trouvées).
Quelques fonctions de réglages sont à prévoir :
- La liste des sites à crawler est au format .txt (une ligne par domaine)
- régler le nombre de threads simultanés
- Montrer en temps réel le nombre de pages crawler /sec, le nombre total de page crawlées depuis le début de la tâche etc.
- Pouvoir faire pause, puis recommencer au même endroit
- Créer un fichier log (ou sous une autre forme) qui puisse répertorier différentes erreurs rencontrées (blocage du scraping par certains sites cibles, perte de connexion, timout etc.)
J'ai besoin d'une facture.
Je ne fais pas d'acompte, vous terminez 100% du travail sur votre serveur, vous me montrer que votre script fonctionne. Vous m'envoyez votre facture et je vous fais le virement. Vous m'envoyez ensuite votre travail.
Si vous souhaitez impérativement un acompte, merci de ne pas me contacter.
Merci de ne pas m'envoyer de message copiés/collés.
Merci de m'informer du langage avec lequel vous souhaiteriez développer ce script.
Merci de m'avoir lu jusqu'au bout.
Bonne journée