Créer un fichier de numéro de tél d'entreprises

L'annuaire public local.ch en Suisse, référence de nombreuses entreprises renregistrées par métier et région. Idem pour d'autres annuaires de référence en france (pagesjaunes.fr), belgique, Luxembourg...

Ce projet consiste à :
1- Concevoir un crawler sur mesure que je puisse relancer moi même à n'importe quel moment (via script, page web, exe portable, etc.)
2- Livrer la liste extraite des contacts

Il ne faudra pas que la solution repose sur un crawler commercial existant.

Le crawler prendra en entrée :
- Liste de catégories (ex. école de danse)
- Liste de régions (ex. Canton de genève)
Ces 2 inputs sont mis à disposition sous forme de fichiers txt (une valeur par ligne) à la racine du programme.

Le crawler devra parcourir toutes les pages (pagination) pour chaque combination catégorie/région, en étant robuste aux blocages du serveur lié à la fréquence d'appel. Pour cela le programme pourra utiliser une liste de proxies publics gratuits à la discrétion du développeur.

Le crawler devra produire en sortie un fichier xls/csv contenant les colonnes suivantes :
- Catégorie
- Région
- Nom de l'entreprise
- Premium O/N (si l'entreprise a un fond bleu dans les résultats)
- website
- e-mail
- Téléphone
- Adresse

Dans votre réponse précisez impérativement vos expérences dans le domaine du crawl, la techno qui serait utilisées, les challenges que vous auriez à gérer, les options du programme.