Scraper pour Tripadvisor

Bonjour,

Notre société est à la recherche d'un développeur de premier plan pour créer un logiciel pour scraper le site de Tripadvisor.

Points importants :

- Le logiciel devra être en mesure de récupérer de nombreux champs, mais avant tout les champs e-mail et site web !
- Les patterns utilisées pour récupérer tous les champs devront être facilement accessibles pour leur modification, dans le cas où Tripadvisor changerait la structure des pages du site.
- Le logiciel devra être capable de travailler sur la version française de Tripadvisor.
- Le logiciel doit être capable de gérer de grandes quantités de données, le traitement de milliers de pages en 1 fois, le multitâche devrait être envisagé, la rapidité de traitement sera considérée.
- Si nécessaire, le logiciel doit être capable de gérer la rotation de proxy.
- Le logiciel doit permettre à l'utilisateur de spécifier le lieu (ville) et le service recherché (hôtel, restaurant, camping, etc ...)
- Le logiciel devra pouvoir fonctionner sur linux PC (Manjaro Linux)
- l'export se fera au format CSV
- Le logiciel sera livré avec son code source editable

Ce logiciel devrait être basé sur PC en utilisant des outils de script gratuits comme php, node.js, x-ray, scrapy, Xidel, Harvester (lua) ... ou à base de d'outils graphiques gratuits comme WebHarvest ... ou toute autre solution appropriée aux besoins.

==> l'utilisation des outils Scrapy et Scrapoxy devrait être intéressante mais n'est pas obligatoire

ATTENTION ! Pour être admissible à ce projet, vous devez avoir =

- 2 ans + expérience scraping en web
- De bonnes connaissances et un portefolio sont nécessaires
- Etre réactif et facilement accessible
- Etre attentif aux détails

Toute proposition qui ne correspondra pas à un ou plusieurs des critères ci-dessus, sera ignorée.

Notez que, nous cherchons quelqu'un avec qui travailler sur une base régulière/long terme, alors nous comptons sur une proposition raisonnable.

IMPORTANT: En quelques mots, merci de nous en dire plus sur votre parcours/expérience et donnez-nous un lien vers votre portfolio :)

Merci pour votre attention et votre intérêt

En annexe des copies d'écrans sont jointes, indiquant les champs qui doivent être scrapés et leurs noms.

Note 1 : Les champs Excellence et Revendication pourront être des booléens (oui/non - 0/1)
Note 2 : Le champ Revendication pourra être inversé (oui/1 si non affiché, non/0 si affiché)
Note 3 : L'URL de la page devra aussi être sauvegardée, ce qui fait donc un total de 12 champs à scraper.