Scraper pour Tripadvisor

Bonjour,

Je vous transmet une copie de mon appel d'offre.

J'aimerai un développement basé sur Scrapy et Scrapoxy et je pense que ce genre de travail pourrait vous convenir.

Cordialement,

Patrick

--------------------------------------

Bonjour,

Notre société est à la recherche d'un développeur de premier plan pour créer un logiciel pour scraper le site de Tripadvisor.

Points importants :

- Le logiciel devra être en mesure de récupérer de nombreux champs, mais avant tout les champs e-mail et site web !
- Les patterns utilisées pour récupérer tous les champs devront être facilement accessibles pour leur modification, dans le cas où Tripadvisor changerait la structure des pages du site.
- Le logiciel devra être capable de travailler sur la version française de Tripadvisor.
- Le logiciel doit être capable de gérer de grandes quantités de données, le traitement de milliers de pages en 1 fois, le multitâche devrait être envisagé, la rapidité de traitement sera considérée.
- Si nécessaire, le logiciel doit être capable de gérer la rotation de proxy et limiter le nombre de requêtes/seconde
- Le logiciel doit permettre à l'utilisateur de spécifier le lieu (ville) et le service recherché (hôtel, restaurant, camping, etc ...)
- Le logiciel devra pouvoir fonctionner sur linux PC (Manjaro Linux)
- l'export se fera au format CSV
- Le logiciel sera livré avec son code source editable

Ce logiciel devrait être basé sur PC en utilisant des outils de script gratuits comme php, node.js, x-ray, scrapy, Xidel, Harvester (lua) ... ou à base de d'outils graphiques gratuits comme WebHarvest ... ou toute autre solution appropriée aux besoins.

==> l'utilisation des outils Scrapy et Scrapoxy devrait être privilégiée mais n'est pas obligatoire

ATTENTION ! Pour être admissible à ce projet, vous devez avoir =

- 2 ans + expérience scraping en web
- De bonnes connaissances et un portefolio sont nécessaires
- Etre réactif et facilement accessible
- Etre attentif aux détails

Toute proposition qui ne correspondra pas à un ou plusieurs des critères ci-dessus, sera ignorée.

Notez que, nous cherchons quelqu'un avec qui travailler sur une base régulière/long terme, alors nous comptons sur une proposition raisonnable.

IMPORTANT: En quelques mots, merci de nous en dire plus sur votre parcours/expérience et donnez-nous un lien vers votre portfolio :)

Merci pour votre attention et votre intérêt

En annexe des copies d'écrans sont jointes, indiquant les champs qui doivent être scrapés et leurs noms.

Note 1 : Les champs Excellence et Revendication pourront être des booléens (oui/non - 0/1)
Note 2 : Le champ Revendication pourra être inversé (oui/1 si non affiché, non/0 si affiché)
Note 3 : L'URL de la page devra aussi être sauvegardée, ce qui fait donc un total de 12 champs à scraper.