Scraping des offres d'emploi sur 50 sites internet

Ce travail d'adresse à un expert du scraping

Nous développons des partenariats avec des entreprises afin de reprendre toutes leurs offres d'emploi présentes sur leur site internet.

Il s'agit de scraper les offres d'emploi présentes sur le site d'entreprises.

Tous ces sites sont à l'international, il peuvent être dans n'importe quelle langue (anglais, espagnol, allemand, portugais, russe, chinois...). Vous devrez être débrouillard pour identifier les champs à récupérer (en utilisant Google Translate par exemple). En cas de doute, nous serons là pour vous aider.

Les champs à récupérer sont toujours les mêmes (intitulé du poste, ville, pays, présentation de l'entreprise, description du poste, profil recherché, type de contrat, salaire...)
Ce ne sont que des champs texte à récupérer à l'exception des champs suivants :
- type de contrat, (CDI, CDD, stage...)
- niveau d'expérience (sur certains sites)
- temps plein/temps partiel. (sur certains sites)
Il sera alors nécessaire de faire une table de correspondance entre leurs nomenclatures et la notre afin que les annonces soient bien classées sur notre site. (Exemple pour les niveaux d'expérience : étudiant, 0 à 2 ans d'expérience, 2 à 5 ans...).

Pour intégrer les annonces dans notre base (dans leur langue d'origine), vous devrez générer un flux XML par site et par pays, les flux devront être hébergés SUR VOTRE SERVEUR.

Un CRON devra tourner toutes les heures POUR TOUS LES FLUX.
Si une annonce a été ajouté sur le site de l'entreprise > il faut rajouter l'annonce dans le flux.
Si une annonce a été retirée du site de l'entreprise > il faut la retirer du flux.

Vous devrez ENVOYER UN RAPPORT QUOTIDIEN PAR EMAIL qui liste tous les flux mis en place sous la forme d'un tableau :
Nom du site | pays | Langue | lien de la rubrique emploi | lien du flux | Nb d'annonces total récupéré | date et heure dernier passage |
et en dessous lister :
Nombre d'annonce total :
Nombre d'annonces par pays :
Nombre d'annonces par langue :

Tout le temps de la collaboration, il faudra maintenir les scraping si ils tombent en panne (si un site change par exemple)

Pour les personnes intéressées, je peux vous envoyer la doc technique sur le format du flux XML attendu.

Nous vous proposons de vous payer tous les 10 sites scrapés

Dans un premier temps, nous avons besoin de scraper 50 sites.
Mais la collaboration est possible sur la durée (plusieurs mois, voir plusieurs années) avec toujours de nouveaux sites à scraper + les anciens à maintenir.

A la fin de la collaboration, vous devrez nous fournir le code que vous avez utilisez pour tous les scraping sans supplément.

Je suis à votre disposition si vous avez des questions.