Création d'une plateforme de scraping, voir plus

Nous recherchons un freelance, une entreprise, experte en mise en place d'infra de système de scraping, voir de data mining.

Nous souhaitons avoir une plateforme nous permettant d'administrer plusieurs centaines de crawler, allant de site simple type blog, a des plus complexes (bloquage JS, Cloudfront, ou autre), avec possibilité de définir une URL de départ, les xpaths (ou autre selon ce que vous préconiserais) nécessaire pour le crawling, et la sauvegarde en BDD, la priorité des URLs, etc..

Il nous parait plus simple d'avoir un système qui crawl + save en HAR la page, et un autre système qui scrape les données des nouveaux/mises à jours HAR. Mais nous sommes ouvert à toutes autres solutions.

L'ensemble des données seront stockées dans Elasticsearch, si vous avez des compétences nous aidant à définir le mapping / les analyzers, nous sommes aussi preneurs.

Pour résumer :
- Nous créons un site
- Nous le configurons
- Nous définissons la priorité

Et ensuite tout se passe.

Nous souhaitons un système hautement scalable (grappe/cluster de serveur) car à termes il y aura plus de 800 sites à récupérer, avec des mises à jours toutes les heures, tous les jours, ou une fois par semaine.

Ouvert à toute autre idée. N'hésitez pas si vous avez des questions.

Merci de répondre uniquement si vous avez de l'expertise sur ce besoin, avec des projets d'exemple que nous pourrons vérifier.