Nous recherchons un freelance, une entreprise, experte en mise en place d'infra de système de scraping, voir de data mining.

Nous souhaitons avoir une plateforme nous permettant d'administrer plusieurs centaines de crawler, allant de site simple type blog, a des plus complexes (bloquage JS, Cloudfront, ou autre), avec possibilité de définir une URL de départ, les xpaths (ou autre selon ce que vous préconiserais) nécessaire pour le crawling, et la sauvegarde en BDD, la priorité des URLs, etc..

Il nous parait plus simple d'avoir un système qui crawl + save en HAR la page, et un autre système qui scrape les données des nouveaux/mises à jours HAR. Mais nous sommes ouvert à toutes autres solutions.

L'ensemble des données seront stockées dans Elasticsearch, si vous avez des compétences nous aidant à définir le mapping / les analyzers, nous sommes aussi preneurs.

Pour résumer :
- Nous créons un site
- Nous le configurons
- Nous définissons la priorité

Et ensuite tout se passe.

Nous souhaitons un système hautement scalable (grappe/cluster de serveur) car à termes il y aura plus de 800 sites à récupérer, avec des mises à jours toutes les heures, tous les jours, ou une fois par semaine.

Ouvert à toute autre idée. N'hésitez pas si vous avez des questions.

Merci de répondre uniquement si vous avez de l'expertise sur ce besoin, avec des projets d'exemple que nous pourrons vérifier.

Budget indicatif1.000 € à 10.000 €
Publié le27 novembre 2019 à 21h37
Début du projetTout de suite

Vous avez aussi besoin d'un expert ?

Déposez une annonce en décrivant votre projet et recevez gratuitement des devis en quelques minutes

Déposer une annonce gratuite

Offres pour ce projet :

Offre déposée le 27/11/2019 à 21h42
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 27/11/2019 à 21h42
30 jours Montant privé
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 29/11/2019 à 09h57
Offre déposée le 27/11/2019 à 21h47
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 28/11/2019 à 15h48
1 jour Montant privé
Offre déposée le 28/11/2019 à 09h24
Offre déposée le 28/11/2019 à 07h17
Offre déposée le 29/11/2019 à 15h22
1 jour Montant privé
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 04/12/2019 à 20h55
Offre déposée le 28/11/2019 à 08h39
Offre déposée le 26/12/2019 à 06h03
Offre déposée le 27/11/2019 à 21h42
Offre déposée le 28/11/2019 à 02h11
Offre déposée le 27/11/2019 à 21h43
30 jours Montant privé
Offre déposée le 28/11/2019 à 05h03
30 jours Montant privé
Offre déposée le 27/11/2019 à 21h43
Montant privé
Offre déposée le 27/11/2019 à 21h43
Offre déposée le 22/12/2019 à 02h20
1 jour Montant privé
Offre déposée le 28/11/2019 à 12h03
Offre déposée le 27/11/2019 à 23h28
Offre déposée le 27/11/2019 à 22h11
30 jours Montant privé
Offre déposée le 29/11/2019 à 16h28
30 jours Montant privé
Offre déposée le 29/11/2019 à 09h50
90 jours Montant privé
Déposez un projet similaire
Publication 100% gratuite
Recevez 10 devis en moyenne
Pas de commission à payer

Vous êtes prestataire et vous cherchez des missions ?

Remplissez rapidement votre carnet de commandes en utilisant Codeur.com pour contacter des nouveaux clients.

Créer un compte gratuitement

Gérer mon projet

Chaque jour, des centaines de clients utilisent Codeur.com pour trouver un prestataire. Créez votre compte dès maintenant, remplissez votre profil et trouvez de nouveaux clients.

Trouver des nouveaux clients

En utilisant ce site, vous acceptez l'utilisation de cookies. permettant de vous proposer des contenus et des services adaptés à vos centres d'intérêts.

Vous utilisez actuellement Internet Explorer. Pour profiter pleinement de Codeur.com, veuillez utiliser un des navigateurs suivant :