Nous recherchons un freelance, une entreprise, experte en mise en place d'infra de système de scraping, voir de data mining.

Nous souhaitons avoir une plateforme nous permettant d'administrer plusieurs centaines de crawler, allant de site simple type blog, a des plus complexes (bloquage JS, Cloudfront, ou autre), avec possibilité de définir une URL de départ, les xpaths (ou autre selon ce que vous préconiserais) nécessaire pour le crawling, et la sauvegarde en BDD, la priorité des URLs, etc..

Il nous parait plus simple d'avoir un système qui crawl + save en HAR la page, et un autre système qui scrape les données des nouveaux/mises à jours HAR. Mais nous sommes ouvert à toutes autres solutions.

L'ensemble des données seront stockées dans Elasticsearch, si vous avez des compétences nous aidant à définir le mapping / les analyzers, nous sommes aussi preneurs.

Pour résumer :
- Nous créons un site
- Nous le configurons
- Nous définissons la priorité

Et ensuite tout se passe.

Nous souhaitons un système hautement scalable (grappe/cluster de serveur) car à termes il y aura plus de 800 sites à récupérer, avec des mises à jours toutes les heures, tous les jours, ou une fois par semaine.

Ouvert à toute autre idée. N'hésitez pas si vous avez des questions.

Merci de répondre uniquement si vous avez de l'expertise sur ce besoin, avec des projets d'exemple que nous pourrons vérifier.

Budget indicatif 1.000 € à 10.000 €
Publié le 27 novembre 2019 à 22h37
Début du projet Tout de suite

Vous avez aussi besoin d'un expert ?

Déposez une annonce en décrivant votre projet et recevez gratuitement des devis en quelques minutes

Déposer une annonce gratuite

Offres pour ce projet :

Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h42
Proposez votre tarif pour la réalisation du projet

Vous pourrez contacter le client et discuter ensemble des solutions que vous pourriez lui apporter pour réaliser son projet.

Envoyer un devis

Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 23h43
Offre déposée le 28/11/2019 à 13h03
Offre déposée le 29/11/2019 à 10h57
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 28/11/2019 à 03h11
Offre déposée le 27/11/2019 à 22h42
Offre déposée le 27/11/2019 à 22h47
Offre déposée le 28/11/2019 à 17h19
Offre déposée le 28/11/2019 à 08h17
Offre déposée le 28/11/2019 à 06h03
30 jours Montant privé
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 27/11/2019 à 22h43
Montant privé
Offre déposée le 27/11/2019 à 22h43
Offre déposée le 29/11/2019 à 16h22
1 jour Montant privé
Offre déposée le 28/11/2019 à 16h48
1 jour Montant privé
Offre déposée le 28/11/2019 à 10h24
Offre déposée le 27/11/2019 à 23h11
30 jours Montant privé
Offre déposée le 28/11/2019 à 09h39
Offre déposée le 04/12/2019 à 21h55
Offre déposée le 29/11/2019 à 17h28
30 jours Montant privé
Offre déposée le 29/11/2019 à 10h50
90 jours Montant privé
Offre déposée le 28/11/2019 à 00h28
Déposez un projet similaire
Publication 100% gratuite
Recevez 10 devis en moyenne
Pas de commission à payer

Vous souhaitez contacter ce client ?

Le client n'a pas encore choisi son prestataire. Dépêchez-vous, il est encore temps de proposer votre devis.

Contacter le client

Gérer mon projet

Chaque jour, des centaines de clients utilisent Codeur.com pour trouver un prestataire. Créez votre compte dès maintenant, remplissez votre profil et trouvez de nouveaux clients.

Trouver des nouveaux clients

En utilisant ce site, vous acceptez l'utilisation de cookies. permettant de vous proposer des contenus et des services adaptés à vos centres d'intérêts.

Vous utilisez actuellement Internet Explorer. Pour profiter pleinement de Codeur.com, veuillez utiliser un des navigateurs suivant :