Scrapping massif de catalogues produits

A faire :
- Parcourir les sites enregistrés et y récupérer l'url de contact puis l'associer à ces mêmes entrées (crawler.domains)
- Transiter vers une BDD AWS (?)
- Script d'update des produits

Compétences obligatoires :
- python3
- git
- Connaitre le fonctionnement du protocol HTTP/S
- Scraping
- Environnement UNIX

Les plus :
- Connaissances avec AWS
- Des bases en langage SQL

Bien cordialement,