Script pour récupérer des données sur le web

Développement d'un outil de veille concurrentielle : il s'agit d'un script capable d’aller récupérer sur un ensemble de sites dynamiques (enseignes françaises ecommerce) une série d'informations concernant le descriptif du produit.

La requête doit fonctionner une à plusieurs fois par semaine et stocker les infos dans des fichiers excel.

La restitution des infos doit se faire sur Excel en affichant un certain nombre de critères (il s'agit des mentions obligatoires : nature du produit, type de conditionnement, prix au kg, origine du produit, calibre, poids)

A priori nous avons identifié plusieurs difficultés :
- diversité des formats (données textuelles, ou données sous forme d’images)
- exhaustivité des sources à traiter (pour donner un reflet précis du marché, nécessité d’être exhaustif)
- pluralité des sources (différentes enseignes –> autant de sites internet –> autant de modèles différents à analyser et à faire entrer dans protocole du script.)
- évolutivité des sources ( 1/ nouveaux sites : comment les prend on en compte 2/ les modèles d’affichage des enseignes peuvent évoluer –> nécessité de coller au modèle)

Pour le projet, on commencera par faire un focus sur 2 enseignes avant d'élargir à la totalité des enseignes ciblées.