Collecte de pages paramétrées sur les sites des communes

L'objectif est de disposer d'un code permettant de trouver dans les sites des communes de France les pages contenant les Pvs de conseils municipaux et/ ou les délibérations des conseils municipaux.

Les conseils municipaux votent des délibérations qui sont rapportées sur les sites soit :
- 1°) dans des PVs de conseils
- 2°) dans un document par délibérations
- 3°) dans des listes de délibérations mais sans le contenu
- 4°) ne sont pas présents du tout

Le produit fini ciblé est :
- un code permettant de trouver, dans chaque site web de commune, la page "racine" contenant un ou plusieurs mots clés dans une ou deux listes de mots clés (mots clés prioritaires, mots clés secondaires). Ce code doit permettre de mettre à jour la liste des urls, si des changements de structure de site par les communes interviennent. Ce code devra pouvoir tourner sur mon PC, sous Pycharm Python 3.10.
- la base des urls pour les sites web pour les mots clés permettant de collecter les PVs de conseils municipaux et/ ou les textes des délibérations

L'approche proposée est :
- de partir d'une liste d'urls de site web (je les fournirai pour un département), et d'une liste de mots clés prioritaires/ secondaires que je fournirai
- de développper à partir de là un premier exemple de codes, qui prendra en compte les différentes formes de codage des sites de la liste
- de prévoir des approches/ algorithmes de tests de la validité des urls identifiés, ainsi que de la performance en temps de calcul du code développé
- de prévoir une itération, notamment sur les mots clés, pour les sites pour lesquels aucune page n'a été trouvée, alors qu'il en existe
- d'étendre le résultat aux autres départements, grâce aux approches permettant de qualifier la présence/ l'absence de résultats
- d'affiner le code en fonction des résultats trouvés lors de cette extension.