Presse : Robot pour recherche et export d'articles

Bonjour à tous Codeurs,

J'ai lancé un projet via codeur il y a deux semaines, et je souhaiterais encore vous féliciter pour vos incroyables compétences, et aussi vous solliciter. ^^

J'accompagne un membre de ma famille pour le développement d'un petit software pour lui éviter de perdre du temps sur des tâches qui lui sont chronophages.
En voici le contexte :
Elle est attaché de presse pour les théâtres. Donc une fois la promotion de la pièce faite, elle doit crawler tous les sites connus voir si un article a été fait sur la pièce qu'elle a promu, puis, enregistrer les 30-40 articles en PDF, pour les envoyer au client. Ce travail lui prend un peu trop de temps pour chaque client, et elle aimerait y palier si le budget de développement lui permet.

Je lui ai donc proposé, en attendant vos suggestions/retours, de créer un robot qui va crawler les sites qu'elle aura référencé sur ce soft, et selon les mots-clés et la période qu'elle aura défini, le robot se chargera :
1. De trouver toutes les pages qui concernent ce mot-clé selon la période définie et les site définis.
2. Exporter l'article en PDF avec le titre, la date et le nom de l'auteur,
3. Uploader l'ensemble des URLs des articles trouvés sur un Xcel exportable, triés par date de rédaction des articles.

Voici les problématiques à résoudre dont seul vous avez la réponse :
- La priorité est de ne pas rater d’articles, la qualité première est donc l’exhaustivité;
- On aura des résultats en trop, mais la tâche de les éliminer doit rester manuelle;
- La difficulté, c’est de proposer un résultat lisible, un pdf pas trop minuscule, pas coupé un peu partout etc. ce qui selon la structure des sites peut s’avérer compliqué, il faut donc trouver une fonction de capture d’écran avec un format fixe et résoudre la question des articles qui s’étalent sur plusieurs pages ou écran … pour faire autant de capture que nécessaire ;
L’autre difficulté c’est les contenus parasites = publicité, sommaires, renvois vers d’autres articles … ; même si on ne peut pas les éliminer complètement il faudrait en limiter la présence (avec quelque chose type adblock ?)

La fin du travail, à savoir la fusion des pdf en un seul et l’ajout d’un sommaire doivent rester manuels ce qui permet à l’attaché de presse, d’éliminer au passage les articles comportant le mot clé mais qui ne concerne pas le sujet, de vérifier qu’il n’y a pas trop de problèmes de contenus parasites etc.

Pour prendre un exemple concret, voici un article qu'elle aimerait exporter sans avoir eu à le chercher :
[URL visible pour les membres Pro]

Dans ce cas, elle aurait tapé sur le soft :
1. Circus Ronaldo
2. Le robot crawl l'ensemble des sites qu'elle aura définis en recherchant tous les URLs qui contiennent ce mot-clé. Dans ce cas, elle aurait rentré entre autres le site : [URL visible pour les membres Pro]
3. Le soft trouve la page en question.
4. Il enregistre l'URL dans une base de donnée renommé par le mot-clé, exportable sur excel une fois tout le travail de crawl réalisé.
5. Il exporte le titre de l'article, le contenu, le nom de l'auteur et la date sur un PDF lisible, dans un dossier renommé par le mot-clé. Dans ce dossier seront exportés l'ensemble des articles qu'il aura trouvé via tous les urls qu'elle aurait précédemment définis.

Pour terminer, il lui arrive parfois d'avoir un/ deux ou trois assistants qui font leurs propres recherches, donc il lui faudrait un accès super-admin, afin que ses deux/trois assistants fassent leurs propres recherches et avoir leur propre accès admin, rajouter des URLs, et créer bien sûr créer leurs propres dossiers.

Dans le prix, nous aurons déjà notre URL et un hébergement d'100 Go.

Je reste à votre dispo pour toutes questions.

Merci pour votre temps et j'espère à bientôt !

Octave