Générateur de requêtes Google + parsing de pages

1) Objectif général
En utilisant la syntaxe de recherche avancée de Google, construire un générateur de requêtes Google pour effectuer des recherches efficaces d'information (réseaux sociaux, facebook, twitter etc ...) sur Google, telechargement de cv / documents. Ce générateur s'appuiera sur une grille de saisie de différents paramètres (mots clés dans la page, mots clés dans les URLs, sitesconcernés, ...)

2) Principes de la syntaxe
site:, inurl:, ext:, (proposer les principaux types de fichiers doc(x)?, xls(x|m)?, pdf, html) intitle:, date:N (range de N mois), xxxx * yyyyyy ==> xxxx "près de" yyyyyy
~xxxx = synonyme, | pour des critères OR entre parenthèses, -xxxxxx pour exclure
NEGATIF ET POSITIF (inclure / exclure)
La grammaire à suivre est celle de la syntaxe officielle Google Search.

3) 2 types d'informations concernées : page Web + documents
Soit, avec quelques parametres, generer une google string, la parcourir en récupérant le code HTML des pages statiques ==> fourniture d'un fichier de l'extraction
Soit on est dans de le téléchargement de document, et là idem, on telecharge les documentss (avec une bore max pour ne pas dépasser une capacité de stockage)

4) Contournement du Google Captcha
Pour du google search, fournir un intervalle de temps entre 2 requêtes pour ne pas avoir de captcha
sauvegarde des critères des requêtes.

5) Variante pour scraper plus de 6 ou 7 pages de résultats ==> segmenter la string Google Search, pour faire une partition des résultats
Exemple : "barack Obama" "obama care" ramène 15 000 réponses => demander de spliter la recherche avec des mots ou des chiffres
Pour une recherche réseaux sociaux, proposer [1980:2016] pour étaler les résultats