Je souhaite faire développer un crawler WEB.

Je souhaite faire développer un crawler WEB.

L'objectif de ce crawler est de repérer les noms de domaines qui vont bientôt expirer de donc devenir libre

La première page devra permettre de saissir :

url de départ et un mot clef.

Le crawler devra démarrer son crawl de cette url et explorer le contenu. Si le contenu ne contient pas le mot clef saissie, il passe à une autre page

Le crawler devera controler et enregistrer en base de donnée chaque nom de domaine (NDD) qui ne réponds pas un code http "200" pour obtenir sa date d'expiration.
=> je ne connais pas d'api gratuite pour faire un whois sur les NDD (à chercher)

Pour chaque NDD qui ne réponds pas "200" il faut
- enregister l'url "[URL visible pour les membres Pro]" + date d'expiration en base (API whois)
- Récupérer trustfow et citation fow via API majestic (API sera fourni)

La paramétrage des API doit être modifiblable

Enfin, une page de résultat doit permettre de
- stopper le crawler
- Voir le nombre d'url parcours
- voir la liste des NDD expirées + trustfow et citation fow + date d'expiration

Enfin, permettre de définir des proxy si besoin