Dans le cadre de mon activité, je voudrais faire un scrapper qui a partir d'un domaine établit un sitemap du site en crawlant tous les liens internes d'un domaine..
L'outil exporte en format .txt ou .csv toutes les urls d'un site (html uniquement)

J'utilise screaming frog aujourd'hui mais pour crawler des gros sites c'est tres long.. j'aimerai un systeme plus puissant et bcp plus rapide.

Si possible s'il pouvait récuperer sur le listing des urls trouvées tous les liens externes ce serait le top.

Je dois pouvoir parametrer le domaine et voir si risque de blocage avec proxies (à voir recommandations)

Merci