Intégrer mon proxy tor sur scrapy

Bonjour,

Je suis à la recherche d'un freelance pour m'aider dans le développement de mon scraper avec Scrapy sur Python 3.8+.

Mon objectif est de scraper des sites .onion (Tor). J'ai déjà mis en place un cluster de socks5 Tor avec un load balancer, et j'ai vérifié que cela fonctionne en utilisant Curl de la manière suivante :

curl --socks5-hostname IP:80 [URL visible pour les membres Pro]

Et cela fonctionne, cependant, je rencontre des difficultés lors de l'intégration du socks5 à Scrapy. J'ai essayé avec PySocks et divers packages, mais j'obtiens toujours la même erreur :

[Téléphone visible pour les membres Pro]:03:14 [scrapy.core.scraper] ERROR: Error downloading <GET [URL visible pour les membres Pro]
Traceback (most recent call last):
File "C:\Users\PC\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\twisted\internet\defer.py", line 1693, in _inlineCallbacks
result = context.run(
File "C:\Users\PC\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\twisted\python\failure.py", line 518, in throwExceptionIntoGenerator
return g.throw(self.type, self.value, self.tb)
File "C:\Users\PC\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\scrapy\core\downloader\middleware.py", line 54,
in process_request
return (yield download_func(request=request, spider=spider))
File "C:\Users\PC\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\twisted\internet\defer.py", line 892, in _runCallbacks
current.result = callback( # type: ignore[misc]
File "C:\Users\PC\AppData\Local\Packages\PythonSoftwareFoundation.Python.3.11_qbz5n2kfra8p0\LocalCache\local-packages\Python311\site-packages\twisted\internet\endpoints.py", line 1022, in startConnectionAttempts
raise error.DNSLookupError(
twisted.internet.error.DNSLookupError: DNS lookup failed: no results for hostname lookup: pbqttnffb5sh6ckgnz4f5by55w25gd6tuw5f5qcctmnyk62eyhgx6rad.onion.

Je pense que je ne suis pas parvenu à intégrer correctement le socks5 dans Scrapy.

Je suis donc à la recherche d'une personne capable de résoudre ce problème.

Merci.