Crawler une dizaine de sites pour récupérer des informations précises

Pour l'un de nos clients, nous souhaitons développer une plateforme pour récupérer des informations de différents sites (principalement des espaces privés avec authentification classique : login / password).

Il faut extraire des informations précises de ces espaces, il s'agit de produits avec sous-produits, par exemple :
- 1 immeuble avec les caractéristiques de l'immeuble (adresse, description, photos...)
- tous les appartements rattachés & leurs informations (type, surface, prix...)

Les informations sont généralement identiques et présentées de la même façon d'un portail à l'autre.
Nous souhaitons disposer d'une interface propre permettant de voir l'état du "crawler" (dernier passage, nombre d'informations remontées, erreurs si il y a eu, le relancer...).

Nous avons commencé le chantier sous PHP & Symfony 5 pour disposer d'une architecture logique, mais nous sommes ouverts à tout.
Nous souhaitons disposer ensuite de flux JSON avec les informations, ou alors les sauvegarder dans une base NoSQL pour les exploiter ensuite de notre côté.

Les informations peuvent être compliquées à obtenir (par exemple devoir accéder à une iFrame, ouvrir toutes les pages appartement ...).

Nous souhaitons des prestataires qui ont soit déjà travailler sur ce genre de problématique et disposent d'un outil adapté, soit qui comprennent bien les problématiques.