Data engineer

1. Contexte et objectif du projet
L'objectif de ce projet est de traiter, d'analyser et d'interpréter une quantité massive de données (plusieurs milliards d'entrées) pour en extraire des informations significatives. Le prestataire sera responsable de la création et de l'optimisation des tables de données, de la conversion de chaque donnée en unité de temps (seconde), de la création de relations entre les données, de l'analyse de ces données, ainsi que de la production de rapports analytiques et de tableaux de visualisation.
2. Description des exigences
2.1 Collecte et traitement des données
Volume de données : Le projet impliquera des milliards de lignes de données.
Format des données : Les données proviendront de diverses sources (bases de données SQL, fichiers CSV, API, etc.).
Conversion des données : Les données doivent être converties en unité de temps (seconde). Cela comprend l'extraction, la transformation et le chargement des données (ETL).
2.2 Création de tables de données
Structure des données : Le prestataire doit créer des tables de données optimisées pour gérer de très gros volumes (ex. bases de données relationnelles ou NoSQL).
Schéma de base de données : Il doit définir le schéma de la base de données, y compris la création de tables, d'index et la gestion des partitions afin de garantir les performances.
Méthodologie de transformation : Mettre en œuvre des processus ETL pour nettoyer, transformer et enrichir les données en fonction des besoins d'analyse.
2.3 Création de relations entre les données
Modélisation des relations : Le prestataire doit définir et mettre en œuvre un modèle relationnel ou graphique entre les données (par exemple, utilisation de clés primaires et étrangères, tables de jonction ou modélisation de graphes).
Optimisation des relations : Le modèle de données doit optimiser les requêtes analytiques et l'extraction rapide d'informations à partir des relations entre les différentes données.
2.4 Analyse et interprétation des données
Analyse temporelle des données : Le prestataire doit concevoir des processus d'analyse permettant de traiter les données en fonction du temps, en secondes, pour en extraire les tendances, les anomalies et les indicateurs clés de performance (KPI).
Agrégation et filtrage : Il doit proposer des méthodes d'agrégation de données pour faciliter l'analyse, ainsi que des outils de filtrage dynamique.
Outils d'analyse : Le prestataire doit proposer et mettre en œuvre des outils ou des scripts pour effectuer des analyses statistiques ou d'apprentissage automatique, selon les besoins du projet.
2.5 Création de tableaux de visualisation
Tableau de bord : Le prestataire doit créer des visualisations de données sous forme de tableaux de bord interactifs pour visualiser les données en temps réel et suivre les KPI définis.
Outils de visualisation : Les outils de visualisation recommandés peuvent inclure des solutions telles que Tableau, Power BI, Grafana ou des solutions personnalisées basées sur des technologies telles que D3.js, Plotly ou Matplotlib.
Interaction utilisateur : La plateforme de visualisation doit être interactive, permettant aux utilisateurs de filtrer, de zoomer et d'explorer les données de manière dynamique.
2.6 Rapports analytiques
Rapports dynamiques : Le fournisseur doit permettre la génération de rapports analytiques dynamiques à partir des données traitées, avec des capacités de personnalisation (par exemple, exportation vers PDF ou Excel).
Mesures à inclure : Les rapports doivent inclure des mesures basées sur des données temporelles (par exemple, moyennes de période, pics de données, tendances temporelles).
Fréquence de mise à jour des rapports : Le fournisseur doit définir la fréquence des mises à jour des rapports analytiques (par exemple, en temps réel ou à intervalles réguliers).
3. Exigences techniques
3.1 Architecture et technologies
Base de données : Le fournisseur doit recommander et mettre en œuvre une base de données capable de gérer de très grandes quantités de données, avec des options de mise à l'échelle (par exemple, Apache Hadoop, Amazon Redshift, Google BigQuery ou des solutions de base de données SQL ou NoSQL).
Pipeline de traitement des données : Mise en place d'un pipeline ETL robuste utilisant des technologies telles qu'Apache Kafka, Apache Spark ou Apache Airflow pour gérer les flux de données.
Langages de programmation : Le fournisseur de services doit maîtriser des langages tels que Python, SQL, Scala ou Java, selon la complexité et les outils choisis.
3.2 Performances
Évolutivité : Le système doit être évolutif, notamment pour gérer des volumes de données croissants et assurer des performances élevées.
Temps de réponse : Les requêtes analytiques doivent avoir des temps de réponse optimisés, même avec de très gros volumes de données.
3.3 Sécurité
Gestion des accès : Mettre en place une gestion fine des accès aux données, avec des rôles et des autorisations d'utilisateur pour assurer la confidentialité.
Cryptage des données : Le prestataire doit s'assurer que les données sont sécurisées à chaque étape du traitement (par exemple, cryptage des données au repos et en transit).
4. Livraison et suivi
4.1 Calendrier de livraison
Le prestataire doit proposer un calendrier détaillé avec des étapes de livraison et des jalons de validation clairs. Le calendrier doit inclure :

Phase 1 : Analyse des besoins, collecte et structuration des données.
Phase 2 : Mise en place de tables de données et modélisation des relations.
Phase 3 : Mise en place d'outils d'analyse et de visualisation des données.
Phase 4 : Test et validation des rapports et tableaux de bord analytiques.
4.2 Formation et support
Le prestataire doit fournir une documentation complète sur les outils mis en œuvre, ainsi qu'une formation pour l'équipe technique qui utilisera le système, et offrir un support technique pendant une période définie.
5. Sélection du prestataire
Critères
Expertise technique en gestion de grandes bases de données et en modélisation de données.
Expérience dans le traitement de données massives et dans l'utilisation de technologies adaptées.
Références de projets similaires réalisés avec succès.