Data Engineer

Contexte : Le Service DATA de notre client a mené en 2013 un projet qui conduira à la création d’un pôle DataScience et à la mise en place d'une plateforme et d’une offre de service Big Data.

Les missions du pôle DataScience, placé sous la responsabilité du domaine « conseil et expertise », sont les suivantes :
- Cartographier de façon continue, en relation avec les équipes d’innovation et les urbanistes, les processus métier pour lesquels une approche Data Science pourrait procurer un avantage compétitif ou préserver un territoire acquis
- Epauler les métiers dans la définition et la stabilisation de leurs besoins
-Mettre en place de façon continue les proofs of concept fonctionnels et techniques issus des analyses d’opportunité
- Benchmarker de façon régulière les outils du Big Data
Préparer l’industrialisation des proofs of concept identifiés comme pertinents
- Accompagner la montée en compétence des équipes métier et des équipes techniques sur le Big Data
Cette équipe cherche à prolonger et renforcer ses capacités.

Objectifs : Le client souhaite mener avec l’assistance et les compétences techniques du fournisseur les travaux relatifs à
- l’évaluation et l’intégration des solutions legacy et nouvelles aux configurations existantes (par ex : interfaçage d’univers SAP BI à un DataLake Hadoop) ;
- la gestion des évolutions pour les POCs développés (évoluer des socles versions fonctionnelles réalisées en phase d’appropriation des solutions par les unités business et d’évaluation de la « valeur » délivrée – PoV);
- la préparation des mises en production des POCs réalisés (normalisation, amélioration de la robustesse du code/refactoring,..)
- Qualification de nouveaux outils de l’écosystème Hadoop dans le contexte de la mise en place du projet de DataLake d’entreprise

Prestations & livrables attendus
1er temps :
- Les tests techniques et la préparation de mise en production de solutions d’intégration de composants techniques Big data et legacy à une infrastructure Hadoop
- La prise en charge d’évolutions à des applications intégrant des fonctionnalités de Data science (ex : prédictif)

2e temps :
- l’ajout de fonctionnalités à des applications intégrant des approches de DataScience ;
- La préparation de l’industrialisation / mise en production d’applications de type DataScience
- Qualification de nouveaux composants de l’écosystème Hadoop en vue du déploiement de composants applicatifs du DataLake d’entreprise

Dans le cadre de cette prestation, le(s) intervenant(s) sera(ont) amené(s) à travailler en collaboration avec
- Le lead Data Scientist du centre Data Science du service DATA
- Les développeurs et experts des équipes de développement
- Les spécialistes des solutions legacy
- Les métiers clients des expérimentations menées

Compétences
- une très bonne maitrise du développement en Python, Java, et R et des technologies Web (HTML5, CSS et Javascript)
- une très bonne maitrise des outils de Search tels que ElasticSearch et Kibana
- une très bonne connaissance en développement sur la stack Hadoop (Oozie, Sqoop, Pig, Kafka, Neo4J, Hive, Hbase,...), ainsi que sur les technologies Spark (MLlib, SQL, GraphX et Streaming) en Python (PySpark), Java et R (SparkR)
- une bonne capacité à intégrer des sources de données multiples, internes / externes
- une facilité à développer dans un environnement innovant en méthodologie Devops et Scrum
- Connaissance des sous-jacents mathématiques aux apporches data science (statistiques, data mining, machine learning, dataviz,..)
- Connaissance des bibliothèques de machine learning (Scikit Learn, caret, H2O,…)