Développeur hadoop, scala, spark

Descriptif du poste
Vous aurez à uniformiser les modèles de données et migrer l’infrastructure vers une architecture Hadoop.
Environnement Logiciel : Base de données Oracle, cluster MAPR (Hadoop)
Environnement Système existant : Linux Redhat 7, Java, Scala, Spark

Les livrables comprennent

Jobs de lecture de transactions depuis un flux MAPR Streams
Jobs d’enrichissement des transactions
Stockage des transactions traitées dans le cluster MAPR
Indexation des transactions dans un cluster ElasticSearch

Autres tâches:

Packaging RPM
Industrialisation livrée sous Puppet
Monitoring applicatif
Procédure de healthcheck
Schéma d’architecture

Profil recherché
Maîtrise des cluster Hadoop et si en possible de la solution MAPR
Maîtrise de Spark / Spark streaming
Expertise en Scala, Java et si possible scripting en Python/Perl/Bash

Etre habitué à travailler en méthode Agile