Fatima-Zahra F.

Au sein de l'IT du Market Risk, l'objectif du projet est de développer des rapports permettant d'expliquer les variations des indicateurs boursiers de Cacib pour être conforme à la norme FRTB.

DOMAINE D’INTERVENTION :

ETL Spark 2.3 dans un cluster HDP (2.6, Kerberized) :
• Participation à la modélisation
• Développement des pipelines de traitement optimisé en utilisant le Framework SPARK(API DATAFRAME)
• Consolider, normalisation et agrégation des différents indicateurs de risques
• Développement de nouveaux modules
• Rédaction de tests unitaires
• Persistance des résultats dans des tables Hive partitionnées au format orc et dans HBASE permettant l’alimentation des applications data depuis les sources de données du groupe.
• Recette et résolution de bugs
• Création de la Roadmap des mises en production
• Présentation du produit aux clients
• Rédaction des spécifications techniques & fonctionnelles

Mise en place d'une Data Access Layer :
• Restituer des indicateurs de risque au format CSV via une API REST basée sur Spring Boot.
ETL Kafka + Spark Streaming :
• Développement de job Spark Streaming producer et consumer Kafka.

Configuration Usine d'intégration continue :
• Migrer de SVN vers Gitlab en gardant l'historique des commits.
• Configurer de Jenkins pour lancer des builds on Gitlab Push en utilisant les Webhooks et un déploiement sur demande de l'artefact sur Nexus en utilisant Maven.
• Mettre en place des Pipelines Jenkins.

Stack technique : Spark, Hive, Hdfs, HBase, Java, Spring Boot, Lombock, Junit
DevOps : Ambari, Jenkins, Maven, MasterDeploy, Ansible, Control-m
Outils : Intellij, Gitbash, PostMan, MobaXterm, Zepplin, Sonar
Méthode Agile : SAFE.
Effectif projet : +200p réparti sur 3 Streams (+50p)
Effectif équipe : PO 3p, architecte Big Data 3p, code designer 4p, Business Analyst 3p, Developpeur 6p
Fréquence de mise en Prod : 3semaines.

L'objectif du projet est de développer une application permettant de gérer les archives du Département des Archives de Seine et Marne CG77.

DOMAINE D’INTERVENTION :

Mise en place, administration et monitoring d'un cluster HDFS de stockage des archives en utilisant la distribution ClOUDERA.
• Développement d'une bibliothèque JAVA 7 qui permet de :
• Stocker les archives sous une arborescence spécifique dans HDFS et dans FS.
• Garantir l'authenticité des archives en stockant le Hash.
• Récupération et suppression des archives.
• Sécurisation du cluster à l'aide du Proxy NGINX et d'une authentification HTTP et du Firewall APF
• Monitorer le Cluster en utilisant l'API Cloudera Manager.
• Recette et résolution de bugs
• Présentation du produit aux clients
• Rédaction des spécifications techniques & fonctionnelles

Technologies : Java7, Junit, Mock, HDFS, Cloudera Manager, Cloudera Manager API, NGINX, APF.
Outils : Intellij, Putty, FileZilla, Gitlab, Jira, SourceTree, Sonar, Jenkins, Maven.
Projet Agile : Méthode Scrum.
Effectif : 10.
Equipe agile : Developpeurs 3p, Scrum Master 1p, Product Owner 1p, Tech Lead 1p.
Durée Sprint : 2 semaines.