Paramétrage d'un ETL avec Airflow

1. Installation
a. Déploiement de Airflow avec une base de données PostgreSQL sur un serveur distant ([URL visible pour les membres Pro])
b. Installation du certificat TLS
c. Installation de la connexion SSH par certificats
d. Vérification des paramétrages de sécurité pour Airflow et PostgreSQL (contrôle des ports ouverts)
2. Paramétrage Airflow
a. Visualisation des DAGs par propriétaire (filter_by_owner)
b. Installation des « Airflow Maintenance DAGs » ([URL visible pour les membres Pro])
c. Mise en oeuvre du DAG de nettoyage des logs anciens
3. Création de DAGs "standards"
a. Un DAG lecture d’API sous forme JSON (les APIs fonctionnent de la façon suivante : envoi d’un "username" et d'un mot de passe vers l’API qui renvoie en retour un token valable 2 heures)
b. Un DAG écriture vers API à partir d'un fichier JSON
c. Un DAG d'extraction des PJ des emails fonctionnant comme suit : lecture des emails arrivant dans la BAL du serveur à échéance régulière ;analyse de l’en-tête de l'email en référence au DAG destinataire ; Vérification si référence existe et/ou est activée ; si non email retour à l’émetteur avec notification ; chargement de la PJ au format ZIP/CSV/XLS/XLSX contenant un tableau ;transfert des données au DAG de transformation destinataire (en incluant l’adresse de l’émetteur de l’email pour retour)
d. Un DAG d’envoi d’email avec PJ (XLSX/XLS/CSV/ZIP)
e. Un DAG qui renvoie les métriques (charge CPU, espace libre HDD, RAM libre) du server par email quand un seuil est dépassé ou sur demande par email