Informations pratiques

• Durée : 45h
• Niveau : Avancé
• Modalité : Visio

Objectifs pédagogiques

• Comprendre les concepts de Data Engineering
• Concevoir et développer des processus ETL
• Utiliser des outils ETL modernes
• Gérer la qualité des données
• Automatiser les pipelines de données

Programme de la formation

1. Fondamentaux Data Engineering (10h)
   • Architecture data : data lake, data warehouse, data lakehouse et data mesh — concepts et différences
   • ETL vs ELT : comparaison des approches, cas d'usage, outils et évolution vers le cloud-native
   • Data pipelines : composants (source, transformation, destination), DAG et dépendances entre tâches
   • Workflows : orchestration, scheduling, gestion des erreurs, retry et idempotence
   • Rôle du Data Engineer : responsabilités, compétences clés et positionnement dans l'équipe data
   • Modern Data Stack : dbt, Fivetran, Snowflake, Airbyte et écosystème cloud-native
2. Processus ETL (15h)
   • Extraction : connecteurs sources (bases SQL, APIs REST, fichiers plats, streaming) et change data capture
   • Transformation : nettoyage, normalisation, agrégation, enrichissement et logique métier
   • Loading : stratégies (full load, incremental, upsert), partitionnement et optimisation du chargement
   • Orchestration : planification des jobs, dépendances, parallélisation et gestion des SLA
   • Gestion des erreurs : logging, retry policies, dead letter queues et alerting en cas d'échec
   • Patterns avancés : slowly changing dimensions, snapshots, backfill et data versioning
3. Outils ETL (12h)
   • Apache Airflow : DAGs Python, operators, sensors, XComs, pools et connexions
   • dbt (data build tool) : models SQL, tests, documentation, materializations et incremental models
   • Talend : interface visuelle, composants, jobs, routines et déploiement en production
   • Python ETL : scripts avec Pandas, SQLAlchemy, requests et libraries spécialisées (petl, Luigi)
   • Fivetran et Airbyte : connecteurs managés, ELT cloud et réplication de données automatisée
   • Cloud ETL : AWS Glue, Azure Data Factory, Google Dataflow et comparaison des services managés

Prérequis

SQL et Python requis

Public visé

Data analysts, développeurs, futurs data engineers

Méthodes pédagogiques

Formation en distanciel (visio) et/ou en présentiel selon les sessions

Évaluation

QCM, exercices pratiques, mise en situation professionnelle, étude de cas, projet final

Accessibilité

Formation accessible aux personnes en situation de handicap. Possibilités d'adaptation pédagogique et technique. Pour toute question concernant l'accessibilité, contactez notre référent handicap : Kelly Ohana - contact@visio-form.fr