Informations pratiques

• Durée : 50h
• Niveau : Avancé
• Modalité : Visio

Objectifs pédagogiques

• Comprendre l'écosystème Big Data
• Utiliser Hadoop et Spark
• Traiter des données massives
• Réaliser des analyses sur Big Data
• Architecturer des solutions Big Data

Programme de la formation

1. Introduction Big Data (10h)
   • Concepts Big Data : définition, enjeux, évolution et impact sur les organisations et les métiers
   • 4V (+ 1) : Volume (téraoctets+), Vélocité (temps réel), Variété (structuré/non-structuré), Véracité et Valeur
   • Architecture Big Data : data lake, data warehouse, Lambda architecture et Kappa architecture
   • Use cases : recommandation, détection de fraude, IoT, analyse de logs et social media analytics
   • Écosystème technologique : Hadoop, Spark, Kafka, NoSQL et services cloud managés
   • Enjeux organisationnels : compétences requises, gouvernance, RGPD et coûts d'infrastructure
2. Hadoop Ecosystem (15h)
   • HDFS : architecture (NameNode, DataNode), réplication, blocs et commandes de gestion de fichiers
   • MapReduce : paradigme de calcul distribué, phases Map et Reduce, combiners et partitioners
   • Hive : SQL-on-Hadoop, HiveQL, tables internes/externes, partitionnement et bucketing
   • Pig : Pig Latin, scripts de transformation, UDFs et cas d'usage ETL sur Hadoop
   • HBase : base NoSQL colonne, architecture RegionServer, rowkey design et opérations CRUD
   • YARN : gestionnaire de ressources, applications et allocation dynamique des conteneurs
3. Apache Spark (18h)
   • Spark Core : RDDs, transformations (map, filter, flatMap), actions (collect, count, reduce) et lazy evaluation
   • Spark SQL : DataFrames, Datasets, requêtes SQL, Catalyst optimizer et format Parquet/ORC
   • DataFrames API : création, sélection, filtrage, agrégation, jointures et UDFs en Python/Scala
   • MLlib : algorithmes ML distribués (classification, régression, clustering), pipelines et feature engineering
   • Spark Structured Streaming : micro-batches, watermarking, event-time processing et fenêtres temporelles
   • Optimisation Spark : partitionnement, caching/persist, broadcast joins et Spark UI pour le tuning

Prérequis

Python, SQL et bases en programmation

Public visé

Data analysts avancés, data engineers, architects

Méthodes pédagogiques

Formation en distanciel (visio) et/ou en présentiel selon les sessions

Évaluation

QCM, exercices pratiques, mise en situation professionnelle, étude de cas, projet final

Accessibilité

Formation accessible aux personnes en situation de handicap. Possibilités d'adaptation pédagogique et technique. Pour toute question concernant l'accessibilité, contactez notre référent handicap : Kelly Ohana - contact@visio-form.fr