Formation Développer des applications Big Data avec Hadoop et l'écosystème analytique

Introduction au Big Data et à l'écosystème Hadoop

• —Comprendre le concept de Big Data et ses défis
• —Identifier les caractéristiques des données massives (5V)
• —Découvrir l'écosystème Hadoop et son rôle dans le Big Data
• —Présenter les principaux composants Hadoop : HDFS, MapReduce, YARN
• —Vue d'ensemble des cas d'usage industriels d'Hadoop

Installation et configuration d'un environnement Hadoop Single Node

• —Préparer l'environnement : JVM, système d'exploitation
• —Effectuer l'installation d'une distribution Hadoop (Apache ou Cloudera/Hortonworks)
• —Configurer les fichiers core-site.xml, hdfs-site.xml, yarn-site.xml
• —Démarrer et vérifier l'état des services Hadoop
• —Utiliser l'interface web (UI) pour la supervision

HDFS (Hadoop Distributed File System) : Principes et Opérations

• —Comprendre l'architecture distribuée de HDFS : NameNode, DataNode
• —Expliquer les concepts de blocs, réplication et tolérance aux pannes
• —Effectuer les opérations de base sur HDFS via la ligne de commande (fs shell)
• —Gérer les droits d'accès et permissions sur HDFS
• —Bonnes pratiques de stockage et de réplication

HDFS Avancé : Sécurité et Performances

• —Implémenter la sécurité dans HDFS (Kerberos, ACLs)
• —Optimiser le stockage : quotas, snapshots, compression
• —Utiliser la commande DistCp pour la copie de données massives
• —Monitorer les performances de HDFS
• —Gestion des petits fichiers dans HDFS

Introduction à MapReduce : Principes et Architecture

• —Comprendre le modèle de programmation MapReduce
• —Expliquer les phases Map, Shuffle, Sort et Reduce
• —Décrire l'architecture de MapReduce V1 (JobTracker, TaskTracker)
• —Analyser le cycle de vie d'un job MapReduce
• —Exemples simples d'applications MapReduce

Développer des Jobs MapReduce en Java

• —Écrire un programme MapReduce en Java : Mapper, Reducer, Driver
• —Gérer les types de données Hadoop et les écritures/lectures
• —Implémenter des compteurs personnalisés (Counters)
• —Utiliser le contexte pour l'échange d'informations
• —Débugger des applications MapReduce

Hadoop YARN (Yet Another Resource Negotiator)

• —Comprendre l'évolution de MapReduce vers YARN
• —Décrire l'architecture de YARN : ResourceManager, NodeManager, ApplicationMaster
• —Expliquer la gestion des ressources et la planification des jobs
• —Configurer les queues et la répartition des ressources
• —Lancer des applications MapReduce sur YARN

Optimisation et Bonnes Pratiques MapReduce

• —Techniques d'optimisation des jobs : nombre de Reduce tasks, compression
• —Utiliser des Combinner et Partitioner personnalisés
• —Gérer les joins dans MapReduce (Reduce-side join, Map-side join)
• —Implémenter des patterns MapReduce avancés
• —Débugging et monitoring des performances MapReduce sur YARN

Introduction à l'écosystème Hadoop : Hive pour le Data Warehousing

• —Présenter Hive : Data Warehouse sur Hadoop
• —Comprendre l'architecture de Hive et le Metastore
• —Définir des tables internes et externes dans Hive
• —Charger des données et interroger avec HiveQL (SQL-like)
• —Cas d'usage de Hive et intégration avec d'autres outils

SQL sur Hadoop avec Hive Avancé

• —Utiliser les fonctions UDF (User Defined Functions) et UDAF
• —Partitions et Buckets pour l'optimisation des requêtes
• —Gérer les formats de fichiers (ORC, Parquet) et les compressions
• —Optimiser les performances des requêtes Hive
• —Sécurité et gestion des droits dans Hive

Traitements Intéractifs et Temps Réel : Introduction à Spark

• —Comprendre les limites de MapReduce pour le temps réel
• —Introduction à Apache Spark et son architecture in-memory
• —Comparaison Spark vs MapReduce
• —Concepts de RDD (Resilient Distributed Datasets) dans Spark
• —Cas pratiques d'utilisation de Spark pour les transformations de données

Intégration et Persistance de Données dans l'Écosystème Hadoop

• —Utiliser Sqoop pour l'import/export de données RDBMS vers/depuis HDFS
• —Présenter Flume pour la collecte de logs et événements
• —Introduction à HBase : base de données NoSQL sur HDFS
• —Architectures Big Data courantes intégrant Hadoop et d'autres outils
• —Les frameworks d'orchestration de workflows (ex: Oozie)
• —✅ Compétences :

OPCO

Formations financées via votre opérateur de compétences

FAF

Aide à la formation pour les indépendants

France Travail

Des aides pour les demandeurs d'emploi

Employeur

Votre entreprise peut financer votre formation

FNE-Formation

Un soutien pour les entreprises en transformation

- Connaissance des bases de la programmation (Java recommandé). - Familiarité avec les concepts de base des systèmes d'exploitation (Linux recommandé). - Notions de base sur les bases de données SQL ou NoSQL sont un plus.

- Ordinateur portable récent (min. 8 Go RAM, processeur i5 équivalent). - Environnement Linux (Ubuntu 20.04+ recommandé) ou Mac OS. - Une machine virtuelle avec Linux pour les utilisateurs Windows. - Accès administrateur pour l'installation de logiciels.

5 tests d'évaluation sont proposés à l'apprenant en fin de formation pour connaître son niveau sur chaque compétences visées.

Plateforme et contenus e-learning à disposition. Test de positionnement Quizz & Evaluations

Nous vous recevons lors d’un rendez-vous d’information préalable gratuit et confidentiel en visioconférence pour analyser vos besoins et co-construire votre parcours personnalisé. Chaque demande s’accompagne de la remise d’une convention ou d’un contrat précisant l’ensemble des informations relatives à la formation (Tarifs, calendrier, durée, lieu…). Ce contrat/convention sera transmis électroniquement par email.

A partir de l’accord de prise en charge par le financeur sollicité, le bénéficiaire peut démarrer sous un délai de 11 jours ouvrés. Si vous financez votre parcours de formation par vos propres moyens, alors le délai d'accès est immédiat. Vous pouvez entrer en formation tout au long de l’année.

♿️ Nous accueillons les personnes en situation de handicap. Les conditions d’accessibilité aux personnes handicapées sont inscrites sur le site imi-education.fr, rubrique Accessibilité.

Saskia Cazettes Pour tout renseignement : 07 80 91 06 14 / saskia.c@imi-executive-solutions.com

23 mars 2026

La formation alterne apports théoriques, mises en situation pratiques et échanges entre participants. Chaque concept est directement appliqué via des exercices concrets et des cas réels.

Oui, chaque participant reçoit un support de cours complet (format numérique et/ou papier) qu'il peut conserver à l'issue de la formation.

Certaines de nos formations sont éligibles au Compte Personnel de Formation (CPF). Consultez la fiche formation ou contactez-nous pour vérifier l'éligibilité.

Plusieurs dispositifs de financement existent : CPF, OPCO, plan de développement des compétences, financement individuel. Notre équipe peut vous accompagner dans vos démarches.

Oui, notre équipe reste disponible pour toute question post-formation. Vous bénéficiez également d'un accès à nos ressources en ligne pendant 6 mois après votre parcours.

La formation vous permettra de maîtriser les fondamentaux de l'écosystème Hadoop, de développer des applications Big Data performantes et de gérer de grands volumes de données.

Nous utiliserons les outils de base de l'écosystème Hadoop, tels que HDFS, MapReduce et YARN, ainsi que d'autres outils tels que Hive pour l'analyse de données.

Oui, un certificat de formation sera délivré à la fin de la formation, après avoir réussi l'évaluation finale.

Notre organisme de formation s'engage à accueillir et accompagner les personnes en situation de handicap. Notre référente handicap, Mme Lorène Travaux est disponible pour étudier avec vous les adaptations pédagogiques, techniques ou logistiques nécessaires avant toute inscription. Contactez-nous à hello@imi-executive-solutions.com ou au 06 72 09 69 52.