Formation Formation Big Data: Maîtriser Spark Scala pour le Traitement de Données

Introduction au Big Data et à l'écosystème

• —Définition du Big Data : les 5 V (Volume, Vélocité, Variété, Véracité, Valeur)
• —Présentation de l'écosystème Hadoop et ses composants clés
• —Rôle de Spark dans l'architecture Big Data
• —Cas d'usage et défis du traitement de données massives

Bases de Scala pour Spark

• —Introduction à la programmation fonctionnelle Scala
• —Types de données, variables, structures de contrôle
• —Collections : Listes, Maps, Sets
• —Fonctions anonymes et objets Scala

Fondamentaux d'Apache Spark

• —Architecture Spark : Driver, Executors, Cluster Manager
• —RDD (Resilient Distributed Datasets) : création et opérations de base
• —Transformations et actions sur les RDD
• —Persistance et caching des RDD

Traitement de données avec Spark SQL

• —Introduction aux DataFrames et Datasets
• —Création de DataFrames à partir de différentes sources (CSV, JSON, Parquet)
• —Opérations de sélection, filtrage, jointure sur DataFrames
• —Fonctions d'agrégation et groupements

Gestion des données structurées et semi-structurées

• —Analyser des données structurées avec DataFrames dans Spark
• —Manipuler des données semi-structurées avec des Datasets en Scala
• —Utiliser des fonctions intégrées pour le nettoyage de données
• —Effectuer des jointures et des agrégations sur des données complexes
• —Exporter et sauvegarder des résultats dans différents formats de fichiers

Transformations avancées et UDFs

• —Fonctions de fenêtre et analytiques
• —Pivots, Dépivots et cross-tabulations
• —Création de User Defined Functions (UDF) en Scala
• —Application de UDFs sur DataFrames

Intégration de Spark avec des sources externes

• —Connexion à des bases de données SQL (JDBC/ODBC)
• —Intégration avec des bases NoSQL (MongoDB, Cassandra via connecteurs)
• —Lecture et écriture de données depuis/vers HDFS et S3
• —Gestion des erreurs et des connexions

Traitement de flux de données avec Spark Streaming

• —Introduction aux concepts du streaming Big Data
• —DStreams (Discretized Streams) : opérations et transformations
• —Sources de données pour Spark Streaming (Kafka, Flume)
• —Gestion des états et tolérance aux pannes

Introduction à Spark MLlib (Machine Learning)

• —Explorer les concepts clés du machine learning avec Spark MLlib
• —Appliquer des algorithmes de classification sur des jeux de données réels
• —Utiliser des pipelines ML pour automatiser le workflow de traitement des données
• —Évaluer les performances des modèles avec des métriques appropriées
• —Intégrer des modèles MLlib dans des applications Scala pour des solutions pratiques

Déploiement et exécution d'applications Spark

• —Modes de déploiement Spark : Local, YARN, Mesos, Kubernetes
• —Soumission d'applications Spark : spark-submit
• —Configuration des ressources (mémoire, CPU)
• —Optimisation des performances des jobs Spark

Surveillance et débogage d'applications Spark

• —Utilisation de l'interface utilisateur web Spark (Spark UI)
• —Analyse des logs et des métriques
• —Stratégies de débogage et résolution de problèmes
• —Bonnes pratiques de codage pour la performance

Projet de synthèse et cas d'usage avancés

• —Conception et développement d'un projet complet Big Data
• —Récapitulatif des bonnes pratiques de développement Spark Scala
• —Présentation de cas d'usage réels et retours d'expérience
• —Questions-réponses et perspectives d'évolution

OPCO

Formations financées via votre opérateur de compétences

FAF

Aide à la formation pour les indépendants

France Travail

Des aides pour les demandeurs d'emploi

Employeur

Votre entreprise peut financer votre formation

FNE-Formation

Un soutien pour les entreprises en transformation

- Familiarité avec la programmation orientée objet (POO) - Notions de base en SQL fortement recommandées - Connaissance d'un langage de programmation (Scala, Java ou Python) est un plus

- Ordinateur portable récent (Windows, macOS, Linux) - Minimum 8 Go de RAM (16 Go ou plus recommandés) - Espace disque disponible : au moins 20 Go - Installation de Java Development Kit (JDK) 8+ - Possibilité d'installer et d'exécuter des logiciels (Spark, Scala, IDE) - Connexion internet stable

5 tests d'évaluation sont proposés à l'apprenant en fin de formation pour connaître son niveau sur chaque compétences visées.

Plateforme et contenus e-learning à disposition. Test de positionnement Quizz & Evaluations

Nous vous recevons lors d’un rendez-vous d’information préalable gratuit et confidentiel en visioconférence pour analyser vos besoins et co-construire votre parcours personnalisé. Chaque demande s’accompagne de la remise d’une convention ou d’un contrat précisant l’ensemble des informations relatives à la formation (Tarifs, calendrier, durée, lieu…). Ce contrat/convention sera transmis électroniquement par email.

A partir de l’accord de prise en charge par le financeur sollicité, le bénéficiaire peut démarrer sous un délai de 11 jours ouvrés. Si vous financez votre parcours de formation par vos propres moyens, alors le délai d'accès est immédiat. Vous pouvez entrer en formation tout au long de l’année.

♿️ Nous accueillons les personnes en situation de handicap. Les conditions d’accessibilité aux personnes handicapées sont inscrites sur le site imi-education.fr, rubrique Accessibilité.

Saskia Cazettes Pour tout renseignement : 07 80 91 06 14 / saskia.c@imi-executive-solutions.com

23 mars 2026

La formation alterne apports théoriques, mises en situation pratiques et échanges entre participants. Chaque concept est directement appliqué via des exercices concrets et des cas réels.

Oui, chaque participant reçoit un support de cours complet (format numérique et/ou papier) qu'il peut conserver à l'issue de la formation.

Certaines de nos formations sont éligibles au Compte Personnel de Formation (CPF). Consultez la fiche formation ou contactez-nous pour vérifier l'éligibilité.

Plusieurs dispositifs de financement existent : CPF, OPCO, plan de développement des compétences, financement individuel. Notre équipe peut vous accompagner dans vos démarches.

Oui, notre équipe reste disponible pour toute question post-formation. Vous bénéficiez également d'un accès à nos ressources en ligne pendant 6 mois après votre parcours.

Spark Scala est un framework de traitement distribué conçu pour traiter des données massives. Il est utilisé pour traiter des données volumineuses, velocity et variety. Spark Scala est important dans le traitement des données Big Data car il permet d'analyser et de traiter rapidement et efficacement de grandes quantités de données.

Lors de cette formation, vous acquérez les compétences nécessaires pour développer des applications Spark Scala, comprendre l'architecture et l'écosystème Big Data, maîtriser le traitement de données Big Data et optimiser les performances de traitement des données.

Vous utiliserez des outils de développement Spark Scala pour la mise en œuvre de projets concrets et accédez à des ressources pédagogiques complètes, y compris des tutoriels et des documents de référence.

Notre organisme de formation s'engage à accueillir et accompagner les personnes en situation de handicap. Notre référente handicap, Mme Lorène Travaux est disponible pour étudier avec vous les adaptations pédagogiques, techniques ou logistiques nécessaires avant toute inscription. Contactez-nous à hello@imi-executive-solutions.com ou au 06 72 09 69 52.