Formation - Spark Scala - Traitement des données

Intra-entreprise

Référence : XvbhECtQNjHc

Durée : 21 h sur 3 j

Tarif

10 350 €

M2i Formation

Mougins

Intra-Entreprise

Une formation intra-entreprise réunit dans une même session les salariés d'une seule entreprise. Elle se déroule généralement dans les locaux de l'entreprise. Le tarif est convenu pour la formation d'un groupe de salarié.

Détails de la formation

Méthodes et outils pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance). Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont : - Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel) - Environnements de formation installés sur les postes de travail ou en ligne - Supports de cours et exercices En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué. nous consulter pour la faisabilité en distanciel * ratio variable selon le cours suivi

Objectifs de la formation

A l’issue de cette formation, vous serez capable de :

Naviguer dans l'écosystème Spark en utilisant Scala comme langage de programmation.

Méthodes d'évaluation

En cours de formation, par des études de cas ou des travaux pratiques - Et, en fin de formation, par un questionnaire d'auto-évaluation

Pré-requis

Connaître la programmation fonctionnelle et avoir des connaissances sur la gestion des bases de données.

Public cible

Tous publics

Programme

Introduction à Scala pour Apache Spark

-Présentation de Scala-Pourquoi Scala avec Spark ?-Scala dans les autres framework-Introduction à Scala REPL-Les opérations basiques sur Scala-Les types de variables dans Scala-Les structures de contrôles dans Scala
-Les boucles
-Les fonctions
-Les procédures-Les collections dans Scala (Array, ArrayBuffer, Map, Tuples, Lists...)

Introduction au Big Data et Apache Spark

-Introduction au Big Data-Les challenges du Big Data-Batch vs le temps réel dans le Big Data Analytics-Analyse en Batch Hadoop-Vue d'ensemble de l'écosystème-Les options de l'analyse en temps réel-Streaming Data Spark-In-memory Data Spark-Présentation de Spark-Ecosystème Spark-Les modes de Spark-Installation de Spark-Vue d'ensemble de Spark en cluster-Spark Standalone cluster-Spark Web UIJour 2

Les opérations communes sur Spark

-Utilisation de Spark Shell-Création d'un contexte Spark-Chargement d'un fichier en Shell-Réalisation d'opérations basiques sur un fichier avec Spark Shell-Présentation du l'environnement de développement SBT-Créer un projet Spark avec SBT-Exécuter un projet Spark avec SBT-Le mode local-Le mode Spark-Le caching sur Spark-Persistance distribuée

Introduction aux RDD et DataFrame

-Transformations dans le RDD-Actions dans le RDD-Chargement de données dans RDD-Enregistrement des données à travers RDD-Paire clé-valeur "RDD MapReduce" et les paires "RDD Operations"-Intégration HDFS avec Spark et Hadoop-Intégration YARN avec Spark et Hadoop-Gestion des fichiers de séquences et les partitionner-Exemple de travaux pratiques (à titre indicatif)
-Data PreProcessing avec Spark DataFrameJour 3

Spark Streaming et MLlib

-Architecture de Spark Streaming-Premier programme avec Spark Streaming-Les transformations dans Spark Streaming-La "fault tolerance" dans Spark Streaming-Checkpointing-Niveaux de parallélismes-Machine Learning avec Spark-Types de données-Algorithmes et statistiques-Classification et régression-Clustering-Filtrage collaboratif