Formation - PySpark - Traitement des données
Référence : bSSv3Ymqco1D
Durée : 21 h sur 3 j
Tarif
10 350 €
HT
Logo - M2i Formation
M2i Formation
Mougins
Intra-Entreprise
Une formation intra-entreprise réunit dans une même session les salariés d'une seule entreprise. Elle se déroule généralement dans les locaux de l'entreprise. Le tarif est convenu pour la formation d'un groupe de salarié.

Détails de la formation

Méthodes et outils pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance). Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont : - Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel) - Environnements de formation installés sur les postes de travail ou en ligne - Supports de cours et exercices En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué. nous consulter pour la faisabilité en distanciel * ratio variable selon le cours suivi

Objectifs de la formation

A l’issue de cette formation, vous serez capable de :

  • Décrire le principe de fonctionnement de Spark
  • Utiliser l'API PySpark pour interagir avec Spark en Python
  • Mettre en oeuvre les méthodes de Machine Learning avec la librairie MLlib de Spark
  • Traiter les flux de données avec Spark Streaming
  • Manipuler les données avec Spark SQL.

Méthodes d'évaluation

  • En cours de formation, par des études de cas ou des travaux pratiques - Et, en fin de formation, par un questionnaire d'auto-évaluation

Pré-requis

Avoir des notions de SQL et des connaissances de base en mathématiques et statistiques. Une première expérience en programmation Python est requise.

Public cible

Tous publics

Programme

1
Introduction à Hadoop
-L'ère du Big Data-Architecture et composants de la plateforme Hadoop-HDFS-NameNode / DataNode / ResourceManager-MapReduce et YARN
2
Introduction à Spark
-Qu'est-ce que Spark ?-Spark vs MapReduce-Fonctionnement
-RDD
-DataFrames
-Data Sets-Comment interagir avec Spark ?-PySpark : programmer avec Spark en Python
3
Installation de Spark
-Sur une infrastructure distribuée-En local-En Cloud (présentation avec Amazon AWS et Microsoft Azure)Jour 2
4
Spark pour la manipulation des données - PySpark
-Utilisation de SparkSQL et des DataFrames pour manipuler des données-Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...-Transformer des données (création de DataFrames, ajout de colonnes, filtres...)-Exemple de travaux pratiques (à titre indicatif)
-Chargement et modifications de données avec Spark et PySpark
5
L'utilisation de spark.ml pour le Machine Learning
-Apprentissage supervisé
-Forêts aléatoires avec Spark-Mise en place d'un outil de recommandation-Traitement de données textuelles-Automatiser vos analyses avec des pipelinesJour 3

Sur la même thématique

Logo eDRH Sud PACA - Footer
Nous contacter

Chambre de Commerce
et d’industrie Nice Côte d’Azur

20 Boulevard Carabacel
CS 11259
06005 NICE CEDEX 1

Tel :04 93 13 75 73
(Appel gratuit depuis un poste fixe)