Formation - Data Engineering avec Kafka, Cassandra et Spark
Référence : UJKr37aGa0qW
Durée : 28 h sur 4 j
Tarif
13 800 €
HT
Logo - M2i Formation
M2i Formation
Mougins
Intra-Entreprise
Une formation intra-entreprise réunit dans une même session les salariés d'une seule entreprise. Elle se déroule généralement dans les locaux de l'entreprise. Le tarif est convenu pour la formation d'un groupe de salarié.

Détails de la formation

Méthodes et outils pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance). Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont : - Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel) - Environnements de formation installés sur les postes de travail ou en ligne - Supports de cours et exercices En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué. nous consulter pour la faisabilité en distanciel * ratio variable selon le cours suivi

Objectifs de la formation

A l’issue de cette formation, vous serez capable de :

  • Présenter les concepts fondamentaux de Spark, Cassandra et Kafka
  • Développer une application orientée use case avec Spark, Cassandra et Kafka
  • Définir le Data Engineering
  • Décrire l'architecture Big Data de manière approfondie.

Méthodes d'évaluation

  • En cours de formation, par des études de cas ou des travaux pratiques - Et, en fin de formation, par un questionnaire d'auto-évaluation

Pré-requis

Avoir des connaissances sur Shell, Python et/ou Scala.

Public cible

Tous publics

Programme

1
Introduction à Kafka
-Kafka : une plateforme de données de flux-Un aperçu de Kafka et de son efficacité-Producers-Brokers-Consumers
2
Installation et architecture
-Installation et options avancées-Fichiers journaux de Kafka-Réplication et fiabilité-Chemins d'écriture et de lecture de Kafka-Partitions, consumer groups et scalability
3
Développement et mise en oeuvre
-Cas d'utilisation de Kafka Streams-Kafka Streams-Etude d'une application et usage de Kafka StreamsJour 2
4
Introduction à Cassandra
-Introduction au NoSQL-Prérequis de Cassandra-Installation-Fichier de configuration : conf/cassandra.yaml-L'architecture-Les réplications-Exemples de travaux pratiques (à titre indicatif)
-Commandes de base
-Connexion au système de base de données
-Création de colonnes
-Insertion
-Modification recherche
-Définition des colonnes et des types de données
-Définition d'une clé primaire
-Reconnaître une clé de partition
-Le CQL : Cassandra Query Language
-Exécution de scripts
-Data Modeling
-Créer une application
-Ajout des noeudsJour 3
5
Apache Spark
-Introduction à Spark-Vue d'ensemble de Spark-Ecosystème Spark-Spark vs Hadoop-Installation et configuration-Exemples de travaux pratiques (à titre indicatif)
-Remise à niveau Python / Scala
-Spark :
-RDD (Resilient Distributed Dataset)
-DataFrame
-SQL
-Streaming
-MLlib
-GraphX
-Création d'applications SparkJour 4
-Projet avec la mise en oeuvre d'une solution bout en bout (ingestion, stockage et calcul) via :
-Kafka
-Cassandra
-Spark

Sur la même thématique

Logo eDRH Sud PACA - Footer
Nous contacter

Chambre de Commerce
et d’industrie Nice Côte d’Azur

20 Boulevard Carabacel
CS 11259
06005 NICE CEDEX 1

Tel :04 93 13 75 73
(Appel gratuit depuis un poste fixe)