Spark Java - Traitement des données

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance). Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont : - Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel) - Environnements de formation installés sur les postes de travail ou en ligne - Supports de cours et exercices En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué. nous consulter pour la faisabilité en distanciel * ratio variable selon le cours suivi

A l’issue de cette formation, vous serez capable de :

• Utiliser le style fonctionnel Java pour définir des tâches complexes de traitement des données
• Différencier les API RDD (Resilient Distributed Dataset) et DataFrame
• Utiliser une syntaxe de style SQL pour produire des rapports sur des ensembles de Big Data
• Mettre en place des algorithmes d'apprentissage automatique avec le Big Data et Spark ML (Machine Learning)
• Connecter Spark à Apache Kafka pour traiter des flux de Big Data
• Expliquer comment le streaming structuré peut être utilisé pour construire des pipelines avec Kafka.

• En cours de formation, par des études de cas ou des travaux pratiques - Et, en fin de formation, par un questionnaire d'auto-évaluation

Avoir une connaissance préalable de Java est supposée, mais tout ce qui dépasse les bases est expliqué. Une connaissance préalable de SQL sera utile pour une partie du cours, mais si vous ne l'avez jamais utilisé auparavant, ce sera une bonne première expérience. Java 8 est requis pour le cours (Spark ne supporte pas actuellement Java 9+, cependant Java 8 est nécessaire pour la syntaxe lambda fonctionnelle).

Tous publics