Formation - Hadoop Cloudera - Administration
Référence : S6vZ4tZFSq0I
Durée : 21 h sur 3 j
Logo - M2i Formation
M2i Formation
Mougins
Intra-Entreprise
Une formation intra-entreprise réunit dans une même session les salariés d'une seule entreprise. Elle se déroule généralement dans les locaux de l'entreprise. Le tarif est convenu pour la formation d'un groupe de salarié.

Détails de la formation

Méthodes et outils pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :

  • Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel)
  • Environnements de formation installés sur les postes de travail ou en ligne
  • Supports de cours et exercices

En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi

Objectifs de la formation

A l'issue de cette formation, vous serez capable de :

  • Reconnaître les principes du framework Hadoop, l'installer et le configurer
  • Mettre en oeuvre la configuration et la gestion des services avec Cloudera Manager.

Méthodes d'évaluation

  • Analyse des résultats individuels produits par chaque participant lors des travaux pratiques, correction au fur et à mesure du déroulé de la formation - Réalisation d'un test complet sur un projet global de fin de formation, et analyse par le consultant formateur - Un QCM individuel d'évaluation des acquis est proposé en fin de chaque session

Pré-requis

Avoir connaissance des commandes des systèmes Unix / Linux.

Public cible

Tous publics

Programme

1
Introduction
-Les fonctionnalités du framework Hadoop
-Les différentes versions-Distributions : Apache, Cloudera, Hortonworks, EMR, MapR, DSE-Spécificités de chaque distribution-Architecture et principe de fonctionnement-Terminologie : NameNode, DataNode, ResourceManager, NodeManager
-Rôle des différents composants
-Le projet et les modules : Hadoop Common, HDFS, Yarn, Spark, MapReduce, Hue, Oozie, Hive, HBase, Zeppelin...
2
Les outils Hadoop
-Infrastructure / mise en oeuvre : Avro, Ambari, Zookeeper, Tez, Oozie
-Vue d'ensemble
-Gestion des données
-Exemple de sqoop-Restitution : WebHDFS, Hive, Hawq, Mahout, ElasticSearch...-Outils complémentaires
-De traitement : Spark, SparkQL, Spark ML, Storm, Big Top, Zebra
-De développement : Cascading, Scalding, Flink
-D'analyse : RHadoop, Hama, Chukwa, Kafka
3
Installation et configuration
-Présentation de Cloudera Manager-Installation en mode distribué-Configuration de l'environnement et étude des fichiers de configuration
-Core-site.xml
-Hdfs-site.xml
-Mapredsite.xml
-Yarn-site.xml
-Capacity-scheduler.xml-Création des utilisateurs pour les daemons HDFS et Yarn, droits d'accès sur les exécutables et répertoires-Lancement des services
-Démarrage des composants : HDFS, Hadoop Daemon, Yarn Daemon...-Gestion de la grappe et différentes méthodes : ligne de commandes, API Rest, serveur HTTP intégré, API natives-Exemples en ligne de commandes avec HDFS, Yarn, mapred
-Présentation des fonctions offertes par le serveur HTTP-Traitement de données
-Requêtage SQL avec Hive et Impala-Exemples de travaux pratiques (à titre indicatif)
-Ateliers : organisation et configuration d'une grappe Hadoop avec Cloudera Manager
4
Administration Hadoop
-Outils complémentaires à Yarn et HDFS : jConsole, jConsole Yarn
-Exemples sur le suivi de charges, l'analyse des journaux-Principe de gestion des noeuds-Principe des accès JMX
-Démonstration avec Prométheus-Administration HDFS : présentation des outils de stockage des fichiers, fsck, dfsadmin-Mise en oeuvre sur des exemples simples de récupération de fichiers
-Gestion centralisée de caches avec Cacheadmin-Gestion de la file d'attente, paramétrage, Capacity Scheduler
5
Haute disponibilité
-Mise en place de la haute disponibilité sur une distribution Cloudera-Explication d'une fédération de cluster Hadoop et les intérêts-Exemple de travaux pratiques (à titre indicatif)
-Atelier : passage d'un système HDFS en mode HA

Sur la même thématique

Logo eDRH Sud PACA - Footer
Nous contacter

Chambre de Commerce
et d’industrie Nice Côte d’Azur

20 Boulevard Carabacel
CS 11259
06005 NICE CEDEX 1

Tel :04 93 13 75 73
(Appel gratuit depuis un poste fixe)