Formation - Web scraping avec Python

Intra-entreprise

Référence : stvzw3feT7Zb

Durée : 21 h sur 3 j

Tarif

8 700 €

M2i Formation

Mougins

Intra-Entreprise

Une formation intra-entreprise réunit dans une même session les salariés d'une seule entreprise. Elle se déroule généralement dans les locaux de l'entreprise. Le tarif est convenu pour la formation d'un groupe de salarié.

Détails de la formation

Méthodes et outils pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle, présentiel à distance). Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont : - Ordinateurs Mac ou PC (sauf pour certains cours de l’offre Management), connexion internet fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour le distanciel) - Environnements de formation installés sur les postes de travail ou en ligne - Supports de cours et exercices En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...) au bon déroulement de l'action de formation visée conformément aux prérequis indiqués dans le programme de formation communiqué. nous consulter pour la faisabilité en distanciel * ratio variable selon le cours suivi

Objectifs de la formation

A l’issue de cette formation, vous serez capable de :

Réaliser du scraping de données
Faire les actions d'ingestion nécessaires pour alimenter un Data Lake.

Méthodes d'évaluation

En cours de formation, par des études de cas ou des travaux pratiques - Et, en fin de formation, par un questionnaire d'auto-évaluation

Pré-requis

Avoir des connaissances de base sur Python et en algorithmique.

Public cible

Tous publics

Programme

Les bases du langage Python

-Les caractéristiques du langage Python-Pourquoi choisir Python pour l'analyse de données ?-Types de bases-Les instructions de bases-Les procédures et fonctions

L'ingestion avec Python

-Utiliser la librairie Pandas pour manipuler les données-Introduction du concept de DataFrame-Les structures :
-Interrogation
-Indexation-Traitement de "données manquantes"-Fusion de DataFrames-Manipulation des dates-Application de mesures statistiques variées sur les DataFrames-Bonne compréhension des problèmes d'échelle de mesure, de normalisation-Création de métriques d'analyse

Scraping de données

-Qu'est-ce que le scraping ?-Définition du scraping et de ses différents niveaux de difficulté sur plusieurs supports
-Depuis le Web
-Depuis du papier
-Depuis des PDF-Exemples de projets réalisés grâce au scraping-L'architecture d'Internet-Qu'est-ce qu'un "client" ? Qu'est-ce qu'un "serveur" ? Pourquoi est-ce important ?-Comment HTTP et HTML impactent-t-ils nos scrapers ?-Qu'est-ce qu'une balise HTML ? Un attribut ?-Comment identifier certains éléments avec une "class" ou un "id" ?

Python comme solution ETL

-Les formats de données structurées : CSV, flux XML et JSON-Lecture et écriture de fichiers-Exploitation des données de fichiers de différentes sources-Fonctions d'accès et de chargement de données en blocs de lignes-Outils spécifiquement dédiés au scraping :
-Beautiful Soup
-CSS Select

Mise en oeuvre d'un scraper

-Un scraper simple (requêtes GET, pages séquencées)-Identifier la stratégie à adopter pour naviguer sur le site-Coder le scraper-Un scraper complexe : envoyer des données à un site Internet pour obtenir des résultats plus complexes-Qu'est ce qu'une requête POST et une requête GET ?-Parcourir un site pour trouver les données-Identifier la stratégie à adopter-Coder le scraper