Introduction

• Le projet Apache Pig, fonctionnalités, versions
• Présentation de Pig dans l'écosystème Hadoop
• Chaîne de fonctionnement
• Comparatif avec l'approche Hive ou Spark

Mise en oeuvre

• Rappels sur les commandes HDFS
• Pré-requis techniques, configuration de Pig
• Travaux pratiques : Exécution : les différents modes (interactif ou batch)
• Principe de l'exécution de scripts Pig Latin avec Grunt

Base latin

• Modèles de données avec Pig
• Intégration Pig avec MapReduce
• Les requêtes Latin : chargement de données, instructions
• Ordres de base : LOAD, FOREACH, FILTER, STORE
• Travaux pratiques : création d'un ETL de base
• Contrôle d'exécution

Transformations

• Groupements, jointures, tris, produits cartésiens
• Transformation de base de la donnée
• Découpages
• Découpages sur filtres

Analyse de la donnée

• Échantillonnages
• Filtres
• Rangements avec rank et dense
• Calculs : min/max, sommes, moyennes, ...
• Travaux pratiques : traitements de chaînes de caractères et traitement de dates

Intégration

• Formats d'entrées/sorties
• Interfaçage avro, json
• Travaux pratiques : chargement de données depuis HDFS vers HBase, analyse de données Pig/HBase et restitution Json

Extensions

• Extension du Pig Latin
• Création de fonctions UDF en Java
• Intégration dans les scripts Pig
• Travaux pratiques : utilisation de Pig Latin depuis des programmes Python
• Travaux pratiques : exécution de programmes externes, streaming