Introduction

• Le projet Apache Pig, fonctionnalités, versions
• Présentation de Pig dans l'écosystème Hadoop
• Chaîne de fonctionnement
• Comparatif avec l'approche Hive ou Spark

Mise en oeuvre

• Rappels sur les commandes HDFS
• prérequis techniques, configuration de Pig
• Exécution : les différents modes : interactif ou batch
• Principe de l'exécution de scripts Pig Latin avec Grunt

Base latin

• Modèles de données avec Pig
• Intégration Pig avec MapReduce
• Les requêtes Latin : chargement de données, instructions
• Ordres de bases : LOAD, FOREACH, FILTER, STORE
• Création d'un ETL de base
• Contrôle d'exécution

Transformations

• Groupements, jointures, tris, produits cartésiens
• Transformation de base de la donnée
• Découpages
• Découpages sur filtres

Analyse de la donnée

• Échantillonnages
• Filtres
• Rangements avec rank et dense
• Calculs : min/max, sommes, moyennes, ...
• Traitements de chaînes de caractères
• Traitement de dates

Intégration

• Formats d'entrées/sorties
• Interfaçage avro, json
• Chargement de données depuis HDFS vers HBase, analyse de données Pig/HBase et restitution Json

Extensions

• Extension du Pig Latin
• Création de fonctions UDF en Java
• Intégration dans les scripts Pig
• Utilisation de Pig Latin depuis des programmes Python
• Exécution de programmes externes, streaming