Formation Big Data - L'écosystème centralisé de streaming avec Apache Kafka

Introduction

• Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
• Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
• Liaison avec Zookeeper

Mise en oeuvre

• Préconisations d'installation et prérequis
• Travaux pratiques : installation et lancement de Zookeeper et du Kafka-server
• Création d'un topic simple
• Mise en oeuvre d'une chaîne de base
• Visualisation des messages avec Kafka-console-consumer

Multi-broker

• Étude de la configuration du broker
• Travaux pratiques : création d'une configuration multi-broker, démarrage de plusieurs noeuds

Applicatif

• Conception d'applications avec Kafka
• Principe de fonctionnement
• Travaux pratiques : développement de prototypes de Python, Java, Scala
• Couplage avec SparkStreaming en mode batch, en mode continu

La réplication

• Facteur de réplication
• Partitions
• Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

• Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
• Types de connecteurs
• Travaux pratiques : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Sécurisation

• Chiffrement SSL et authentification SASL
• Sécurisation de l'infrastructure : Zookeeper, proxy Rest

Exploitation

• Mise en oeuvre de Kafka-tool
• Gestion des logs
• Détection de pannes : méthodes et outils
• Benchmarks