Fantom Tag

Formation - Big Data - L'écosystème centralisé de streaming avec Apache Kafka

Diffuser des données en continu

  • Présentiel ou classe à distance
  • Fondamental
Télécharger le PDF
PRESENTIEL OU CLASSE A DISTANCE
Référence
BD554

Durée
3 jours (21 heures)

Prix
1 960,00 €  HT

Dans vos locaux ou à distance
Référence
BD554

Durée
3 jours (21 heures)

Forfait intra - En savoir plus
6 405,00€ HT
(Prix pour un groupe de 12 personnes max)
Formation à la demande
Cette thématique vous intéresse ?
Nos experts conçoivent votre formation
sur-mesure !

Partager cette formation

Lire la suite
Pour qui ?

A qui s'adresse cette formation ?

Pour qui

  • Architectes, chefs de projet, développeurs, équipes DevOps...

Prérequis

  • Posséder des notions d'architectures applicatives en entreprise et des connaissances des protocoles réseaux
  • Avoir de bonnes connaissances en Java ou d'un autre langage
  • Des connaissances en Spring ou Node.js sont recommandées
Programme

Le programme

1 - Comprendre le fonctionnement de Kafka et les principes de communications inter applications

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
  • Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
  • Liaison éventuelle avec Zookeeper. Impacts

2 - Acquérir les bonnes pratiques de distribution de messages

  • Étude de la configuration du broker
  • Ateliers :

    Création d'une configuration multi-broker, démarrage de plusieurs noeuds

    Création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer

3 - Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

  • Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
  • Types de connecteurs
  • Atelier :

    Configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

4 - Appréhender les différentes APIs de Kafka

  • Conception d'applications avec Kafka
  • Principe de fonctionnement
  • Couplage avec SparkStreaming en mode batch, en mode continu
  • Principe et architecture de Kafka Streams
  • Atelier :

    Développement de prototypes en Python, Java, Scala

5 - Mettre en oeuvre KSQL

  • Conception d'application avec KSQL
  • La sur-couche KSQL
  • Présentation de ksqlDB
  • Création de flux en KSQL
  • Les ajouts SQL pour permettre le traitement en flux
  • Micro-batchs
  • Introduction au water-marking
  • Atelier :

    Mise en oeuvre d'une chaîne de traitement avec KSQL

6 - Travailler en sécurité avec Kafka

  • Intégrité et confidentialité : chiffrement SSL et authentification SASL
  • Sécurisation de l'infrastructure : Zookeeper, proxy Rest
  • Disponibilité : la réplication
  • Facteur de réplication
  • Partitions
  • Atelier :

    Tests de haute disponibilité dans une configuration multi-noeuds

7 - Exploitation

  • Mise en oeuvre de Kafka-tool
  • Gestion des logs
  • Détection de pannes : méthodes et outils
  • Benchmarks
Objectifs

Les objectifs de la formation

  • Être capable de comprendre le fonctionnement de Kafka et les principes de communications inter applications
  • Pouvoir acquérir les bonnes pratiques de distribution de messages
  • Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
  • Être capable d'appréhender les différentes APIs de Kafka
  • Apprendre à mettre en oeuvre KSQL
  • Comprendre comment travailler en sécurité avec Kafka
Moyens pédagogiques

Moyens pédagogiques

  • Cette formation fait l'objet d'une évaluation formative.
Points forts

Les points forts de la formation

  • Une formation très opérationnelle durant laquelle s'alternent les phases d'apports théoriques, d'échanges, de partage d'expériences.
  • A l’issue de la formation les participants seront capable de mettre en oeuvre l’outil d’Apache Kafka pour utiliser un système de messagerie distribuée à haut débit.
  • Les participants réalisent sur un cas concret une chaîne de traitement Streaming.

Qualité des formations

ib - groupe Cegos est certifié Iso 9001 et Qualiopi.

Dates et villes

Mise à jour le 30/05/2023

Trier par:

  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    a distance
  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    a distance
  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    a distance
  • 1 960,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
Formation - Big Data - L'écosystème centralisé de streaming avec Apache Kafka