Formation - Supervision et analyse des logs avec Prometheus, Loki, Grafana et ELK

1 - Fondamentaux de la supervision et du monitoring Big Data

• Définir les concepts clés de la supervision IT et de l’observabilité des systèmes distribués
• Comprendre les objectifs et les techniques de monitoring des infrastructures Big Data
• Identifier les objets supervisés : services, ressources, métriques et journaux
• Analyser les protocoles d’accès et les exporteurs de données distribués
• Appliquer la supervision aux environnements Big Data : Hadoop, Cassandra, HBase, MongoDB

2 - Présentation de la pile Elastic

• Comprendre les besoins en bases de données de type Time Series (TSDB)
• Étudier les solutions de monitoring : Prometheus, Graphite, InfluxDB, Loki, Elasticsearch
• Analyser les architectures et cas d’usage de chaque outil
• Découvrir les outils de visualisation : Grafana et Kibana

3 - Mise en oeuvre de Graphite pour la supervision des métriques

• Comprendre l’architecture et les composants de Graphite
• Maîtriser le modèle de données et le stockage des séries temporelles
• Gérer les timestamps et le format des métriques
• Estimer les besoins en stockage et dimensionner une architecture de production

4 - Supervision avec InfluxDB et collecte des données

• Installer et configurer InfluxDB pour la supervision
• Comprendre la structure : bucket, token, organisation
• Utiliser Telegraf pour la collecte des métriques
• Maîtriser le langage InfluxQL (compatible SQL)
Atelier

Démonstration de supervision avec InfluxDB, Jolokia et Cassandra

5 - Supervision Big Data avec JMX et Cassandra

• Comprendre le protocole JMX et les MBeans
• Visualiser les métriques avec jconsole
• Superviser les performances Cassandra : I/O, charge, volumes de données

6 - Mise en oeuvre de Prometheus pour le monitoring distribué

• Installer et configurer Prometheus
• Définir les ressources supervisées et les intervalles de collecte
• Comprendre les types de métriques : compteurs, jauges, histogrammes
• Gérer les notions d’instances et de jobs
• Utiliser Node Exporter, JMX
• Exporter et autres collecteurs
• Maîtriser le langage PromQL pour l’analyse des métriques
Atelier

Supervision d’un serveur avec Node

Exporter Supervision de Cassandra avec JMX

Exporter Configuration des agents et agrégation des données

7 - Visualisation des données avec Grafana

• Installer et configurer Grafana pour la visualisation des métriques
• Connecter Prometheus et configurer les sources de données
• Créer des graphiques et dashboards interactifs
• Mettre en place des filtres et agrégations de données
• Concevoir des tableaux de bord personnalisés
Atelier

Création d’un dashboard complet de supervision Cassandra

8 - Supervision des logs avec Loki et Grafana

• Comprendre l’architecture de Loki pour la gestion des logs
• Installer et configurer Loki en mode monolithique ou distribué
• Utiliser Promtail et Alloy pour la collecte des logs
• Maîtriser le langage LogQL
Atelier

Mise en place d’un dashboard de supervision des logs Cassandra

9 - Analyse des logs et observabilité avec la stack Elastic

• Comprendre l’architecture de la stack ELK (Elasticsearch, Logstash, Kibana)
• Dimensionner et configurer un cluster Elasticsearch
• Gérer le mapping des données (automatique et manuel)
• Collecter les données avec Filebeat et Metricbeat
• Explorer les données et créer des visualisations avec Kibana
Atelier

Supervision de Cassandra avec Elasticsearch

Supervision de MongoDB avec Elasticsearch et Kibana