Formation - Gestion du cycle de vie des modèles avec MLflow

1 - Cycle de vie et architecture de MLflow

• Comprendre le cycle de vie d’un modèle de Machine Learning et ses principaux enjeux
• Identifier les problématiques de reproductibilité, de traçabilité et de collaboration
• Découvrir l’écosystème MLflow : Tracking, Projects, Models et Model Registry
• Comprendre l’architecture de MLflow : serveur de suivi, magasin d’artefacts et métadonnées
• Installer et configurer l’environnement de travail MLflow
Atelier

Installer MLflow et démarrer un serveur de suivi local

Explorer l’interface web de MLflow

Configurer un magasin d’artefacts et de métadonnées

Vérifier la connexion entre un script Python et le serveur de suivi MLflow

2 - Suivi des expériences avec MLflow Tracking

• Comprendre les notions d’expérience et d’exécution (run) dans MLflow
• Journaliser les paramètres, les métriques et les artefacts
• Automatiser la journalisation des expériences avec l’autologging
• Comparer les exécutions et visualiser les résultats
• Organiser et rechercher les expériences de Machine Learning
• Appliquer les bonnes pratiques de structuration des expériences
Atelier

Instrumenter un script d’entraînement afin de journaliser les paramètres et les métriques

Activer l’autologging et comparer plusieurs exécutions dans MLflow Tracking

Journaliser des artefacts (modèle, graphiques, jeux de données)

Comparer les exécutions dans l'interface et sélectionner la meilleure

3 - Structurer les projets et les modèles de Machine Learning

• Utiliser MLflow Projects pour structurer un projet reproductible
• Décrire l’environnement d’exécution et définir les points d’entrée
• Utiliser le format MLflow Models pour empaqueter un modèle de manière standardisée
• Comprendre les saveurs (flavors) et la compatibilité de MLflow avec différents frameworks de Machine Learning
• Définir la signature d’un modèle et les exemples de données d’entrée
Atelier

Organiser un projet MLflow avec son environnement et ses points d’entrée

Exécuter le projet de manière reproductible Empaqueter un modèle au format MLflow Models avec sa signature

Recharger le modèle empaqueté et vérifier ses prédictions

4 - Gérer les versions des modèles de Machine Learning

• Comprendre le rôle de MLflow Model Registry dans la gestion des versions
• Enregistrer un modèle et gérer ses différentes versions
• Maîtriser les étapes et les alias du cycle de vie : développement, validation et production
• Ajouter des annotations et des descriptions pour assurer la traçabilité des modèles
• Faciliter la collaboration et la gouvernance autour des modèles de Machine Learning
Atelier

Enregistrer un modèle dans le registre et créer plusieurs versions

Comparer deux versions d’un même modèle

Promouvoir une version vers la production à l’aide des alias

Documenter et annoter les versions pour garantir leur traçabilité

5 - Mettre en production un modèle avec MLflow

• Comparer les modes de déploiement : inférence par lots et service en temps réel
• Servir un modèle à l’aide de l’API de service intégrée à MLflow
• Déployer un modèle enregistré dans un registre au sein d’un service d’inférence
• Conteneuriser un modèle avec Docker pour faciliter son déploiement
• Réaliser une inférence par lots sur un jeu de données
• Appliquer les bonnes pratiques de mise en production des modèles
Atelier

Servir un modèle du registre avec l’API de service MLflow

Tester des requêtes d’inférence sur le modèle déployé

Conteneuriser le modèle avec Docker

Réaliser une inférence par lots sur un jeu de données

6 - Surveiller et automatiser les modèles en production

• Comprendre les enjeux du monitoring d’un modèle de Machine Learning en production
• Définir les indicateurs de fonctionnement et journaliser les prédictions
• Détecter la dérive des données et des prédictions
• Automatiser le cycle allant du réentraînement à la promotion du modèle
• Intégrer MLflow dans une chaîne d’intégration continue
• Définir des stratégies de réentraînement et de mise à jour des modèles
Atelier

Journaliser les prédictions d’un modèle en production

Détecter une dérive des données dans un flux de prédictions

Automatiser le réentraînement et l’enregistrement d’une nouvelle version

Déclencher la promotion d’une version selon des critères de performance