Formation - IA Générative - Les modèles de langages massifs (LLMs)

1 - Introduction

• Du machine learning à l'IA Générative
• La spécificité d'un modèle de langage
• La quête de scalabilité des approches
• L'avènement des Large Language Models (LLMs)

2 - Cas d'usage

• Agents conversationnels et assistants virtuels
• Génération de code et debuggage
• Analyse de sentiments / opinions
• Classification de texte et clusterisation
• Synthèse de texte ou corpus
• Traduction
• Génération de contenu
• Autres cas d'usages significatifs
• LAB : Proof of concept sur cas concrets

3 - Fondations

• L'apprentissage profond comme mécanique de base
• Le pré-apprentissage massif non supervisé
• Le traitement de larges séquences
• Le principe d'encodage - décodage
• Le mécanisme transversal d'attention
• Le Transformer une architecture fondamentale
• La recherche de variantes spécifiques
• Les approches encodeurs simples
• Les approches décodeurs simples
• Les modes de réglages fin des modèles
• Les méthodes a posteriori ou few shot learning
• Le renforcement des modèles par l'humain
• Une loi fondamentale d'efficacité des grands modèles
• LAB : Performance et scalabilité des modèles LLMs

4 - Modèles

• Panorama général des modélisations
• Caractéristiques communes des modèles discriminants
• Les modèles à encodeur simple type BERTs
• Les approches encodeur-décodeur type T5LAB : Réglage fin d'un modèle discriminant
• Caractéristiques communes des modèles génératifs
• Les modèles d'openAI - GPTs
• L'approche BigScience - BLOOM
• La collection de modèles de MetaAI - LLaMA
• Autres modèles clés
• LAB : Prompt engineering d'un modèle type ChatGPT
• Grille de choix

5 - Mise en oeuvre

• Choix service / in house / hybrid
• In house workflow
• Service workflow
• Écosystèmes d'entraînement et d'inférence
• L'entraînement d'un modèle massif
• L'étape d'évaluation des modèles
• Le réglage des hyperparamètres
• Déploiement d'un modèle
• Model fine-tuning
• Prompt engineering
• MLOps d'un LLMs
• LAB : Environnement de déploiement d'un LLM

6 - Prospective

• Impact environnemental et évolution des architectures LLMs
• Démocratisation graduelle des modèles LLMs
• Évolution critique des réglementations
• Problématiques récurrentes de souveraineté