Formation - Conception d’applications IA générative : LLM, RAG et architectures agentiques

1 - Comprendre le moteur : architecture et fonctionnement des LLM

• Changement de paradigme de l’IA et évolution des LLM (lois d’échelle)
• Fondamentaux du traitement automatique du langage naturel (NLP)
• Transition vers l’ère post Deep Learning
• Architecture des Transformers et principes fondateurs
• Rôle de l’encodeur et du décodeur
• Tokenisation et algorithme Byte Pair Encoding (BPE)
• Fonctionnement de l’encodeur : embeddings et positionnement
• Mécanisme d’attention multi-têtes
• Spécialisation des têtes d’attention
• Fonctionnement du décodeur et auto-attention masquée
• Étapes d’entraînement d’un modèle Transformer
• Évolutions récentes : décodeur seul et encodage RoPE
• Nouvelles architectures : FlashMLA et Mixture of Experts (MoE)

2 - Stratégie de sélection et écosystèmes LLM

• Critères de sélection des modèles selon les cas d’usage
• Différences entre modèles encodeur (BERT) et décodeur (GPT)
• Panorama des modèles avancés (DeepSeek, GPT-4)
• Optimisation des modèles avec LLaMA
• APIs de modèles propriétaires (OpenAI, Anthropic)
• Utilisation du Hub Hugging Face
• Introduction à LangChain
• Outils LLMOps (type MLflow)
Atelier

Configuration des environnements

Accès aux APIs IA

Prise en main des outils

3 - Design d’interactions : Prompt Engineering

• Notion de token et distribution probabiliste
• Paramétrage avancé (Top-K, Top-P, température)
• Structure d’un prompt efficace
• Instruction tuning et délimiteurs
• Décomposition des tâches complexes
• Techniques Zero-shot, One-shot, Few-shot
• Templates de prompts avec LangChain
• Chain-of-Thought
• Self-consistency
• Tree of Thoughts
Atelier

Mise en oeuvre des stratégies avancées de prompting

4 - Conception de systèmes augmentés (RAG et agents)

• Limites du prompt seul
• Gestion de la mémoire (court / long terme)
• Types de mémoire avec LangChain
• Architecture RAG
• Découpage des documents
• Génération d’embeddings
• Bases vectorielles
• Implémentation avec FAISS
• RAG avancé (Corrective / Adaptive)
• Agentic RAG
• Intégration d’outils externes
• Méthode ReAct
Atelier

Création d’un chatbot avec RAG + mémoire + ReAct

5 - Fine-Tuning et déploiement

• Cas d’usage du Fine-Tuning
• Principes du réglage fin
• Supervised Fine-Tuning (SFT)
• RLHF
• Stratégies d’adaptation des modèles
• PEFT
• LoRA
• QLoRA
• Model Serving
• Model Registry
• Déploiement sur endpoint
• Évaluation des modèles (qualité, toxicité, tokens)
• Métriques de lisibilité et LLM-as-a-Judge
Atelier

Fine-Tuning avec QLoRA

Suivi avec MLflow

Déploiement d’un modèle