Formation - Déploiement local de LLMs – Fine-tuning, inférence haute performance et sécurité

1 - Fondations de l’inférence locale et de la quantization des LLMs

• Écosystème des modèles open source (LLM Open Weights) : panorama des modèles Mistral, Llama, Qwen, formats de poids et licences pour un usage en entreprise
• Contraintes matérielles (VRAM) : calcul de l’empreinte mémoire des modèles de langage (nombre de paramètres, précision et latence)
• Techniques de quantization : optimisation mémoire avec les formats GGUF, AWQ et GPTQ, arbitrage entre performance, vitesse et taille
• Moteurs d’inférence locale : utilisation de frameworks comme Ollama et Llama.cpp pour le prototypage rapide
Atelier

Déployer un modèle LLM en local (ex : Mistral 7B) avec différents niveaux de quantization

Exposer le modèle via une API compatible OpenAI

Comparer les performances (latence, qualité des réponses) via des scripts de test

Versionner le code pour assurer la reproductibilité des benchmarks

2 - Spécialisation des modèles avec le fine-tuning (PEFT / LoRA)

• Limites du RAG vs Fine-tuning : choisir entre injection de contexte (RAG) et adaptation des poids du modèle
• Fine-tuning efficace (PEFT) : utilisation de LoRA et QLoRA pour entraîner des modèles sur GPU
• Préparation des datasets : structuration des données en Instruction Tuning (User/Assistant), nettoyage et tokenisation
• Optimisation des hyperparamètres : learning rate, batch size, epochs et gestion de l’overfitting
Atelier

Préparer un dataset métier (ex : Text-to-SQL ou génération de code spécifique)

Configurer et lancer un entraînement avec QLoRA (Unsloth, Hugging Face TRL)

Fusionner les poids du modèle (merge)

Tester et valider les nouvelles capacités du modèle fine-tuné

3 - Inférence haute performance et mise en production des LLMs

• Moteurs d’inférence production : transition vers vLLM ou TGI (Text Generation Inference)
• Optimisation des performances : continuous batching et gestion avancée du PagedAttention (KV Cache)
• Scalabilité : parallélisation multi-GPU (Tensor Parallelism, Pipeline Parallelism)
• Interopérabilité : création d’API compatibles OpenAI pour intégration dans des architectures LangChain, LangGraph, MCP
Atelier

Déployer un modèle fine-tuné sur un serveur vLLM optimisé

Configurer le continuous batching pour gérer la charge

Intégrer le serveur dans une architecture LangChain (API locale)

Versionner le code d’intégration pour garantir la reproductibilité

4 - Sécurisation end-to-end et gouvernance des LLMs

• Sécurisation des entrées/sorties : protection contre les attaques Prompt Injection et Jailbreak
• Mise en place de LLM Firewalls : intégration de solutions comme Llama Guard, NeMo Guardrails, LiteLLM
• Protection des données : anonymisation des données sensibles (PII) avant traitement
• Gestion des accès : mise en oeuvre de politiques RBAC pour contrôler l’usage des modèles
• Architecture sécurisée : isolation réseau, Zero Trust et environnements souverains (air-gapped)
Atelier

Mettre en place un proxy de sécurité (LiteLLM + NeMo Guardrails)

Configurer des règles de détection d’attaques par prompt injection

Anonymiser dynamiquement les données sensibles (IBAN, données personnelles)

Tester la robustesse du système face aux attaques