Formation - IA multimodale – Conception et déploiement de solutions combinant texte, image et données

1 - Introduction : vers des systèmes intelligents multimodaux

• Définition et enjeux de l’IA multimodale en entreprise
• Rôle des différentes modalités (texte, image, audio, vidéo) dans les systèmes intelligents
• Unification des données : tokens, embeddings et représentation vectorielle
• Contraintes clés : latence, coût d’inférence, qualité et observabilité
Atelier

Prise en main d’un environnement multimodal (inférence, notebooks, traçabilité)

2 - LLMs : le texte comme moteur cognitif

• Rôle central des modèles de langage (LLM) dans les architectures multimodales
• Architectures LLM et principes d’instruction (prompt engineering avancé)
• Gestion du contexte, raisonnement et génération contrôlée
• Limites : hallucinations, coût d’inférence, non-déterminisme
Atelier

Déploiement et exploitation d’un LLM sur infrastructure GPU

3 - Vision-Language Models : exploiter l’image et la donnée visuelle

• Encodage des images et représentation visuelle
• Modèles vision-langage et mécanismes d’attention croisée
• Cas d’usage : OCR avancé, analyse documentaire, vision industrielle
• Limites : raisonnement spatial, robustesse et fiabilité
Atelier

Création d’un pipeline multimodal image–texte

Conception d’un agent multimodal orchestré par graphe

4 - Perspectives d'évolutions de l’IA multimodale

• Modèles natifs multimodaux vs assemblages unimodaux
• Enjeux de souveraineté, maîtrise technologique et impact environnemental
• Problématiques d’ingestion et d’exposition des données multimodales
• Tendances : apprentissage auto-supervisé, JEPA, représentations latentes

5 - Audio-Language Models : exploiter la donnée audio

• Représentation et tokenisation de l’audio
• Reconnaissance vocale, synthèse et compréhension audio
• Intégration dans des systèmes multimodaux
• Contraintes temps réel et qualité du signal
Atelier

Analyse et exploitation de données audio avec un modèle IA

6 - Video-Language Models : comprendre les flux vidéo

• Spécificités des données vidéo et traitement spatio-temporel
• Mécanismes d’attention temporelle
• Cas d’usage : détection d’événements, analyse de scènes complexes
• Contraintes de calcul, stockage et inférence
Atelier

Interrogation et analyse de contenus vidéo

7 - RAG multimodal : exploiter la connaissance augmentée

• Rappels des principes du Retrieval-Augmented Generation (RAG)
• Extension aux données multimodales
• Recherche hybride : texte, image, audio
• Gestion du bruit, désalignement et coûts vectoriels
Atelier

Mise en oeuvre d'un RAG multicanal complet

8 - IA agentique multimodale : orchestration des systèmes intelligents

• Transition vers des systèmes agentiques multimodaux
• Agents IA : perception, mémoire, outils et autonomie
• Orchestration par graphes et gestion d’état
• Contraintes industrielles : sécurité, contrôle et observabilité