New
 
Fantom Tag

Formation - IA Générative - Les modèles de langages massifs (LLMs)

Développer de nouvelles formes de contenus grâce aux LLM

  • Présentiel
Formation dans nos centres
Durée
2 jours (14 heures)

Prix
1 975,00 €  HT

Référence
BI108
Formation à la demande
Cette thématique vous intéresse ?
Nos experts conçoivent votre formation
sur-mesure !
L'avènement des modèles de langages massifs, Large Language Models ou LLMs, tels ChatGPT, constitue une étape clé pour l'IA. Nous sommes au stade où des machines désormais peuvent appréhender une quantité extrême de contenu et d'en développer des formes nouvelles de services aujourd'hui efficients. Pour les entreprises et les organisation il s'agit de se positionner face à ces évolutions majeures en terme de création de valeur. Il devient dès lors nécessaire pour elles de : comprendre les mécanismes sous-jacents à ces modèles, savoir choisir le bon LLM, connaître les écosystèmes incontournables du domaine, de comprendre la personnalisation dans l’usage via le Prompt Engineering, de mieux cerner les capacités d’enrichissement de ces modèles (via des sources internes ou des outils), d’aborder sereinement les processus de réglage fin sur des cas d’usage précis et enfin d’identifier les problématiques de mise en oeuvre de tels modèles. A travers cette formation, les participants pourront appréhender, sur la base d'explications et d’ateliers sur cas concrets, chacune des composantes significatives de ces modèles disruptifs.
Lire la suite
Pour qui ?

A qui s'adresse cette formation ?

Pour qui

  • Chefs de projets
  • Développeurs
  • Data scientists

Prérequis

Programme

Le programme

1 - Introduction

  • Un changement de paradigme
  • Qu’est ce qui change ?
  • Une publication fondatrice
  • Une loi d’échelle pour les modèles de langage
  • Évolution temporelle des LLMs
  • De nouveaux écosystèmes
  • L’ère du Post Deep Learning
  • Personnalisation par Prompts
  • Personnalisation par enrichissement
  • Personnalisation par réglage fin

2 - Cas d'usage

  • Agents conversationnels et assistants virtuels
  • Génération de code et debuggage
  • Analyse de sentiments / opinions
  • Classification de texte et clusterisation
  • Synthèse de texte ou corpus
  • Traduction
  • Génération de contenu
  • Autres cas d'usages significatifs
  • LAB : Proof of concept sur cas concrets

3 - Fondations

  • Le traitement du langage naturel (TAL)
  • L’architecture disruptive des Transformers
  • La tokenisation des textes
  • L’encodeur d’un Transformer
  • La couche d’embedding
  • L’encodage de positionnement
  • Vecteur de positionnement
  • Le mécanisme d’attention multi-têtes
  • Points essentiels du mécanisme d’attention
  • La “spécialisation” des têtes d’attention
  • Calcul des scores d’attention
  • Addition et Normalisation des sorties
  • Le Décodeur d’un Tranformer
  • L’entraînement d’un Transformer
  • La couche d’auto-attention masquée
  • La couche d’attention du décodeur
  • Les couches supérieures du décodeur

4 - En pratique

  • Choisir un LLM
  • Critères de choix
  • Trois classes de modèles
  • Modèles à encodeur simple
  • Focus modèles BERTs
  • Modèles à décodeur simple
  • Focus modèles GPTs
  • Un foisonnement de modèles dérivés
  • La bataille des LLMs
  • La course vers des LLMs légers
  • L’exemple de LLaMa
  • Trois approches de réduction
  • Écosystèmes clés
  • APIs de modèles Fermés
  • HuggingFace et les modèles ouverts
  • Écosystèmes applicatifs type LangChain
  • LLMops et MLFlow
  • Atelier

    Prise en main des écosystèmes LLMs clés

5 - Mise en oeuvre

  • Choix service / in house / hybrid
  • In house workflow
  • Service workflow
  • Écosystèmes d'entraînement et d'inférence
  • L'entraînement d'un modèle massif
  • L'étape d'évaluation des modèles
  • Le réglage des hyperparamètres
  • Déploiement d'un modèle
  • Model fine-tuning
  • Prompt engineering
  • MLOps d'un LLMs
  • LAB : Environnement de déploiement d'un LLM

6 - Le Prompt Engineering

  • Configuration des paramètres des LLMs
  • Qu’est ce qu’un token ?
  • Notion de distribution des probabilités des LLMs
  • Les échantillonnages Top-K et top-p
  • La température du modèle
  • Le réglage des paramètres en pratique
  • Les composantes d’un prompt
  • Règles générales
  • L’approche Few-Shot Learning
  • Zero, one to Few-shot learning
  • L’approche Chain of thoughts
  • L’incitation par chaînes de pensées
  • Des approches plus avancées
  • ReAct Prompting
  • Méthode ReAct
  • Atelier

    Prompt Engineering sur cas concrets

7 - LLMs augmentés

  • Au delà du prompt, l’enrichissement des LLMs
  • Ajout de capacité mémorielle
  • Mémoire tampon (Buffer Memory)
  • Plusieurs mécanismes de mémorisation
  • Les mémoires de l’écosystème LangChain
  • Élargissement des connaissances
  • Retrieval Augmented Generation (RAG)
  • Le partitionnement des textes externes
  • Projection sémantique des documents (Embeddings)
  • Les bases de données vectorielles
  • Les algorithmes du search dans les bases vectorielles
  • Une galaxie d’outils possibles !
  • Atelier

    Mise en oeuvre d’un agent conversationnel

8 - Déploiement de LLMs

  • Quand le prompt engineering ne suffit plus
  • Qu’est ce que le réglage fin
  • Trois techniques classiques
  • Reinforcement learning by Human feedback (RLHF)
  • Détails d’un réglage fin Supervisé
  • Les trois options pour l’ajustement des paramètres
  • Les approches PEFT (Parameter Efficient Tuning)
  • La méthode LoRA (Low Rank Adaptation)
  • Une variante efficiente : QLoRA
  • Qu’est ce que la mise en service d’un LLM
  • Journaliser le modèle dans le registre des modèles
  • Création d’un point de terminaison vers le modèle
  • Interroger le point de terminaison
  • Atelier

    Réglage fin et mise en service d’un LLM

Objectifs

Les objectifs de la formation

  • Comprendre l'utilité des LLM
  • Maîtriser l'usage des LLM et de l'IA générative
  • Développer de nouveaux projets avec l'aide des LLM
Evaluation

Evaluation

  • Cette formation fait l'objet d'une évaluation formative.
Points forts

Les points forts de la formation

  • Une pédagogie basée sur l'alternance de phases théoriques, d'ateliers de mise en pratique, de retours d'expériences et de séances d'échanges.
  • Le partage de bonnes pratiques de la part de consultants experts en Intelligence Artificielle.

Qualité des formations

ib Cegos est certifié Iso 9001 et Qualiopi.

Dates et villes

Mise à jour le 05/03/2024
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
  • 1 975,00 € HT
    Places disponibles
    S'inscrire
    Paris
    Tour Atlantique / 1 place de la Pyramide La Défense 9
    92800 Puteaux
Formation - IA Générative - Les modèles de langages massifs (LLMs)