Formation - Mise en oeuvre du Deep Learning

1 - Introduction

• L'avènement du Deep Learning
• Deep Learning Time line
• Que peuvent apprendre les machines ?

2 - Réseaux de neurones simples (NNs)

• Le Perceptron
• Le Perceptron multi-couches
• L'entrainement d'un Perceptron
• Principe de back propagation
• Les optimiseurs du Deep Learning
• La régularisation des réseaux de neurones
• Techniques de réglages des NN
• Lab : mise en oeuvre d'un Perceptron Multi-couches
Lab : mise en oeuvre d'un Perceptron Multi-couches

3 - Réseaux de neurones convolutifs (convolutional neural networks - CNNs)

• Pourquoi ce type de réseaux
• Principe de fonctionnement des CNNs
• Les champs de réceptions locaux
• Les poids partagés
• Convolution - notion de Padding
• Convolution - Principe du calcul
• Les couches de sous-échantillonnage (pooling)
• Les CNNs très profonds (DCNNs)
• Modèles CNNs - Concours ImageNet
• Architectures DCNNs
• Mécanisme d'Inception (Google)
• L'apprentissage par transfert (Transfer Learning)
• La promesse des réseaux de Capsules
Lab : mise en pratique

Mise en oeuvre de réseaux de neurones convolutifs pour la reconnaissance d'objets simples

Développement d'un modèle profond par transfer learning et application à la reconnaissance fine d'objets

4 - Réseaux de neurones auto-encodeurs et variationnels (AEs et VAEs)

• Auto-encodeurs génériques : Principes de fonctionnement ; Choix des fonctions d'encodage/décodage ; L'opération de "déconvolution" ; Usages des auto-encodeurs et modes d'apprentissage
• Auto-encodeurs variationnels (variational autoencoders ) : Pourquoi les VAEs ; Principes de fonctionnement ; Modèle d'inférence variationnelle ; Fonction de perte des VAEs ; Optimisation : astuce du re-paramétrage ; Exemple de mise en oeuvre d'un VAE ; Différentes variantes courantes des VAEs
Lab : Mise en pratique

Développement et application d'auto-encodeurs au débruitage et à la génération de variations naturelles de données

5 - Réseaux antagonistes génératifs (generative adversial networks - GANs)

• L’exemple des Deep Fake Faces
• Taxonomie des modèles génératifs
• Publication fondatrice des GANs
• Les GANs, des réseaux en coopétition
• Modèles générateurs et discriminants
• Intérêts des GANs
• Problématiques classiques des GANs
• Taxonomies des GANs
• Principes de fonctionnement des GANs standards
• Principes d’entraînement
• Approche formelle de l’entraînement
• Les GANS convolutionnels profonds type DCGANs
• Focus sur des GANs de référence plus avancés
• L’apprentissage progressif type PROGANS
• L’apprentissage conditionnel type CGANS
• La captation de traits distants type SAGANS
• L’apprentissage cyclique type CYCLEGANS
• Le transfert de style type STYLEGANS
• Synthèse modèles GANS
Lab : Mise en pratique

Mise en oeuvre de GANs convolutionnels profond (DCGANs) sur cas concrets

StyleGAN appliqué à la génération d’images fines à hautes résolution

6 - Réseaux de neurones séquentiels (RNNs, Transformers, etc.)

• Introduction
• Les réseaux neuronaux récursifs simples
• Les différentes topologies des RNNs
• L’évanescence et l’explosion des gradients
• La variante LSTM des RNNs
• Autre variante : GRULes RNNs bidirectionnels
• Le Traitement de très longues séquences
• L’approche pure convolutive du modèle Wavenet
• Les approches encodeur - décodeur
• Les réseaux SequenceToSequence simples (seq2sec)
• L’entraînement d’un réseau seq2seq
• L’inférence d’un réseau seq2sec
• Le mécanisme “Attention”
• Un scoring de correspondance entre éléments
• Attention : Alignement dynamique des poids
• Attention : calcul de la fonction d’alignement
• L’architecture disruptive des Transformers
• L’approche Key, Value et Query
• Illustration du calcul d’alignement
• Un mécanisme Multi-têtes d’attention
• Qu’apporte un mécanisme Self-Attention
• Architecture complète des Transformers
• Hyperparamètres clés des Transformers
Lab : Mise en pratique

Construction d’un Agent Conversationnel (en français) avec un modèle Transformer

7 - Réseaux de neurones profonds auto-apprenants

• L'apprentissage profond par renforcement (deep reinforcement learning - DRL) : Principes de fonctionnement ; Cadre Markovien ; Notions de valeur d'état et de politique ; Processus de décision Markovien (MDP) ; Résolution par différents apprentissages ; Taxonomies des algorithmes RL
• Algorithmes profonds basés sur la valeur : Principe d'optimalité de Bellman ; La valeur d'action Q ; Apprentissage profond de la valeur d'action Q ; Principes du fonctionnement des DQN (deep Q network) ; Approche par exploration - exploitation ; La relecture d'expérience (experience replay) ; Principe d'entraînement du réseau Q ; Variante DDQN
• Algorithmes profonds basés sur la valeur : Méthodes types Gradient de la politique ; Approche REINFORCE : principes et formalisme ; Modélisation de la politique ; Théorème du Gradient de la Politique ; Algorithme REINFORCE
• Algorithmes mixtes : Variante REINFORCE avec base de référence ; Autres variantes : ACTOR-CRITIC, A2C ; ALFAGO et évolutions
Lab : Mise en pratique

Mise en oeuvre de plusieurs réseaux d'apprentissage par renforcement sur cas concrets

8 - Les modèles massifs (introduction)

• Une loi d’échelle fondamentale
• Évolution temporelle des Large Language Models (LLMs)
• Le bénéfice d’un apprentissage large non supervisé
• L’architecture Transformer revisitée
• Arbre d’évolution des LLMs
• Dichotomie des modèles discriminants et génératifs
• BERT - Un modèle fondateur des LLMs
• Architecture du modèle Transformer Encodeur
• Pré entraînement et réglage fin
• GPTs - L’apprentissage multitâche non supervisé
• ChatGPT - La performance de l’apprentissage en context
• Architecture Transformer décodeur simple
• Détails des hyperparamètres d’un modèle ouvert GPT
• L’apprentissage non supervisé autorégressif
• Le réglage fin par prompts (few shot learning)
• DALL-E - Une déclinaison massive pour l’image
• Modèles multi-modaux (texte + image)