Formation - Mise en oeuvre du Deep Learning

1 - Introduction

• L'avènement du Deep Learning
• Deep Learning Time line
• Que peuvent apprendre les machines ?

2 - Réseaux de neurones simples (NNs)

• Le Perceptron
• Le Perceptron multi-couches
• L'entrainement d'un Perceptron
• Principe de back propagation
• Les optimiseurs du Deep Learning
• La régularisation des réseaux de neurones
• Techniques de réglages des NN
• Lab : mise en oeuvre d'un Perceptron Multi-couches

3 - Réseaux de neurones convolutifs (convolutional neural networks - CNNs)

• Pourquoi ce type de réseaux
• Principe de fonctionnement des CNNs
• Les champs de réceptions locaux
• Les poids partagés
• Convolution - notion de Padding
• Convolution - Principe du calcul
• Les couches de sous-échantillonnage (pooling)
• Les CNNs très profonds (DCNNs)
• Modèles CNNs - Concours ImageNet
• Architectures DCNNs
• Mécanisme d'Inception (Google)
• L'apprentissage par transfert (Transfer Learning)
• La promesse des réseaux de Capsules
• Lab : mise en oeuvre de réseaux de neurones convolutifs pour la reconnaissance d'objets simples
• Lab : développement d'un modèle profond par transfer learning et application à la reconnaissance fine d'objets

4 - Réseaux de neurones récursifs (recursive neural networks - RNNs)

• Les réseaux neuronaux récursifs simples
• Les différentes topologies des RNNs
• L'évanescence et l'explosion des gradients
• La variante LSTM des RNNs
• Autre variante : GRU
• Les RNNs bidirectionnels
• Le traitement de très longues séquences
• Les approches encodeur - décodeur
• Les réseaux seq2seq simple
• Le mécanisme Attention
• L'architecture Transformer
• Lab : mise en oeuvre de réseaux de neurones récursifs bidirectionnels et seq2seq

5 - Réseaux de neurones auto-encodeurs (autoencoders - AEs)

• Auto-encodeurs génériques : Principes de fonctionnement ; Choix des fonctions d'encodage/décodage ; L'opération de "déconvolution" ; Usages des auto-encodeurs et modes d'apprentissage
• Auto-encodeurs variationnels (variational autoencoders ) : Pourquoi les VAEs ; Principes de fonctionnement ; Modèle d'inférence variationnelle ; Fonction de perte des VAEs ; Optimisation : astuce du re-paramétrage ; Exemple de mise en oeuvre d'un VAE ; Différentes variantes courantes des VAEs
• Lab : Développement et application d'auto-encodeurs au débruitage et à la génération de variations naturelles de données

6 - Réseaux antagonistes génératifs (generative adversial networks - GANs)

• Taxonomie des modèles génératifs
• Les GANs, des réseaux en coopétition
• Modèles générateurs et discriminants
• Intérêts des GANs
• Problématiques classiques des GANs
• Typologie des principaux GANs
• Principes d'entraînement d'un GAN
• Les GANs convolutionnels profonds (DCGANs)
• Tendances d'évolution des GANs
• Les GANs conditionnels (CGANs, ACGANs)
• Les GANs à représentation démêlées (InfoGANs, StackedGANs)
• Les GANs à domaines croisés (CycleGANs)
• Lab : mise en oeuvre de GANs convolutionnels profond (DCGANs) sur cas concrets

7 - Réseaux de neurones profonds auto-apprenants

• L'apprentissage profond par renforcement (deep reinforcement learning - DRL) : Principes de fonctionnement ; Cadre Markovien ; Notions de valeur d'état et de politique ; Processus de décision Markovien (MDP) ; Résolution par différents apprentissages ; Taxonomies des algorithmes RL
• Algorithmes profonds basés sur la valeur : Principe d'optimalité de Bellman ; La valeur d'action Q ; Apprentissage profond de la valeur d'action Q ; Principes du fonctionnement des DQN (deep Q network) ; Approche par exploration - exploitation ; La relecture d'expérience (experience replay) ; Principe d'entraînement du réseau Q ; Variante DDQN
• Algorithmes profonds basés sur la valeur : Méthodes types Gradient de la politique ; Approche REINFORCE : principes et formalisme ; Modélisation de la politique ; Théorème du Gradient de la Politique ; Algorithme REINFORCE
• Algorithmes mixtes : Variante REINFORCE avec base de référence ; Autres variantes : ACTOR-CRITIC, A2C ; ALFAGO et évolutions
• Lab : mise en oeuvre de plusieurs réseaux d'apprentissage par renforcement sur cas concrets

8 - Déploiement du Deep Learning

• Enjeux
• Architecture de référence
• Champs des possibles
• Exemple de déploiement avec un serveur générique
• L'utilisation d'un service dans le Cloud
• Frameworks de déploiement dédiés au deep learning
• Déploiement dans un contexte de streaming