Formation - Testeur IA - Certification ISTQB Certified Tester AI Testing (CT-AI)

1 - Introduction à l’IA

• Définition de l'IA et son impact
• Différences entre IA étroite, générale et super IA
• Systèmes basés sur l'IA et systèmes conventionnels
• Technologies IA
• Framework de développement de l'IA
• Matériel pour les systèmes IA
• AI as a Service (AIaaS)
• Utilisation des modèles pré-entraînés
• Normes et réglementations de l'IA

2 - Caractéristiques des systèmes basés sur l’IA

• Flexibilité et adaptabilité
• Autonomie et évolution
• Biais et éthique
• Effets secondaires et piratage de récompense
• Transparence, explicabilité et interprétabilité
• Sécurité et sûreté des systèmes IA

3 - Machine Learning

• Types de machine learning
• Worflow Machine Learning
• Sélection d'une approche Machine Learning
• Sélection des algorithmes Machine Learning
• Surajustement et sous-ajustement
Atelier

Surajustement et sous-ajustement

4 - Données ML

• Données du workflow ML
• Données d'apprentissage, de validation et de test dans le workflow ML
• Problèmes de qualité des données
• La qualité des données et son effet sur le modèle ML
• Étiquetage des données pour l'apprentissage supervisé
Atelier

Préparation et création d'un modèle ML

5 - Métriques des ML

• Matrice de confusion
• Métriques pour classification, régression et clustering
• Limites des métriques
• Sélection des métriques
• Benchmarks pour ML
Atelier

Évaluer un modèle Machine Learning créé

6 - Réseaux neuronaux et tests - ML

• Fonctionnement des réseaux neuronaux
• Mesures de couverture
Atelier

Implémentation d’un Perceptron

7 - Test des systèmes IA

• Spécification des systèmes IA
• Niveaux de test
• Données de test
• Tester les biais d'automatisation dans les systèmes IA
• Documenter un modèle ML
• Tester la dérive du concept
• Approche de test pour un système ML

8 - Tester les caractéristiques spécifiques à l'IA

• Tests des systèmes auto-apprenants et autonomes
• Test des systèmes autonomes et complexes
• Tester les caractéristiques de qualité
• Test des systèmes probabilistes et non-déterministes
• Tester la transparence, l'interprétabilité et l'explicabilité
• Test d'oracles
• Objectifs des tests et critères d'acceptation
Atelier

Différentes techniques d’explicabilité du modèle

9 - Méthodes et techniques de test des systèmes IA

• Attaques adverses et empoisonnement des données
• Test par paires, test dos à dos, test A/B
• Test métamorphique
• Test sur l'expérience des systèmes IA
• Techniques de test pour les systèmes IA
Atelier

Méthodes du test métamorphique, du test par paires

Réaliser un test exploratoire et analyse exploratoire des données (EDA)

10 - Environnements de test pour systèmes IA

• Environnements de test pour les systèmes IA
• Environnements de test virtuels pour le test de systèmes IA

11 - Utilisation de l'IA pour les tests

• L'IA pour les tests
• Analyser le reporting des défauts
• Générer des cas de test
• Optimiser des suites de tests de régression
• Prédiction des défauts
• Tester les interfaces utilisateur
Atelier

Utilise l'IA dans les tests

Construire un système de prédiction des défauts

12 - Révision et examen officiel

• Questions diverses et éclaircissements
• Révision
• Examen de certification