Formation - Certification ISTQB® – Testeur Certifié Extension niveau Fondation – Test d’intelligence Artificielle (IA)

1 - Introduction à l’IA

• Définition de l'IA et de l'effet de l'IA
• IA étroite, générale et super IA
• Systèmes basés sur l'IA et systèmes conventionnels
• Technologies IA
• Framework de développement de l'IA
• Matériel pour les systèmes basés sur l'IA
• AI as a Service (AIaaS) Modèles pré-entraînés
• Normes, réglementations et IA
Atelier

Exercices de mise en pratique

QCM d’apprentissage

2 - Caractéristiques de qualité pour les systèmes basés sur IA

• Flexibilité et adaptabilité
• Autonomie
• Evolution
• Biais
• Ethique
• Effets secondaires et Piratage de récompense
• Transparence, interprétabilité et explicabilité La sûreté et l'IA
Atelier

Exercices de mise en pratique

QCM d’apprentissage

3 - Machine Learning (ML)

• Formes de machine learning)
• Workflow ML
• Sélection d'une approche ML
• Facteurs impliqués dans la sélection des algorithmes ML
• Surajustement et sous-ajustement
Atelier

Démonstration du surajustement et du sous-ajustement

QCM d’apprentissage

4 - Machine Learning (ML) – Données – Partie 1

• Préparation des données dans le cadre du workflow ML
• Ensembles de données d'apprentissage, de validation et de test dans le workflow ML
• Problèmes de qualité des données
• La qualité des données et son effet sur le modèle ML

5 - Machine Learning (ML) – Données – Partie 2

• Étiquetage des données pour l'apprentissage supervisé
Atelier

Préparation des données pour le Machine Learning

Identification des données d'apprentissage et de test et création d'un modèle ML+ QCM d’apprentissage

6 - Métriques de performance fonctionnelle des Machine Learning (ML)

• Matrice de confusion
• Métriques supplémentaires de performance fonctionnelle ML pour la classification, la régression et le clustering
• Limites des métriques de performance fonctionnelle ML
• Sélection des métriques de performance fonctionnelle ML
• Suites de benchmarks pour ML
Atelier

Évaluer le modèle Machine Learning créé

QCM d’apprentissage

7 - Machine Learning (ML) – Réseaux neuronaux et test

• Réseaux neuronaux
• Mesures de couverture pour les réseaux neuronaux
Atelier

Implémentation d'un Perceptron

QCM d’apprentissage

8 - Test des systèmes basés sur l’IA : Vue d’ensemble

• Spécification des systèmes basés sur l'IA
• Niveaux de test pour les systèmes basés sur l'IA
• Données de test pour le test des systèmes basés sur IA
• Test des biais d'automatisation des systèmes basés l'IA
• Documenter un modèle ML
• Tester la dérive du concept
• Choisir une approche de test pour un système ML
Atelier

Exercices de mise en pratique QCM d’apprentissage

9 - Tester les caractéristiques de qualité spécifiques à IA

• Les défis du test des systèmes d'auto-apprentissage
• Test des systèmes autonomes basés sur l'IA
• Tester les caractéristiques de qualité spécifiques à l’IA
• Les défis du test des systèmes probabilistes et non-déterministes basés sur l'IA
• Les défis du test de systèmes complexes basés sur l'IA
• Tester la transparence, l'interprétabilité et l'explicabilité des systèmes basés sur l'IA
• Test d'oracles pour les systèmes basés sur l'IA
• Objectifs des tests et critères d'acceptation
Atelier

Tester différentes techniques d’explicabilité du modèle

QCM d’apprentissage

10 - Méthodes et techniques pour le test des systèmes basés sur l’IA – Partie 1

• Attaques adverses et empoisonnement des données
• Test par paires
• Attaques adverses et empoisonnement des données
• Test par paires
• Test dos à dos
• Test A/B
• Test métamorphique
Atelier

Tester différentes techniques d’explicabilité du modèle

QCM d’apprentissage

11 - Méthodes et techniques pour le test des systèmes basés sur l’IA – Partie 2

• Test basé sur l'expérience des systèmes basés sur l'IA
• Sélectionner des techniques de test pour les systèmes basés sur l’IA
Atelier

Appliquer les méthodes du test métamorphique, du test par paires

Réaliser un test exploratoire et analyse exploratoire des données (EDA) (H2)

QCM d’apprentissage

12 - Environnements de test pour les systèmes basés sur l’IA

• Environnements de test pour les systèmes basés sur l'IA
• Environnements de test virtuels pour le test de systèmes basés sur l'IA
Atelier

Exercices de mise en pratique

QCM d’apprentissage

13 - Utiliser l’IA pour les tests

• Technologies d'IA pour les tests
• Utiliser l'IA pour analyser le reporting des défauts
• Utilisation de l'IA pour la génération de cas de test
• Utilisation de l'IA pour l'optimisation des suites de tests de régression
• Utilisation de l'IA pour la prédiction des défauts
• Utiliser l'IA pour tester les interfaces utilisateur
Atelier

Utilisation de l'IA dans les tests

Construire un système de prédiction des défauts basé sur l'IA

QCM d’apprentissage

14 - Révision et examen officiel

• Questions diverses et éclaircissements
• Révision
• Correction commentée de l’examen blanc ISTQB® CT-AI
• Examen de certification « Testeur Certifié ISTQB® - Test d’intelligence artificielle (CT-AI) »
• Examen de certification de 16h à 17h
• Il est nécessaire d'obtenir au minimum 65% (26 pt) du total des points (40 pt) Nb de question : 40

• Un videocast sur la Gestion de tests logiciels : « Définir un périmètre de test : la stratégie », « Préparer les tests », « Exécuter les tests »
• Le référentiel général de l'écoconception des services numériques (RGESN)