Formation - IBM InfoSphere Advanced DataStage v11.5 - Parallel Framework

1 - Introduction à l'architecture du Parallel Framework

• Présentation de l'architecture
• Présentation du pipeline et des partitions
• Rôle du fichier de configuration
• Conception d'une tache de création de tests de données

2 - Compilation et exécution

• Les principales parties du fichier de configuration
• Le process de compilation
• L'OSH généré par le process de compilation
• Rôle et principales parties du Score

3 - Partitionnement et collecte de données

• Le fonctionnement du partitionnement dans le framework
• Affichage des partitions dans le Score
• Sélection des algorithmes de partitionnement
• Générer des séquences de nombres (clés de substitution), dans un environnement parallèle partitionné

4 - Tris de données

• Trier les données
• Trouver des tris dans le Score
• Réduire le nombre de tris
• Optimiser l'emploi des jointures
• Utiliser Trier les étapes pour déterminer la dernière rangée dans un groupe
• Décrire la clé de tri et la clé logique de partitionnement

5 - Gestion des buffers en exécution parallèle

• Fonctionnement des buffers
• Optimisation des buffers

6 - Types de données

• Virtual Data Sets
• Les schémas
• Conversion de types
• Gestion des données externes
• Gestion de la valeur nulle
• Travailler avec des données complexes

7 - Composants réutilisables

• Créer un schéma de fichier
• Lecture séquentielle d'un fichier à l'aide d'un schéma
• Utiliser Runtime Column Propagation (RCP)
• Créer et utiliser des containers

8 - Optimisation équilibrée

• Activer la fonctionnalité d'optimisation
• Description des processus d'optimisation
• Passage en revue des différentes options d'optimisation
• Optimisation des traitement Hadoop HDFS
• Limitations