Vous êtes ici : Accueil > Formations en informatique > IBM > Infosphere

Fantom Tag

Formation - IBM InfoSphere Advanced DataStage v11.5 - Parallel Framework

Optimiser les vitesses de traitement de l'information

  • Présentiel ou classe à distance
  • Fondamental
Inter Sur Mesure
PRESENTIEL OU CLASSE A DISTANCE
Référence
BI203
Référence éditeur
KM404G
Durée
3 jours (21 heures)
Prix 2023
2 385,00 €  HT
Consulter les dates et villes
S'inscrire
Formation à la demande
Cette thématique vous intéresse ?
Nos experts conçoivent votre formation
sur-mesure !
Nous contacter
Dans un environnement toujours plus concurrentiel, disposer rapidement d'informations fiables pour prendre les bonnes décisions au bon moment est devenu un enjeu crucial. Mais au regard des flux toujours plus abondants d'informations hétérogènes ("Big Data"), il devient indispensable pour cela de disposer d'outils extrêmement performants. Avec InfoSphere DataStage, IBM propose une solution permettant de réaliser en parallèle des travaux d'import et de transformation de données et ainsi d'alimenter des Data Warehouse en des temps records. Les développeurs DataStage participant à cette formation apprendront à mettre en oeuvre des solutions plus performantes en tirant profit de cette "force" de l'ETL d'IBM.
Cette formation prépare à la certification IBM Certified Solution Developer - InfoSphere DataStage v11.3.
Lire la suite
Pour qui ?

A qui s'adresse cette formation ?

Pour qui

  • Développeurs expérimentés sur DataStage

Prérequis

Programme

Le programme

1 - Introduction à l'architecture du Parallel Framework

  • Présentation de l'architecture
  • Présentation du pipeline et des partitions
  • Rôle du fichier de configuration
  • Conception d'une tache de création de tests de données

2 - Compilation et exécution

  • Les principales parties du fichier de configuration
  • Le process de compilation
  • L'OSH généré par le process de compilation
  • Rôle et principales parties du Score

3 - Partitionnement et collecte de données

  • Le fonctionnement du partitionnement dans le framework
  • Affichage des partitions dans le Score
  • Sélection des algorithmes de partitionnement
  • Générer des séquences de nombres (clés de substitution), dans un environnement parallèle partitionné

4 - Tris de données

  • Trier les données
  • Trouver des tris dans le Score
  • Réduire le nombre de tris
  • Optimiser l'emploi des jointures
  • Utiliser Trier les étapes pour déterminer la dernière rangée dans un groupe
  • Décrire la clé de tri et la clé logique de partitionnement

5 - Gestion des buffers en exécution parallèle

  • Fonctionnement des buffers
  • Optimisation des buffers

6 - Types de données

  • Virtual Data Sets
  • Les schémas
  • Conversion de types
  • Gestion des données externes
  • Gestion de la valeur nulle
  • Travailler avec des données complexes

7 - Composants réutilisables

  • Créer un schéma de fichier
  • Lecture séquentielle d'un fichier à l'aide d'un schéma
  • Utiliser Runtime Column Propagation (RCP)
  • Créer et utiliser des containers

8 - Optimisation équilibrée

  • Activer la fonctionnalité d'optimisation
  • Description des processus d'optimisation
  • Passage en revue des différentes options d'optimisation
  • Optimisation des traitement Hadoop HDFS
  • Limitations
Objectifs

Les objectifs de la formation

  • Comprendre l'architecture de traitement parallèle ainsi que les environnements de développement et d'exécution
  • Connaître les processus de compilation et d'exécution des travaux
  • Être capable d'optimiser la phase de tri et de mise en mémoire tampon dans le cas de travaux en parallèle
  • Comprendre comment utiliser les types de données liés au cadre parallèle
  • Savoir créer des composants de travaux réutilisables
  • Acquérir les connaissances nécessaires pour générer des étapes personnalisées intégrant des fonctions de transformation
  • Être en mesure de traiter des données XML dans les travaux DataStage
  • Savoir concevoir une tâche qui traite une base de données de schéma en étoile à l'aide de dimensions à évolution lente de Types 1 et 2
Evaluation

Evaluation

  • Cette formation fait l'objet d'une évaluation formative.
Points forts

Les points forts de la formation

  • Une formation complète basée sur l'alternance de phases théoriques et de travaux pratiques qui favorise une mise en pratique immédiate des acquis à l'issue de la session.
  • Les consultants spécialistes de DataStage apportent leurs conseils et leur expérience.
  • La qualité d'une formation officielle IBM (support de cours numérique en anglais).

Qualité des formations

ib Cegos est certifié Iso 9001 et Qualiopi.

Dates et villes

Mise à jour le 10/12/2023
    Formation - IBM InfoSphere Advanced DataStage v11.5 - Parallel Framework