Formation - Google Cloud Platform - Introduction au Data Engineering sur Google Cloud

1 - Tâches et composants de l’ingénierie des données

• Rôle d’un ingénieur de données
• Différences entre une source de données et un puits de données
• Identifier les principaux types de formats de données
• Solutions de stockage disponibles sur Google Cloud
• Se familiariser avec la gestion des métadonnées dans Google Cloud
• Partager facilement des ensembles de données à l’aide d’Analytics Hub
• Charger des données dans BigQuery via l’interface ou la CLI gcloud
Atelier

Chargement de données dans BigQuery

2 - Réplication et migration des données

• Décrire l’architecture fondamentale de la réplication et de la migration de données sur Google Cloud
• Options et les cas d’utilisation de l’outil de ligne de commande gcloud
• Identifier les fonctionnalités et les usages types de Storage Transfer Service
• Fonctionnalités et cas d’utilisation de Transfer Appliance
• Fonctionnalités et le déploiement de Datastream
Atelier

Datastream : réplication PostgreSQL vers BigQuery (facultatif pour ILT)

Quiz

3 - Le modèle de pipeline Extract and Load

• Diagramme de base d’architecture d’extraction et de chargement
• Comprendre les fonctionnalités de l’outil en ligne de commande bq
• Fonctionnalités et les cas d’utilisation du service de transfert de données BigQuery
• Fonctionnalités et les cas d’utilisation de BigLake en tant que modèle de chargement sans extraction
Atelier

BigLake: Qwik Start

Quiz

4 - Le modèle de pipeline Extract, Load and Transform

• Architecture type d’un processus ELT (Extraction, Chargement, Transformation)
• Explorer un pipeline ELT standard dans l’environnement Google Cloud
• Fonctionnalités de programmation et de script SQL de BigQuery
• Comprendre les fonctionnalités clés et les usages de Dataform
Atelier

Créer et exécuter un workflow SQL dans Dataform

Quiz

5 - Modèle de pipeline Extract, Transform and Load

• Diagramme d’architecture : extraction, transformation et chargement de base
• Découvrir les outils visuels de conception de pipelines sur Google Cloud
• Expliquer le traitement par lots avec Dataproc
• Utiliser Dataproc Serverless pour les tâches Spark/ETL
• Identifier les options de traitement de données en streaming
• Comprendre la place de Bigtable dans les pipelines de données
Atelier

Utiliser Dataproc Serverless pour Spark pour charger BigQuery (facultatif pour ILT)

Créer un pipeline de données en continu pour un tableau de bord en temps réel avec Dataflow

Quiz

6 - Techniques d’automatisation

• Modèles d’automatisation pour orchestrer les pipelines de données
• Fonctionnalités de Cloud Scheduler et Workflows
• Découvrir Cloud Composer pour l’orchestration de pipelines de données
• Fonctions Cloud Run
• Identifier les cas d’usage de l’automatisation via Eventarc
Atelier

Utiliser les fonctions Cloud Run pour charger BigQuery (facultatif pour ILT)

Quiz