Menu Recherche Panier
(...)
Vous êtes ici : Accueil > Catalogue des formations > Formation Réaliser de l'ingénierie de données avec Microsoft HDInsight
Technique
CPF

Formation Réaliser de l'ingénierie de données avec Microsoft HDInsight

Utiliser une plate-forme Hadoop dans le Cloud Microsoft pour l'ingénierie des données

Précurseur dans les solutions d’analyses de gros volumes de données, Hadoop est pour certains devenu un synonyme de Big Data. Naturellement, cette infrastructure de traitements distribués open source a séduit les éditeurs qui l’ont majoritairement intégrée dans leurs offres. Ainsi, Microsoft propose un service analytique Big Data open source baptisé Azure HDInsight. Parce qu’il intègre les standards du Big Data (Spark, Hive, HBase Storm, Kafka, R,...) et est hébergé sur une plate-forme Cloud disposant de l’un des meilleurs contrats SLA du marché, Microsoft entend séduire de nombreuses entreprises. Les participants à cette formation de 5 jours acquerront les compétences nécessaires pour concevoir et réaliser des projets Hadoop dans Azure HDInsight.
Objectifs de cette formation Réaliser de l'ingénierie de données avec Microsoft HDInsight
  • Savoir déployer des clusters HDInsight
  • Être en mesure de charger des données dans HDInsight
  • Comprendre comment dépanner HDInsight
  • Apprendre à mettre en place des solutions batch
  • Être capable de concevoir des solutions Batch ETL pour le Big Data avec Spark
  • Pouvoir analyser les données avec Spark SQL, Hive et Phoenix
  • Comprendre comment implémenter Spark Streaming en utilisant l'API DStream
  • Apprendre à développer des solutions de traitement Big Data en temps réel avec Apache Storm
  • Être capable de construire des solutions qui utilisent Kafka et HBase
Public
  • Ingénieurs de données, architectes de données, Data Scientist et les développeurs de données qui envisagent d'implémenter de grands workflows d'ingénierie de données sur HDInsight.
Pré-requis
  • Avoir suivi la formation "Les fondamentaux de l'analyse statistique avec R" (BI103) ou disposer des connaissances équivalentes
  • Connaissance des méthodes statistiques communes et des meilleures pratiques d'analyse de données
  • Connaissances de base du système d'exploitation Microsoft Windows et de ses fonctionnalités principales
  • Connaissance pratique des bases de données relationnelles
  • Disposez-vous des compétences nécessaires pour suivre cette formation ? Testez-vous !
Programme détaillé

Mise en route de HDInsight

  • Qu'est ce que le Big Data
  • Introduction à Hadoop
  • Travailler avec la fonction MapReduce
  • Présentation de HDInsight

Déploiement de clusters HDInsight

  • Identification des types de cluster HDInsight
  • Gérer les clusters HDInsight en utilisant le portail Azure
  • Gérer les clusters HDInsight en utilisant Azure PowerShell

Autoriser les utilisateurs à accéder aux ressources

  • Clusters non liés à un domaine
  • Configuration de clusters HDInsight connectés au domaine
  • Gestion des clusters HDInsight connectés au domaine

Chargement des données dans HDInsight

  • Stockage des données pour le traitement HDInsight
  • Utilisation des outils de chargement de données
  • Maximiser la valeur des données stockées

Dépannage de HDInsight

  • Analyse des logs HDInsight
  • logs YARN
  • Heap dumps (décharge)
  • Operations Management Suite

Implémentation de solutions Batch

  • Stockage Apache Hive
  • Requêtes de données HDInsight utilisant Hive and Pig
  • Mise en oeuvre HDInsight

Concevoir des solutions Batch ETL pour le Big Data avec Spark

  • Qu'est-ce que Spark ?
  • ETL avec Spark
  • Performance Spark

Analyser les données avec Spark SQL

  • Implémentation de requêtes itératives et interactives
  • Effectuer une analyse de données exploratoire

Analyser les données avec Hive et Phoenix

  • Mettre en place des requêtes interactives pour le Big Data avec Hive interactive
  • Effectuer une analyse de données exploratoire à l'aide de Hive
  • Effectuer un traitement interactif en utilisant Apache Phoenix

Stream Analytics

  • Analyse de flux
  • Processus de diffusion des données à partir de l'analyse des flux
  • Gestion des travaux d'analyse de flux

Mettre en oeuvre de solutions de streaming avec Kafka et HBase

  • Construction et déploiement d'un cluster Kafka
  • Publication, consommation et traitement des données à l'aide du cluster Kafka
  • Utilisation de HBase pour stocker et requêter des données

Développer des solutions de traitement Big Data en temps réel avec Apache Storm

  • Persistance des données à long terme
  • Transmission des données avec Storm
  • Création de topologies Storm
  • Configuration d'Apache Storm

Créer des applications Spark Streaming

  • Utilisation de Spark Streaming
  • Création d'applications Spark Streaming structurées
  • Persistance et visualisation
Les plus de cette formation Réaliser de l'ingénierie de données avec Microsoft HDInsight
  • Une formation rythmée durant laquelle s'alternent les phases d'apports théoriques, d'échanges, de partage d'expériences et de mises en situation.
  • La richesse des ateliers favorise l'assimilation des points abordés au cours des 5 journées de formation.
  • La qualité d'une formation officielle Microsoft (support de cours numérique en anglais).
  • Cette formation préparant à la certification Microsoft "Perform Data Engineering on Microsoft Azure HDInsight" est éligible au CPF (code 236056). Connectez-vous sur www.moncompteactivite.gouv.fr
Certification

Cette formation prépare au test suivant :

  • 70-775
et entre en jeu dans le cursus de certification :

Informations

  • Durée : 5 Jours (35h)
  • Tarif : 2 820 € HT
  • Réf. : M20775
  • Réf. éditeur : 20775A
  • Option(s)
    • Repas Paris : 115 € HT


Financement
Dates des sessions
Session garantie Formation à distance Session accessible à distance Visio
Bon à savoir...

= une réponse possible
= plusieurs réponses possibles

Vous n'avez pas répondu à toutes les questions !
Vous avez % de bonnes réponses, vous pouvez donc suivre cette formation.
Vous avez % de bonnes réponses.
Nous vous invitons à contacter nos Conseillers Formation au 0825 07 6000 afin qu'ils vous orientent vers une formation plus adaptée à vos connaissances.