Vous êtes ici : Accueil > Formations en informatique > Big Data, Data Science > Big Data - Les distributions

Fantom Tag

Formation - Hadoop - Cloudera/Hortonworks pour développeurs

Développement de solutions Hadoop Cloudera/Hortonworks

  • Présentiel ou classe à distance
  • Fondamental
Inter Sur Mesure
PRESENTIEL OU CLASSE A DISTANCE
Référence
BD502
Durée
3 jours (21 heures)
Prix 2023
2 400,00 €  HT
Consulter les dates et villes
S'inscrire
Formation à la demande
Cette thématique vous intéresse ?
Nos experts conçoivent votre formation
sur-mesure !
Nous contacter
Initialement proposé par Google qui devait faire face à un volume croissant de données à analyser et fournir aux internautes des résultats de recherche pertinents, MapReduce, combiné à d'autres publications telles que Google File System et BigTable, est à l'origine de Hadoop. Confronté à des problèmes similaires à ceux rencontrés par la firme de Mountain View, Doug Cutting, alors chez Yahoo !, lance au milieu des années 2000, sous forme de projet de la fondation Apache, le Framework Hadoop. Devant le succès rencontré par sa solution, il rejoint Cloudera qui propose alors sa propre distribution d'Hadoop, la plus utilisée à ce jour. Outre un support sur le produit, la société propose également une suite d'outils permettant des traitements temps réel de très gros volumes de données.
Consulter le programme 2024
Lire la suite
Pour qui ?

A qui s'adresse cette formation ?

Pour qui

  • Développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop

Prérequis

  • Posséder une expérience dans le développement, si possible avec Java
  • Une connaissance préliminaire d'Hadoop n'est pas exigée
Programme

Le programme

1 - Introduction

  • Présentation générale d'Hadoop
  • Exemples d'utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

2 - HDFS : interfaçage avec Java

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu'est-ce que le DistributedCache et comment partager les références ?

3 - MapReduce/Yarn : principe et développement Java

  • Le paradigme MapReduce et l'utilisation à travers Yarn
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

4 - Manipulation des données avec un Query Language et Java

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : développement et intégration avec Java
  • Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)
Objectifs

Les objectifs de la formation

  • Pouvoir réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
  • Apprendre à définir et à développer des applications MapReduce (Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
  • Être en mesure d'exploiter toute la puissance d'Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop
Evaluation

Evaluation

  • Cette formation fait l'objet d'une évaluation formative.
Points forts

Les points forts de la formation

  • La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience.
  • La formation est animée par un formateur-consultant expert en Big Data.

Qualité des formations

ib Cegos est certifié Iso 9001 et Qualiopi.

Dates et villes

Mise à jour le 08/12/2023
    Consulter les dates 2024
    Formation - Hadoop - Cloudera/Hortonworks pour développeurs