Vous êtes ici : Accueil > Formation informatique > Big Data, Data Science > Big Data - Les distributions

Fantom Tag

Formation - Hadoop - Cloudera/Hortonworks pour développeurs

Développement de solutions Hadoop Cloudera/Hortonworks

  • Présentiel ou classe à distance
Sur Mesure
Formation à la demande
Référence
BD502
Cette thématique vous intéresse ?
Nos experts conçoivent votre formation
sur-mesure !
Nous contacter
Initialement proposé par Google qui devait faire face à un volume croissant de données à analyser et fournir aux internautes des résultats de recherche pertinents, MapReduce, combiné à d'autres publications telles que Google File System et BigTable, est à l'origine de Hadoop. Confronté à des problèmes similaires à ceux rencontrés par la firme de Mountain View, Doug Cutting, alors chez Yahoo !, lance au milieu des années 2000, sous forme de projet de la fondation Apache, le Framework Hadoop. Devant le succès rencontré par sa solution, il rejoint Cloudera qui propose alors sa propre distribution d'Hadoop, la plus utilisée à ce jour. Outre un support sur le produit, la société propose également une suite d'outils permettant des traitements temps réel de très gros volumes de données.
Lire la suite
Pour qui ?

A qui s'adresse cette formation ?

Pour qui

  • Développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop

Prérequis

  • Posséder une expérience dans le développement, si possible avec Java
  • Une connaissance préliminaire d'Hadoop n'est pas exigée
Programme

Le programme

1 - Introduction

  • Présentation générale d'Hadoop
  • Exemples d'utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

2 - HDFS : interfaçage avec Java

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu'est-ce que le DistributedCache et comment partager les références ?

3 - MapReduce/Yarn : principe et développement Java

  • Le paradigme MapReduce et l'utilisation à travers Yarn
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

4 - Manipulation des données avec un Query Language et Java

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : développement et intégration avec Java
  • Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)

Evaluation

  • Cette formation fait l'objet d'une évaluation formative.
Objectifs

Les objectifs de la formation

  • Pouvoir réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
  • Apprendre à définir et à développer des applications MapReduce (Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
  • Être en mesure d'exploiter toute la puissance d'Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop
Points forts

Les points forts de la formation

  • La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience.
  • La formation est animée par un formateur-consultant expert en Big Data.

Qualité des formations

ib Cegos est certifié Iso 9001 et Qualiopi.

En savoir plus

Formation - Hadoop - Cloudera/Hortonworks pour développeurs