Big Data

Front 1

A quoi fait référence le big data?

Back 1

- Importants volumes de données
- Grande variété de sources de données et de formats
- Analyse avancée en utilisant l’informatique distribué

Front 2

Quelle est la différence entre la BI traditionnelle et le Big Data?

Back 2

- limited data vs unlimited data
- indicateurs et tableau de bord pour monitorer les activités internes et mesurer les points clés vs indicateurs et tableau de bord pour prévoir et mesurer sur une plus grande échelle.

Front 3

Comment est défini le Big Data selon Gartner?

Back 3

Le Big Data est défini selon la règle des 3V:
- Volume: beaucoup de données sont stockées et analysées
- Variété: beaucoup de types et de sources de données sont combinées
- Velocité: croissance des données est exponentielle

Front 4

Qu’est ce que la règle des 3V?

Back 4

- Volume: beaucoup de données sont stockées et analysées
- Variété: beaucoup de types et de sources de données sont combinées
- Velocité: croissance des données est exponentielle

Front 5

A quoi fait référence le volume dans la loi des 3V?

Back 5

Elle fait référence la quantité des données produites. Depuis 2010 la quantité de données produite augmente de 50%.

Front 6

A quoi fait référence la variété dans la loi des 3V?

Back 6

Elle fait référence au fait que les données peuvent venir de n’importe quelle source (web, camera, pc, …) et peuvent avoir différents formats (text, video, photo, …).
Les données peuvent être structurées, non-structurées et semi-structurées.

Front 7

A quoi fait référence la vélocité dans la règle des 3V?

Back 7

Elle fait référence au fait que les données sont générée très rapidement. Par exemple twitter, Facebook, youtube, SMS.

Front 8

Qu’est ce que HDFS?

Back 8

Il s’agit:
- d’un sous projet de Apache Hadoop.
- d’un système de fichier distribué

Front 9

Quelles sont les caractéristiques d’un système de fichier distribués?

Back 9

- Les données sont stockées sur un réseau de machines => « distribué »
- Une seule machine n’héberge pas le fichier complet.

Front 10

Quel est l’utilité de HDFS?

Back 10

- Il est crée pour stocker les gros fichiers (GB, TB)
- Il utilise un pattern streaming data : « Write-once, read-many-times »
- Il peut être utilisé sur n’importe quel hardware (pas besoin d’equipement particulièrement performant)

Front 11

Quelles sont les limites de HDFS?

Back 11

Il n’est pas conçu pour gérer:
- les petits fichiers
- la low-latency

Front 12

D’où vient la difficulté pour HDFS de gérer les petits fichiers de données?

Back 12

Chaque block de fichier occupe par défaut 64MB sur le disque

Front 13

Décrire l’architecture HDFS?

Back 13

HDFS est composé d’un server maître (NameNode) et d’un ou plusieurs serveurs esclaves (DataNodes).

Front 14

Qu’est ce que le NameNode?

Back 14

Le serveur qui joue le rôle de maître. Il contient les métadonnées ainsi que la localisation des blocs de données dans le fichier.
Il joue le rôle de controlleur en communiquant directement avec les applications client. Il gère le système de fichier.

Front 15

Qu’est ce que le dataNode?

Back 15

Le serveur qui joue le rôle d’esclave. Il contient et restitue les blocks de données.

Front 16

Quelles sont les 2 types de configurations initiales?

Back 16

- Single-node Setup : un seul ordinateur, seulement pour les tests et le développement
- Cluster Setup : pour la production.

Front 17

Quels sont les deux modes de fonctionnement pour la configuration en Single-node de HDFS?

Back 17

- Standalone Opération: il y a seulement un process java => c’est du non-distribué
- Pseudo-Distributed Opération: il y a un process java pour chaque demain Hadoop (on simule une architecture distribuée)

Front 18

Comment fonctionne le stockage de fichier sur HDFS?

Back 18

Les fichiers sont divisés en blocks de 64MB.
Chaque block de donnée est stocké sur 3 DataNodes par défaut
Le mapping des données est stocké sur le NameNode.

Front 19

Si on a un fichier de 200 MB comment sera-t-il stocké sur HDFS?

Back 19

200 MB = 64MB + 64MB + 64MB + 8MB
Le fichier sera séparé en 3 blocks de données de 64MB et un block de 8MB. Chaque block sera stocké sur 3 DataNodes.

Front 20

Quels sont les fichiers important composant le NameNode?

Back 20

- FsImage: store les métadonnées et le mapping des blocks.
- EditLog: stocke tous les changement des métadonnées du système de fichier.

Front 21

Décrire les étapes de démarrage du NameNode?

Back 21

1- FsImage et EditLog sont lus depuis le disque dur et stockés en mémoire.
2- Les transactions stockées dans EditLog sont appliquées à la version du FsImage stocké en mémoire.
3- La version en mémoire du FsImage est écrite sur le disque.
4- EditLog est tronqué (je suppose mis à jour => les transactions appliquées sont effacées du fichier)

Front 22

A quoi sert le NameNode secondaire?

Back 22

Il permet d’avoir un backup des métadonnées UNIQUEMENT.
Il fonctionne sur un serveur different du NameNode.

Front 23

Quels sont les paramètres de configuration du NameNode secondaire?

Back 23

- fs.checkpoint.period : 1h par défaut
- fs.checkpoint.size: par defaut 64 MB

Front 24

Comment configurer HDSF pour avoir une bonne fiabilité?

Back 24

- Toujours mettre en place un nameNode secondaire
- Multiplex : stocker au moins deux copies des metadata (FSImage + EditLog) sur différents disques durs.
- Rack hawaïens: on peut configurer HDFS pour stocker les copies des métadonnées du NameNode sur des datantes situées dans différents racks.

Front 25

Que se passe-t-il en cas de perte des métadonnées et comment éviter ce cas?

Back 25

En cas de pertes des métadonnées tous les fichiers stockés sur le cluster sont perdu => perte totale des données.
Pour éviter cela il est conseillé de toujours avoir un NameNode secondaire.

Front 26

Qu’est ce que le multiplex?

Back 26

Le multiplex consiste a stocker au moins 2 copies des métadonnées (FsImage + EditLog) sur les disques différents. Le but est d’assurer une haute reliability (fiabilité) des données.

Front 27

Quelle est la démarche pour restaurer un NameNode depuis un chekpoint?

Back 27

1- Créer le répertoire spécifié dans dfs.name.dir
2- Spécifié la location du checkpoint dans fs.checkpoint.dir
3- Démarrer le NameNode avec la commande:

Front 28

Que se passe-t-il si un dataNode tombe?

Back 28

Les blocks perdus sont automatiquement répliqués sur d’autres DataNodes.

Front 29

Comment est détecté la panne d’un DataNode?

Back 29

- perte de heartbeat (une pulsation est envoyée toutes les 3 secondes)

Front 30

Qu’est que MapReduce?

Back 30

Un framework pour écrire des applications qui gèrent du BigData sur un cluster Hadoop.
Il divise les données en plusieurs parties pour les traiter en parallèle (sur plusieurs machines)
La phase Map et la phase Reduce sont gérées par les Task Trackers qui fonctionnent en parallele.

Front 31

Qu’est ce qu’un Task Tracker?

Back 31

Un DataNode HDFS.

Front 32

Quels sont les langages supportés pour coder un MapReduce?

Back 32

- Java
- N’importe quel langage de stripping (avec hadoop Streaming)
- C++ (en utilisant Hadoop Pipes)

Front 33

Comment lancer un job MapReduce?

Back 33

1- On compile la classe java, en incluant hadoop.jar
2- On envoie les fichiers de données au système de stockage HDFS
3- On lance le job hadoop

Front 34

Quel résultat obtient-on après avoir lancé un job MapReduce?

Back 34

L’output sera stocké dans un dossier.
Dans ce dossier on aura les fichiers suivant:
- part-0000: le résultat
- _SUCCESS: indique si le job s’est terminé avec succès
On peut télécharger le résultat avec la commande fs -copyToLocal

Front 35

Comment lancer un job MapReduce en python?

Back 35

On doit d’abord créer les script zapper.py et réduire.py puis les rendre exécutables. Enfin on lance le job sur le cluster.

Front 36

Qu’est ce que PIG?

Back 36

- Un langage haut niveau pour manipuler les larges sets de données.
- Un compilateur qui créer des séquences de programmes MapReduce.
- Utilise un langage appelé PigLatin
- Peut être utilisé comme un ETL

Front 37

Quel est l’interet de PIG?

Back 37

- Programmation facilité (plus de java)
- Optimisation automatique (PIG se charge de la performance des requêtes)
- Extensibilité (possibilité de créer des fonctions)