Big Data

Front 1

Die 5 V's von Big Data in aufsteigender Folge nach Bedeutung

Back 1

Volume, Velocity, Variety, Veracity, Value

Front 2

Typen von Datenanalyse

Back 2

Descriptive, Diagnostic, Predictive, Prescriptive

Front 3

Unterschied Data Scientist <-> Data Engineer

Back 3

Front 4

Welche 5 Data-modelle und beschreiben.

Back 4

Relationalmodell, Key-Value-stores, Wide-column-tables, Document Stores, Graph DB

Front 5

JDBC Treiber Typen und erklären

Back 5

Typ 1: JDBC-ODBC Bridge

Typ 2: Native API/Partly Java

Typ 3: Net-protocol/All-java Treiber

Typ 4: Native-protocol/All-java Treiber

Front 6

Vorkompilierte SQL-Anweisungen in JDBC, wie?

Back 6

PreparedStatement, parametrisierbar mit "?"

Idee: oft verwendete Anweisungen ein mal kompilieren.

Front 7

Was ist CLI?

Back 7

Call Level Interface. Standard für Prozeduren & Funktionen zur Kommunikation mit DBMS. Definition und Ausführung von Anfragen. Verarbeitung von Ergebnissen.

Front 8

Was ist ODBC

Back 8

CLI-konforme Windows Implementierung. Erweiterte Funktionalität. Dynamisches Laden von Treibern.

Front 9

Handlearten in ODBC?

Back 9

Environmenthandle, Connection-handle, Statement Handle, Descriptor Handle

Front 10

HierachieStruktur der Handles

Back 10

Environmenthandle->Connectionhandle>Statementhandle

Connectionhandle->Descriptorhandle

Front 11

Vorteile der Anwedungslogik IN der DB?

Back 11

Räumliche Nähe von Anwendungslogik und Daten.

Reduzierter Netzwerkverkehr.

Kapselung und Wiederverwendung.

Höheres Optimierunspotential.

Transaktionsschutz.

Front 12

Funktionsarten in DB2

Back 12

Skalar-, Aggregations-, Zeilen- und Tabellenfunktionen

Front 13

Nutzerdefinierte Funktionsarten?

Back 13

Sourced(Template), SQL Scalar/Table/Row, External Scalar/Table, OLE DB External Table

Front 14

Was sind Sourced Functions?

Back 14

Basieren auf bestehenden Funktionen. Automatische Typkonvertierung. Vorhandene Funktionen mit nutzerdefinierten Typen.

Front 15

Was sind Stored Procedures?

Back 15

In DB abgelegte Prozeduren. Parametriesiert. SQL oder extern. Aufruf mit 'CALL'.

Front 16

SP im Vergleich zu UDF?

Back 16

SP können nicht in SQL-Stmts/Triggern/Funktionen verwendet werden. Bei SP beliebige Ausgabewerte möglich. SP bessere Fehlerverarbeitung.

Front 17

Was ist Compound SQL?

Back 17

Zusammenfassen mehrerer SQL-Stmts. 3 Arten:

"Integriert" (UDFs, Trigger, JDBC...), ehemals dynamisch

"Kompiliert" (SP, UDFs, Trigger), ehemals prozedural.

Front 18

Externe UDFs und warum?

Back 18

In höherer Programmiersprache geschrieben (java, C#...). Naheuzu beliebige Anwedungslogik implementierbar (kein schreibender DB-Zugriff).

Zugriff auf bestehende externe Software-komponenten möglich.

Front 19

Fenced vs Unfenced UDFs?

Back 19

Fenced (Standard): UDF läuft in eigenem Prozess. Kein Zugriff auf DB2-Internals. Sicher aber langsam.

Unfenced: In DB2-Engine ausgeführt->schneller. Für bereits erprobte, vertrauenswürdige UDFs.

Front 20

Statisches SQL vs Dynamisches SQL

Back 20

Feste SQL-Anweisungen, vorher bekannt. Parametrisierung durch Variablen zulässig. Vorkompiliert->kein Overhead. Aber: sensitiv zu Änderungen der Datenverteilung. vs

Dynamisch generierte SQL Anweisungen

Typischerweise langsamer. DB2-interne Cache

Front 21

Was ist NoSQL

Back 21

Nicht-relational, Verteilt, Fehlertolerant, open-source horizonal skalierbare DBMS

Front 22

SQL vs NoSQL

Back 22

Front 23

ACID vs BASE

Back 23

Front 24

Scale-Up vs Scale-Out

Back 24

Scale-up adds resources to a single node in a system. Scale-out (horizontally) adds more nodes to a system.

Front 25

Vorteile von Scale-out

Back 25

Besserer Energieverbrauch aufgrund geringer CPU-Frequenzen. Leichtere Fehlerbehandlung. Erlaubt inkrementelle Kapazitätsanpassung und rolling updates.

Front 26

CAP Definition

Back 26

Consistency, Availability, Partition-tolerance. Nur zwei davon gleichzeitig möglich.

Front 27

Was ist Redis?

Back 27

Remote Dictionary Server. Open-source single-threaded, advanced key-value-data-store. Works with in-memory dataset.

Front 28

Welche Values in Redis möglich?

Back 28

Strings, Containers of Strings: Hashes, Lists, Sets, Sorted sets

Front 29

Was ist HyperLogLog?

Back 29

Probabilistische Datenstruktur. Schättz die Kardinalität eines Multisets. Braucht nicht Speichermenge proportional zur Menge der Items. Konstante Speichermenge 12kb.

Front 30

Was ist HBase?

Back 30

Wide-column-NoSQL Store auf Basis von Apache Hadoop. Verteilte sortierte Map auf Basis von Google Big Table. Spaltenorientiertes Layout.

Front 31

Features von HBase?

Back 31

Versionierung. In-Memory Tabellen, Kompression, Fehlertoleranz, Map-Reduce-Unterstützung.

Front 32

Aufbau von HBase Tabelle.

Back 32

Eindeutiger Row key zur Identifizierung von Zeilen = Key-Value Container. Zeilen nach Column families gruppiert. Column families enthalten columns. Zelle ist Kombi aus row-key, column family und column. Zelle ist mit Zeitstempel versioniert.

Front 33

Optimierung von HBase Schema wie?

Back 33

Bezeichner der Column families so klein wie möglich wählen. Spaltenbezeichner lesbar aber kurz. Hotspot durch Salting vermeiden.

Front 34

Was ist Salting?

Back 34

In HBase: Zufälliges Einfügen von Präfixen an alle Row-keys. Dadurch mehr aufwand beim Lesen aber schnelleres Schreiben.

Front 35

Architektur von HBase

Back 35

Master: Koordiniert HBase-Cluster, Zuweisung und Balancierung von Regionen. Behandelt Admin-Ops.

Region Server: Enthält mehrere Regionen. Verantwortlich für Schreiben und Lesen.

Region: Untermenge einer Tabelle. Basiseinheit zur Skalierung in HBase. Zusammenhängender geordneter Bereich von Zeilen.

Front 36

Wann sollte HBase genutzt werden?

Back 36

Wahlfreies Lesen bzw. Schreiben oder beides notwendig. Tausende Operationen auf mehrere TB. Zugriffsmuster müssen bekannt und einfach sein.

Front 37

Was ist der Apache Zookeeper und wofür ist er verantwortlich?

Back 37

Koordinationsdients für HDFS. Verwaltet Namensraum. Locking: Zugriffsverwaltung für geteilte Resourcen. Synchronisation: Start/Stop von Knoten, korrekte Ausführunsreihenfolge. Konfigurationsmanagement. Masterwahl: Bestimmt Masterknoten und handhabt Knotenausfall. Bietet Pub/Sub-Fähigkeiten.

Front 38

Einsatzszenarien von Document Stores?

Back 38

Wenn Daten nur schwach vernetzt sind. Primär als Key-Value Store mit Sekundärindizes. Für Javascript (MongoDB). Bei großen Datenmengen.

Z.B. CMS mit semi-strukturierten Daten e.g. Produktdaten.

Front 39

Was ist MongoDB?

Back 39

Dokumentorientierte NoSQL-Datenbank in C++. Ziel: Performance und einfacher Datenzugriff.

Front 40

Features von MongoDB?

Back 40

Dynamisches Schema. Dokumentbasiert. Sekundärindex. Anfragen per API. Master-Slave-Replikation mit automatischem Failover (replica sets). Map-Reduce-Unterstützung. KEINE Joins und Transaktionen.

Front 41

Datenmodell von MongoDB

Back 41

Instanz->0-* Datenbanken->0-* Collections ->0-* Dokumente -> 1-* Felder

Dokumente können andere Dokumente enthalten. Collections entsprechen Tabellen.

Front 42

Welches Format haben Dokumente in MongoDB?

Back 42

JSON-ähnliche Struktur namens BSON (binary). Unterstützt mehr Datentypen. Max 16MB.

Front 43

Wie werden Dokumente in MongoDB untereinander referenziert?

Back 43

Mit Object-ID nur innerhalb einer Collection. Mit DBref verweisen mehrere Dokumente auf ein Dok in einer anderen Collection.

Mit EmbeddedDoc Einbettung von Dokumente in Andere möglich.

Front 44

Vergleich der Elemente in RDBMS vs MongoDB?

Back 44

Datenbank=Datenbank

Tabelle, Sicht -> Collection

Zeile -> Dokument (BSON)

Spalte -> Feld

Index=Index

Join->Eingebettetes Dokument

Fremdschlüssel->Referenz (DBref)

Partition->Shard

Front 45

Wie verarbeitet MongoDB anfragen?

Back 45

MongoDB nutzt B-Baum Index zur Beschleuningung. Ohne Index -> Collection Scan über alle Dokumente einer Collection. Standarmäßig wird Index auf _id Feld angelegt.

Front 46

Welche Indexarten gibts in MongoDB?

Back 46

Multi-Key-Index

Geospatial Index (2dsphere)

Hash-Index (hashed)

Textsuche mit Textindex (1 Textindex pro Collection möglich)

Front 47

Nodes und Edges in Neo4J verglichen zu Elementen in ER

Back 47

Nodes wie eine Entity in ER. Existieren alleine. Haben Objektidentität.

Edges wie Beziehung in ER. Existieren nur zwischen Nodes. Identität hängt von verbundenen Knoten ab.

Front 48

Unterschied zwischen Path und Simple Path.

Back 48

Simple Path hat keine Zyklen.

Front 49

Was ist eine Clique.

Back 49

Fully edge connected set of vertices.

Front 50

Def. von Distanz zweiter Nodes in Neo4J

Back 50

Anzahl der Edges im kürzestem verbundenen Pfad.

Front 51

Def. von Eccentricity in Neo4J

Back 51

Längester verbundener Pfad zweier Nodes.

Front 52

Def. Radius in Neo4J

Back 52

Minimale Eccentricity aller Nodes im Graphen.

Front 53

Was ist das Kernkonzept von Neo4J?

Back 53

Pattern matching.

Front 54

Pattern Syntax in Neo4J

Back 54

Vertex pattern mit () und Edge pattern mit -[]->

Front 55

Wie Daten aus Neo4J extrahieren und Filtern und erstellen?

Back 55

Mit "MATCH", "WHERE", "RETURN" extrahieren. Mit "CREATE" erstellen.

Front 56

Unterschied Homomorphismus und Isomorphismus?

Back 56

Homo: Abbildung von mehreren Knoten der Query auf <= der Resultquery. Iso: 1:1

Front 57

Vor- und Nachteile bei der Verwendung multipler DBMSs?

Back 57

Pro: Kann multi-model Daten handlen. Einfache Skalierung.

Con: Benötigt viele qualifizierte Leute zur Arbeit. Inter-model queries schwer verarbeitbar.

Front 58

Unterschied zwischen Multi-Model und Multi-Modal?

Back 58

Model: Verschiedene DBMS

Modal: Verschiedene Datentypen (video, bilder, eye tracking data...)

Front 59

Vor- und Nachteile einer Multi-Model DB?

Back 59

Pro: Kann multi-model Daten verarbeiten. Ein System hat Fehlertoleranz. Garantiert inter-model Datenkonsistenz. Einheitliche query-Sprache für multi-model Daten.

Con: Komplexes System. Unreif und in Entwicklung. Noch viele Herausforderungen.

Front 60

Beispiele für Relationale Multi-Model DBMSs?

Back 60

PostGreSQL, IBM DB2, Microsoft SQL Server, Oracle DB, MySQL

Front 61

Beispiele für column multi-model DBMSs?

Back 61

Cassandra, DynamoDB

Front 62

Unterstütze Models von ArangoDB?

Back 62

Document, Key-Value, Graph

Front 63

Datenmodell von ArangoDB?

Back 63

1-* Datenbanken halten Collections. Collection sind Typ Document oder Typ Edge. Edge Collection haben _from and _to Attribute.

Front 64

Document Eigenschaften in ArangoDB?

Back 64

JSON Object. Beliebige Verschachtelung. Kann Listen enthalten. Unique key zur Identifizierung in Collection. Unique ID zur Identifizierung in DB. Beide unveränderlich. Verschiedene Dokumentrevisionen.

Front 65

Edge Document Eigenschaten in ArangoDB?

Back 65

Normale Dokumente, die immer _from und _to Attribute enthalten. Einige spezielle Edge Funktionen z.B. edge-collection.edges(vertex).

Front 66

ArangoDB query Sprache mit Eigenschaften?

Back 66

AQL - declarative query language. Unterstützt komplexe query patterns und alle Datenmodelle von Arango. Gibt entweder Result zurück oder führt Datenmodifikations-operation aus (INSERT, UPDATE, REPLACE...)

Front 67

Datentypen in ArangoDB?

Back 67

Primitive: null, bool, number, string

Compound types: bestehend aus multiplen Werten: Array (von Arrays) mit [] und Object/document mit {}

Front 68

Indexarten in ArangoDB?

Back 68

Primary Index

Hash Index

Skiplist Index

Persistent Index

Geo Index

Fulltext Index

Front 69

Eigenschaften des Primary Index in ArangoDB?

Back 69

(default): _id, _key, _from, _to automatisch indexiert. Unsortierter Hash Index.

Front 70

Eigenschaften des Hash Index in ArangoDB?

Back 70

Auf einem oder mehreren Attributen erstellt.

Front 71

Eigenschaften des Skiplist Index in ArangoDB?

Back 71

Sortierte Indexstruktur. Für range queries und sortierte Rückgabewerte benutzt.

Front 72

Eigenschaften des Persistent Index in ArangoDB?

Back 72

Sortierter Index mit Persistenz. Indexeinträge auf Platte mit DML Ops geschrieben.

Front 73

Eigenschaften des Geo Index in ArangoDB?

Back 73

Speichert 2D Koordinaten (latitude und longitude) in zwei Attributen oder einem Array mit zwei Werten.

Front 74

Eigenschaften Fulltext in ArangoDB?

Back 74

Auf einem Attribut erstellt. Indexiert alle Worte in Kleinform von Dokumenten die dieses Wort im Attribut enthalten. Unterstützt komplette Match queries, Präfixsuchen, logische operationen.