Fh Aachen - Master Of Engineering - Medientechnik Und Streaming

Front 1

Wie lauten die zwei Grundprinzipien der Kompression?

Back 1

Prinzip 1: Nur Informationen übertragen, die noch nicht bekannt sind.

Prinzip 2: Nur Informationen übertragen, die der Empfänger verwerten kann.

Front 2

Warum ist Kompression wichtig?

Back 2

* 2015 sind mehr als 77% aller VoD Dienste in HD

Front 3

Was ist mit „Redundanz-Reduktion“ gemeint?

Back 3

Nur Informationen übertragen die noch nicht bekannt sind

Verlustlose Kompression

Front 4

Was ist mit Irrelevanz-Reduktion gemeint?

Back 4

Nur die Informationen übertragen, die der Empfänger verwerten kann.

Verlustbehaftete Kompression.

Front 5

Wie weit kann man mit verlustoser Kompression gehen?

Back 5

Bis zum Informationsgehalt der Daten (der Entropie).

Front 6

Wie ist die Entropie definiert?

Back 6

H= - sum_(i=1)^K [ p_i *Ld(p_i) ]

p_i = Zeichen #i

Ld( p_i ) = bits für das Zeichen

K = Anzahl der Zeichen

Front 7

Was gibt die Entropie an?

Back 7

Entropie gibt im Mittel die mindestens erforderliche Anzahl Bits zur Übertragung der Information an.

Front 8

Was ist Redundanz?

Back 8

Redundanz: Grad unnötiger übertragener Informationen

Annahme: Eine Zeichenquelle wird mittels Codes der mittleren Codelänge R übertragen

Die Entropie H ist eine untere Grenze für die mittlere Codewortlänge R eines decodierbaren Codes für die Symbole der Quelle.

R kann diese Grenze erreichen, wenn hinreichend viele Symbole zusammen codiert werden

Ziel: Redundanz ρ = R - H ≥ 0 klein! Ideal: ρ = 0

Front 9

Warum ist Kodierung mit variabler Wortlänge vorteilhaft gegenüber fester?

Back 9

Mache Buchstaben treten häufiger als andere auf. Sind häufig auftretende zeichen mit kurzem Code codiert, kann so bandbreite eingespart werden.

Nachteil: Bitfehler bei der Übertragung könen fatal sein.

Front 10

Was erzeugt das Huffman Verfahren?

Back 10

Bestmögliche Codierung von Zeichen für die Bitübertragung.

Front 11

Wann sind Huffman Codes Redundanzfrei?

Back 11

Codes sind redundanzfrei wenn alle Symbolwahrscheinlichkeiten Binärbrüche (2er Potenzen) sind

Front 12

Wie funktioniert Vorwärtsadaption?

Back 12

Die Statistik wird am Coder vor der Codierung gemessen.

Huffman Code wird berechnet und vorab an den Decoder übertragen.

Front 13

Wie funktioniert Rückwärtsadaption?

Back 13

Statistik wird an Coder und Decoder parallel gemessen. Anhand der gemessenen Statistik werden regelmäßig Codes berechnet (synchron an Coder und Decoder).

Höhere Komplexität, in der Praxis wenig verwendet.

Front 14

Was gilt für die Verbund-Entropie?

Back 14

Gemeinsame Entropie kleiner gleich Entropie aller Einzelsymbole
→ gemeinsame Kodierung kann nicht schlechter sein, aber besser
Gleichheit wenn die Werte statistisch unabhängig sind

Front 15

Was wissen Sie zur bedingten Entropie?

Back 15

Die bedingte Entropie H(X|Y) ist die zusätzliche Information durch X wenn Y bereits bekannt ist:

H(X|Y) = H(X,Y) - H(Y)

Front 16

Was ist/wie geht Irrelevanzreduktion durch Quantisierung?

Back 16

Quantisierung = “Runden” von Werten, ungenauer aber mit weniger Bits codierbar

Front 17

Wie lautet die Formel und wie funktioniert der Lloyd-Max-Quantisierer?

Back 17

Für ein Signal X mit gegebener Verteilungsfunktion fx(x) einen Quantisierer mit M Repräsentativwerten so finden dass MSE (minimal squared error) minimal.

MSE = E [ ( X -X^)^2 ] --> min

Front 18

Wie läuft die Transformationscodierung ab?

Back 18

Das Bild wird z.B. mit DCT transformiert. Anschließend wird Quantisiert und Encodiert in Bit-Stream.

Aus dem Bit-Stream wird decodiert, dequantisiert und die Inverse DCT angewendet, sodass das Bild rekonstruiert wird.

Front 19

Wie funktioniert die Blockweise Transformationscodierung?

Back 19

Aus dem Originalwird werden 8*8 Blöcke extrahiert und die werden in Transformiert. Anschließend folgt die Quantisierung, Codierung und Übertragung.

Die Quantisierten Transformationskoeffizienten werden später mit der Inversen Funktion wieder in einen Bildblock rekonstruiert und später zum Gesamtbild zusammengeführt.

Das Bild ist durch die Quantisiertung verlustbehaftet.

Front 20

Wie lauten die Formeln für Transformation und inverse Transformation eines Bildblockes?

Back 20

y = A x A^t --> y = Transformiert

x = A^t y A --> x = inv. Transformiert

Front 21

Was macht die Discrete Cosinus Transformation?

Back 21

Die DCT überführt einen Bildblock in die Basisfunktionen (bzw. Linearkombinationen von Basisfunktionen).

Diese Basisfunktionen sind die Schwingungen in x bzw y richtung mit kleiner werdenden Amplitude.

Der DC Koeffizient liegt bei 1,1 und ist der Mittelwert des Bildes. Die anderen 63 AC Koeffizienten sind die Schwingungen. Jeder Bildblock kann aus diesen Basisfunktionen gebastelt werden, also aus Kombinationen von den AC Basisfunktionen.

DCT ist nicht verlustbehaftet.

Front 22

Wie wirkt sich die Quantisierung auf DCT Koeffizienten aus?

Back 22

Kleine Schwingungen(Basisfunktionen) werden durch den Quantisierer ganz entfernt, sodass die Gewichtung gleich 0 ist.

Nach der Quantisierung verbleibende Koeffizienten werden übertragen (Position und Wert)

Front 23

Was macht der Zick Zack Scan?

Back 23

Umwandlung des DCT Blocks in einen Vektor, der Run-Level-Codiert ist.

0 0 0 5 0 0 1 wird zu (3,5) (2,1)

So werden lange 0 Sequenzen auf ein Symbol reduziert.

Front 24

Wo entstehen Codierartefakte?

Back 24

Bei Hell-Dunkel-Übergängen .. z.B. bei Schrift.

Front 25

Wie läuft die JPEG Kompression ab?

Back 25

Nach der DCT werden DC und AC Koeffizienten unterschiedlich behandelt.

DC ist der Mittelwert. Dieser wird Quantisiert und Differenzkodiert, weil er sich vom voherigen Block meist wenig ändert und anschließend mit Huffman codiert.

Die AC Koeffizienten werden quantisiert, Zig-zag-scanned, runlevel codiert und anschließend die Symbole huffman-codiert.

Front 26

Was kann JPEG-LS was JPEG-2000?

Back 26

LS:

verlustlos, wird kaum/nicht benutzt.

2000:

verlustlos und verlustbehaftet.

Wavelet Transformation

Lizenzprobleme

Front 27

Was ist die Grundidee von Videokompression?

Back 27

Nur fehlende Informationen übertragen (Differenz) da örtlichen Änderungen in einem Bild und die zeitlichen Änderungen von Bild zu Bild gering sind.

Funktioniert gut in nicht bewegeten Bildbereichen
Funktioniert schlecht in bewegten Bildbereichen

Front 28

Wie funktioniert die Bewegungskompensation?

Back 28

Nachdem die Bewegungsvektoren bekannt sind, werden die Blöcke aus dem letzten Bild im aktuellen Bild subtrahiert. --> Bewegungskompensation.

Die Bildblöcke sind meist sehr ähnlich, aber nicht perfekt gleich. Daher bleibt ein Differenzbild übrig.

Das Diff Bild wird anschließend wie ein normales Bild komprimiert (jpeg ähnlich).

Front 29

Warum nutzt die DIfferenzbild-Technik was?

Back 29

Bewegungsvektoren sind mit Differenzbild deutlich kleiner als das aktuelle Bild.

Front 30

Wie funktioniert der Hybridcoder?

Back 30

Beispiel mit zwei Bilder. Im ersten schritt wird das Bild in den Coder gegeben, codier und decodiert. Anschlißend im Speicher vorhehalten.

Das zweite Bild wird mit dem ersten in der Bewegung geschätzt und die Bewegungsvektoren werden auf das erste Bild angewendet, anschließend wird das bewegungsgeschätzte erste Bild von dem zweiten abgezogen, so entsteht ein DIfferenzbild. Dieses differenzbild wird codiert und decodiert und anschließend mit dem bewegungsgeschätzten ersten Bild addiert und im Speicher abgelegt.

Die DCT Koeffizienten werden nach der Codierung Huffman codiert und mit Huffman codierten Bewegungsvektoren übertragen.

Front 31

Wie sieht der Decoder des Hybridcoders aus?

Back 31

Er erhält DCT Koeffizienten und Bewegungsvektoren, (erstes Bild sind keine??) .

Anschließend Baut er das Bild aus dem Diffbild und dem Ersten Bild zusammen.

Front 32

Was ist ein Makroblock?

Back 32

Einheit für Bewegungskompensation.

Front 33

Was sind I, P und B Frames?

Back 33

I-Frames: Intra Frames, ohne Bewegungskompensation codiert.

P-Frames: Predicted Frames, mit Bewegungskompensation durch Diff und Vektor.

B-Frames: bidirectionally predicted Frames, aus Vergangenheit und Zukunft. Blöcke werden gemittelt (interpoliert).

Es müssen bei B-Frames die zukünftigen Bilder zuerst übertragen werden.

Also wird anders übertragen als Dargestellt.

Front 34

Was sind die unterschiede von Video Coding Layer?

Back 34

Verbesserte Bewegungskompensation.

Kleine Blöcke für die Transformation

Integer Transformation statt DCT.

Deblocking Filter

Verbesserte Entropiecodierung.

Front 35

Welche vorgestellen Möglichkeiten den Besten Block zu finden gibt es bei der Bewegungsschätzung?

Back 35

minimaler Quadratischer Fehler

Hierarchische Suche

Diamond Search

Front 36

Welche Tricks beschleunigen die Bewegungssuche?

Back 36

Verschiebungsvektor der Nachbarblöcke als Startpunkt wählen.

Bei einer "recht guten" Übereinstimmung abbrechen.

Teilsummen wiederverwenden und nicht jedes mal wieder neu anfangen zu summieren.

Front 37

Was ist FMO?

Back 37

Flexible Macroblock Ordering, hierbei sind die Sclices nicht mehr abgeschlossen, sondern variabler (=besser). Makroblöcke können also verstreut sein.

Front 38

Wie funktioniert der h264 Coder?

Back 38

Das erste Bild wird in 16x16 Makroblocks gesplittet und dann jeder Block mit der 4x4 Block Integer Transformation transformiert, skaliert und quantisiert. Danach zurück-skaliert und zurück-transformiert (ähnlich nach jpeg decode). Jetzt wird De-blocked, anschließend das Bild im Speicher abgelegt (4 Bilder als Referenzen).

Mit einem weiteren Bild kann die Bewegungsschätzung und die Bewegungskompensation stattfinden. Die Bewegungskompensation wird auf das voherige Bild angewendet und dieses von dem zweiten zum Diff Bild abgezogen. Das Diff Bild wird anschließend in Transformation/Skalierung/Quantisierung gegeben.

Mit der Intra-Frame Prädiktion wir aus bekannten Blöcken eines Bildes auch die Bewegung geschätzt.

Die quantisierten Transformationkoeffizienten, und die Bewegungsinformationen werden Entropie-Codiert (Kontext-adaptive Huffman-Codes für Transformkoeffizienten
– D.h. verschiedene, umschaltbare Code-Tabellen).

Front 39

Wie wird ein Bild unterteilt?

Back 39

In Slices und diese Slices sind eine Menge von Makroblöcken.

Makroblöcke sind 16x16 Helligkeitspixel und 2x 8x8 Farbpixel.

Makroblöcke innerhalb eines Slices werden abhängig voneinander codiert.

Makroblöcke können weiter unterteilt werden(für Bewegungskompensation
und Transformationscodierung).

Front 40

Warum haben Makroblöcke unterschiedliche Pixelaufteilungen?

Back 40

Da die Farbinformation für das Auge jedoch nicht von so entscheidender Bedeutung ist, werden bei den beiden Farbkomponenten I und Q jeweils 2x2 Pixel in einen einzelnen Pixel im Macroblock transformiert. Somit werden aus ursprünglich 16x16 Pixel nur noch 8x8 Pixel im Macroblock. Durch diese Zusammenfassung wird bereits eine Datenreduktion von 75% bei den Farbkomponenten erreicht, da aus ursprünglich 4 Pixel nur noch ein einzelner Pixel wurde.

Front 41

Welche Verbesserungen sind von H264->H265 gemacht worden?

Back 41

Verbesserungen:
– Normalerweise größere, aber flexiblere Aufteilung des Bildes in
Blöcke und Blockstrukturen (“Coding Tree Units”)
– Prädiktion von Intra-Bildern
– Bewegungskomprensierte Prädiktion von Inter-Bildern (Block
Merging)
– Filterung
– Entropiecodierung
– Vorbereitung für Parallelverarbeitung

Front 42

Wie ist die Aufteilung des Bildes bei H265?

Back 42

Nichr mehr einfache Böcke, sondern größere aus Blöcken zusammengesetzte
Strukturen, als Quadtree codiert
› Coding Tree Units (CTUs), bestehend aus Coding Tree Blocks (CTBs)
› Coding Units (CUs), bestehend aus Coding Blocks (CBs)
- Transform Units (TUs), bestehend aus Transform Blocks (TBs) und sind
Grundeinheiten für Transformation
- Prediction Units (PUs), bestehend aus Predicition Blocks (PBs) und sind
Grundeinheiten für BKP

Front 43

Was ist SVC?

Back 43

SVC (Scalable Video Coding): Erweiterung von H.264
– Zeitliche Skalierbarkeit
– Örtliche Skalierbarkeit
– Qualitätsskalierbarkeit

Skalierbare Codierung: Video lässt sich in mehreren Versionen
decodieren

Front 44

Welche vVerschiedene Arten der 3D Video Darstellung gibt es?

Back 44

› Stereo (Conventional Stereo Video, CSV)

– Getrennte Codierung von rechtem und linkem Video
– H.264/AVC Multiview Video Coding (MVC) in Blu-ray
– Frame-kompatible Codierung à HDMI, DVB 3DTV Phase 1
– Zukunft: Frame-kompatible kompatible Codierung in MPEG,
DVB 3DTV Phase 2

› Video + Depth (V+D)

– MPEG 3DV – in Arbeit, Standard 2015
› Multiview Video (MVV)

– Normales Video
– Zusätzlich Codierung der “Tiefenkarte” pro Bild

Front 45

Was ist Farbunterabtastung?

Back 45

Die Angaben zur Auflösung beziehen sich auf das Helligkeitssignal - Farbe kann evtl. geringere Auflösung haben
Bezeichnung
J:a:b
J: horizontale Anzahl von Pixeln als Referenz (normal 4)

a: Anzahl Farbpixel in der ersten Reihe von J Helligkeitspixeln

b: Anzahl (zusätzlicher) Farbpixel in der zweiten Reihe von J Helligkeitspixeln

Am gängigsten: 4:2:0 (Farbe in x und y Richtung jeweils halbe
Auflösung), 4:2:2, 4:4:4 (volle Farbauflösung)

Front 46

Wie lauten die drei Hauptkonzepte für Fileformate?

Back 46

Modularisierung

Daten einfach und logisch strukturieren
Datenblöcke für Header / Metadaten / Video / Audio / Untertitel
Random Access
Blöcke veränder- und entfernbar, ohne dass ganzes File unbrauchbar wird

Interleaving

Bei Echtzeitübertragung: abwechselnd kurze Audio-, Video-, …-Blöcke
Schützt vor Fehlern bei Übertragung (Burstfehler)
Übertragung von kleinen Blöcken erhöht Chance diese rekonstruieren zu können

Erweiterbarkeit

Struktur kann einfach um neue Metadaten oder die Verwendung neuer Codecs erweitert werden

Front 47

Was ist DASH?

Back 47

Dynamic Adaptive Streaming over HTTP

Endlich ein Standard, weil sich Apple, Adobe und MS ein eigenes Süppchen gekocht haben. Dash nutzt HTTP Server auf denen der Content in verschiedenen Versionen vorgehalten wird. Jeder Nutzer erhält passend zur verfügbaren Bandbreite die entsprechende Qualität.

In einem Manifest File sind die Mediensegmente beschrieben.