Reading...
Play button
Play button
Use LEFT and RIGHT arrow keys to navigate between flashcards;
Use UP and DOWN arrow keys to flip the card;
H to show hint;
A reads text to speech;
30 Cards in this Set
- Front
- Back
|
Welche Merkmale weisen Hopfield-Netze auf?
|
- Gehören zur Klasse der Feedback-Netze
- Kantensymmetrie: * Hopfield-Netze bestehen aus einer Menge von n Neuronen ∗ Vollständige Vermaschung ∗ Jede Kante wird durch ein Gewicht w_ij repräsentiert - Gewichtssymmetrie: Das Gewicht zwischen Neuron i und j entspricht dem Gewicht von Neuron j nach i - binäre Eingabedaten - binäre Neuronen: * Berechnung der gewichteten Summe aus der Eingabe ∗ Anwendung der Signumfunktion auf Ergebnis |
|
|
Wie ist die Arbeitsweise von Hopfield-Netzen?
|
– Werden nicht im üblichen Sinne trainiert
– Gewichte werden in der Intialisierung einmal nach genau festgelegter Vorschrift voreingestellt – In Recall-Phase wird eine Eingabe ans Netz angelegt – Aus dem dadurch gegebenen Anfangszustand berechnet das Netz nach spezifischen Regeln Folgezustände, aus denen neue Eingaben berechnet werden, die wiederum auf die Neuronen rückgekoppelt werden – Dies geschieht solange, bis keine Veränderungen der Neuronenzustände mehr durchgeführt werden – Netz befindet sich zu Beginn auf einem bestimmten Enegieniveau – Es bewegt sich beim Wechsel der Zustände im Energiegebirge – Beim Eintreten der Konvergenz ist das niedrigste Energieniveau und damit der Endzustand erreicht |
|
|
Welche vier Phasen gibt es in ART-Netzen?
|
– Netzwerkinitialisierung
– Anlegen einer neuen Eingabe – Einschwingen – Auskoppeln der Ergebnisse |
|
|
Wie funktioniert der Hopfield-Algorithmus?
|
– Netzwerkinitialisierung:
∗ Direkte Berechnung der Netzgewichte ∗ Analogon zur Trainingsphase anderer Netze ∗ Am Ende der Phase ist Netz in der Lage, alle Muster korrekt zu reproduzieren (Netz arbeitet autoassoziativ) – Anlegen einer neuen Eingabe: Initialisierung der Outputwerte zum Zeitpunkt t = 0 – Einschwingen: ∗ Ermittlung einer Iterationsvorschrift zur Berechnung von Folgezuständen der einzelnen Neuronen ∗ Sukzessive Berechnung der gewichteten Summe aller Eingaben für ein Neuron ∗ Darauf wird als Aktivierungsfunktion die Stufenfunktion sng angewendet ∗ Berechnung terminiert, wenn die Ausgabe jedes Neurons im Netz unverändert bleibt |
|
|
Was ist der häufigste Anwendungsfall für Hopfield-Netze?
|
– Erkennung von gestörten Mustern
– verrauschtes Signal wird an Netz angelegt – Nach einigen Iterationen antwortet das Netz mit dem am besten korrelierenden Ausgangsmuster |
|
|
Welche Ausführungsvarianten gibt es?
|
- synchrone und
- assynchrone Verfahren |
|
|
Welche Auswirkungen haben die beiden Varianten?
|
haben auf Leistungsfähigkeit keine Auswirkungen, können auf gleichen Daten jedoch zu einem geringfügig anderen Verhalten führen
|
|
|
Was ist die assynchrone Variante von Hopfield-Netzen?
|
∗ Iterationsregel wird zunächst nur auf ein Neuron angewendet
∗ Bei der Behandlung des nächsten Neurons wird die im vorhergehenden Schritt berechnete Aktivitierung mit berücksichtigt ∗ Neuron wird über stochastischen Auswahlmechanismus gewählt |
|
|
Was ist die synchrone Variante von Hopfield-Netzen?
|
Iterationsregel wird für alle Neuronen gleichzeitig berechnet
|
|
|
Was ist bei der Speicherkapazität von Hopfield-Netzen zu beachten?
|
Speicherkapazität von Hopfield-Netzen korreliert mit der Anzahl der Neuronen
|
|
|
Was sind Spurious States?
|
– In der Fehlerfunktion E können lokale Minima auftreten
– Diese werden in der Einschwingphase nicht mehr verlassen (spurious states) – Das Netz nimmt an, eine Musterklasse entdeckt zu haben und terminiert – Eingabe wird fehlerhaft klassifiziert – Dieser Fehler kann durch Weiterentwicklungen vermieden werden |
|
|
Was ist die Boltzmann-Maschine?
|
• Weiterentwicklung der Hopfield-Netze
• Erweiterung um ein stochastisches Element • Eingabe- und Ausgabeschicht sind durch eine Schicht verborgener Neuronen getrennt • Hopfield-Netze können sich in lokalen Minima verfangen • Boltzmann-Maschine versucht dieses Problem zu vermeiden |
|
|
Mit welcher Analogie kann man die Funktionsweise einer Boltzmann-Maschine vergleichen?
|
– Gewichte sind wie die Bewegung eines Teilchen, das eine eigene innere Energie besitzt, im Energiegebirge
– Eine Anziehungskraft, die es in Richtung der Täler zieht, wirkt auf das Teilchen – Eine weitere Kraft verleiht ihm eine Eigenbewegung wie einem Gasmolekül – Die Bewegung des Teilchens wird durch eine Art Temperaturparameter bestimmt – Zu Beginn einer Abkühlung ist sie höher – Dadurch kann ein Teilchen lokale Minima wieder verlassen – Gegen Ende der Abkühlung nimmt die Eigenbewegung ab und das Teilchen kommt in einem der tiefergelegenen Täler zur Ruhe |
|
|
Was sind die stochastischen Elemente bei Boltzmann-Maschinen?
|
– Erlauben das Verlassen einmal eingenommener lokaler Minima und eine globale Optimierung
– Dies wird erreicht durch eine wahrscheinlichkeitsgesteuerte Aktivierungsfunktion und einen Temperaturkoeffizienten T – T beeinflusst die Eigenbewegung der Gewichte des Netzes – T wird im Laufe der Zeit reduziert – Das Netz kühlt also ab und verharrt im globalen Energie-Minimum |
|
|
Was gilt für Schichten bei Boltzmann-Maschinen?
|
– Zuordnung der Neuronen in Schichten ist willkürlich
– Die Neuronen, an die Eingaben angelegt werden, bilden die Inputschicht – Die Neuronen, die für die Abnahme der Outputs ausgewählt werden, bilden die Ausgabeschicht – Alle anderen Neuronen gehören zur verborgenen Schicht |
|
|
Was geschieht bei Boltzmann-Maschinen in der Recall-Phase?
|
– Ein Eingabevektor wird an die Eingabeneuronen angelegt
– Diese werden “festgeklemmt” – Diese Neuronen können ihre Aktivierung bzw. Ausgabe nicht mehr verändern – Für die restlichen Neuronen (verdeckte Schicht und Ausgabe) wird ein iteratives Verfahren durchgeführt |
|
|
Welche Phasen werden bei der Boltzmann-Maschine iterativ durchgeführt, bis eine stabile Gewichtsmatrix W entsteht?
|
– Inkrementierung
– Dekrementierung |
|
|
Was geschieht in der Inkrementierungsphase?
|
– Ein- bzw. Ausgabeneuronen werden durch Vorgabe einer Trainingsmenge festgelegt und nicht mehr verändert
– Für die Neuronen der verdeckten Schicht werden iterativ neue Aktivierungen s_i berechnet – Die Neuronen, die gleichzeitig “on” geschaltet sind, werden um ein Inkrement verstärkt – Auch die festgeklemmeten Ausgaben dienen als Eingaben zu anderen Neuronen und haben somit einen Einfluss auf die Aktivierung der Neuronen in der verborgenen Schicht |
|
|
Was geschieht in der Dekrementierungsphase?
|
– Nur die Eingabeneuronen werden mit dem Eingabevektor festgeklemmt
– Für die restlichen Neuronen werden die zugehörigen Zustände berechnet – Feuern zwei Neuronen gleichzeitig, werden die entsprechenden Gewichte dekrementiert – Das Zusammenspiel von Inkrementierung und Dekrementierung bewirkt, dass schließlich nur Gewichtsverbindungen zwischen Neuronen übrig bleiben, die zur korrekten Input-Output-Relation beitragen – Alle übrigen Gewichte werden abgeschaltet |
|
|
Warum kann man die Problemlösungsstategie innerhalb eines neuronalen Netzes als einen hochgradig arbeitsteiligen Prozess betrachten?
|
– Jedes verdeckte Neuron hat die Tendenz, sich auf ein spezielles Teilmerkmal des zu lösenden Problems zu spezialisieren
– Es kann sich nur auf die Eingabe des Vorgängerneurons und den vom Nachfolger zurückgelieferten Fehlercode stützen – Es versucht, das Fehlersignal zu minimieren – Explizite Koordination zwischen Neuronen ist nicht vorgesehen – Das Fehlersignal hängt jedoch nicht nur von den Änderungen dieses einen Neurons ab – Es hängt ebenfalls ab von den Adaptionen aller anderen Neuronen – Dadurch verschiebt sich das Anpassungsproblem für dieses Neuron ständig (Moving Target Problem) |
|
|
Was ist der Herdeneffekt?
|
– Anpassungprobleme können entstehen, wenn sich ein Problem aus mehreren Teilproblemen zusammensetzt und die den Teilproblemen zugeordneten Fehlersignale sehr unterschiedlich sind
– Die überwiegende Anzahl von Neuronen wird in Richtung desjenigen Teilproblems spezialisieren, dessen Beitrag zum Fehlersignal maximal ist – Erst wenn dieses gelöst ist, wird der Effekt des nächstwichtigsten Teilproblems deutlich und eine Umorientierung einiger oder temporär auch vieler Neuronen findet statt (Herdeneffekt) |
|
|
Was ist Cascade-Correlation?
|
– Löst das Problem des Herdeneffekts
– Im Extremfall wird immer nur ein Neuron trainiert – Dieses kann in Richtung des Fehlersignals eine maximale Reduzierung vornehmen – Durch sukzessives Hinzufügen von Neuronen in der verdeckten Schicht entstehen kaskadenartige Netzstsrukturen |
|
|
Welche zwei Prinzipien werden bei Cascade-Correlation angewendet?
|
– Schrittweises Hinzufügen von Neuronen in der verdeckten Schicht
– Trainieren der neu hinzugefügten Neuronen unter Beibehaltung der Gewichte für bereits bestehende Verbindungen |
|
|
Was ist der prinzipielle Aufbau eines Netzes mit Cascade-Correlation?
|
– entspricht dem FF-Netz zweiter Ordnung
– Jedes Eingabeneuron ist mit jedem Ausgabeneuron direkt gekoppelt |
|
|
Wie funktioniert das Lernverfahren bei Cascade-Correlation?
|
– Zu Beginn gibt es nur die Neuronen der Eingabe- und Ausgabeschicht
– Anzahl wird durch die Strukturmerkmale des Problems und der zu bildenden Ausgabeklassen bestimmt – Mithilfe einer beliebigen Gradientenabstiegsmethode (z.B. Quickprop) wird versucht, die Gewicht so einzustellen, dass der Gesamtfehler auf der Trainingsmenge minimiert wird – Kann dies im ersten Schritt bereits erreicht werden, konvergiert das Verfahren – Sonst wird ein neues verdecktes Neuron hinzugefügt zur Minimierung des noch vorhandenen Restfehlers – Eingabe des neuen Neurons: Die gewichteten Eingaben von den Eingabeneuronen und die Ausgaben eventuell bereits existierender verdeckter Neuronen – Danach werden die Eingabegewichte des zuletzt hinzugefügten Neurons berechnet und eingefroren – Lediglich die Verbindungen zu den Ausgabeneuronen bleiben variabel, diese werden nach dem Einfügen neu trainiert. – Anschließend wird das Netz sukzessive solange um einzelne Neuronen erweitert, bis es eine akzeptable Reproduktionsleistung auf den Trainingsdaten aufweist. |
|
|
Wie wird ein neues Neuron eingefügt?
|
– Neues Neuron wird mit allen Neuronen der Eingabeschicht und allen bereits hinzugefügten Neuronen der verdeckten Schicht verbunden
– Es wird noch keine Verbindung zu den Ausgabeneuronen hergestellt |
|
|
Welche Eigenschaften hat Counterpropagation?
|
– Geringere Trainingszeit gegenüber Backpropagation
– Modularität: Teilnetze verschiedenen Typs können kombiniert werden – Generalisierungsfähige Look-up-table: Generalisierungen über Trainingsmenge hinaus sind möglich – Kann binäre und reellwertige Ein- und Ausgabemuster verarbeiten |
|
|
Aus welchen Elementen besteht ein Counterpropagation-Netz?
|
– Eingabeschicht
– Kohonenschicht – Grossbergschicht – Gewichsmatrizen |
|
|
Wie funktioniert die Kohonenschicht bei Counterpropagation?
|
• Vorverarbeitung der Eingabe:
– Eingabedaten werden vor Beginn des Trainings normiert – Alle Eingabevektoren haben also die Länge 1 • Initialisierung der Gewichtsmatrix W: – Erfolgt mit zufällig verteilten Werten – Gewichtsvektoren werden zusätzlich normiert • Lernregel: – In der Trainingsphase wird zunächst ein Eingabevektor e an das Netz angelegt – Für jedes Neuron in der Kohonenschicht wird die gewichtete Eingabe berechnet – Durch Maximumbildung wird das Gewinnerneuron in der Kohonenschicht ermittelt – Bei nicht ausreichender Übereinstimmung zwischen Eingabevektor und Gewichtsvektor wird eine Neuberechnung des Gewichtsvektors durchgeführt – Neuberechnung zieht Gewichtsvektor anschaulich in Richtung Eingabe – Lernparameter wird sukzessive verringert |
|
|
Wie funktioniert die Grossbergschicht bei Counterpropagation?
|
• Training durch ein einfaches, überwachtes Lernverfahren
• Gewichtsmatrix V zwischen der Kohonenschicht und der Ausgabeschicht kann auf die gewünschte Ausgabe hin trainiert werden • Der Gewichtsvektor des m-ten Neurons der Grossbergschicht wird also in Richtung auf die gewünschte Ausgabe verschoben |
