Reading...
Play button
Play button
Use LEFT and RIGHT arrow keys to navigate between flashcards;
Use UP and DOWN arrow keys to flip the card;
H to show hint;
A reads text to speech;
73 Cards in this Set
- Front
- Back
|
Was sind Nervenzellen?
|
– auch: Ganglien, Neuronen
– wesentliche Bestandteile des Nervensystems – Menschliches Gehirn besteht aus schätzungsweise 25 * 10^9 Neuronen |
|
|
Wie ist eine Nervenzelle aufgebaut?
|
Zellaufbau entspricht dem anderer Zellen:
∗ Zellmembran ∗ Zellflüssigkeit (Cytoplasma) ∗ Zellkern ∗ Zellfortsätze |
|
|
Aus welchen Bestandteilen besteht ein Neuron?
|
- Soma
- Axom - Dendriten - Synapsen |
|
|
Was ist der Soma?
|
Zellkörper eines Neurons mit dem Zellkern
|
|
|
Was ist das Axom?
|
Dient der Reizweiterleitung innerhalb des Nervensystems von einem Neuron zum nächsten
Kann auch Reize zu anderen Körperzellen weiterleiten Die meisten Nervenzellen besitzen nur ein Axon |
|
|
Was sind Kollaterale?
|
Seitliche Verzweigungen eines Axons
|
|
|
Was sind Dendriten?
|
- Dienen der Reizaufnahme
- Manche Neuronen verfügen über hochkomplexe Dendritenbäume, andere hingegen sind nur mit wenigen ausgestattet - sind i.a. stark verzweigt und meist nur relativ kurz |
|
|
Was sind Synapsen?
|
Kontaktstellen zwischen Nervenzellen oder zwischen Nervenzellen und anderen Zellen
|
|
|
Welche Kontaktmöglichkeiten zu anderen Zellen gibt es?
|
– axo-somatisch
– axo-dendritisch – axo-axonisch – neuromuskoläre Endplatte: Axon wird auf eine Muskelfaser geschaltet |
|
|
Was sind Rezeptoren?
|
– Spezielle Nervenzellen, welche die internen und externen Reize aufnehmen
– reagieren auf definierte Änderungen innerhalb oder außerhalb des Organismus – Teilen ihre Antwort an die weiterverarbeitenden Instanzen des Nervensystems weiter |
|
|
Was ist ein adäquater Reiz?
|
- Der Reiz, auf den ein Rezeptor reagiert
- Jede Klasse von Rezeptoren reagiert nur auf eine klar festgelegte Art von Reizen: - Sensitivität besteht meistens nur innerhalb eines bestimmten Wertebereichs - Zum Reagieren auf eine andere Reizklasse ist meistens ein Vielfaches der üblichen Energie notwendig (inadäquater Reiz) |
|
|
Wie wird ein natürliches Neuron nachgebildet?
|
- als Prozessorelement, das eine Neutronenfunktion realisiert, die n Eingaben auf eine Ausgabe abbildet
- Zuleitungen der Eingabe entsprechen den Dendriten des natürlichen Neutrons - Prozessorelement = Zellkörper - Outputableitung = Axom - Inputs werden mit einem Gewicht versehen - Dies modelliert die Wirkung der Synapsen bzw. deren Verbindungsstärke |
|
|
Wie werden natürliche Neuronnetze nachgebildet?
|
- Zusammenschaltung mehrerer Neuronen, indem die Outputs der einen Neuronen als Inputs weiterer Neuronen verwendet werden
- Eingabeschicht, Ausgabeschicht und unsichtbare, von außen nicht beeinflussbare Schicht |
|
|
Aus welchen Grundelementen bestehen neuronale Netze?
|
- Neuron
- Netzwerkgraph - Lernregel |
|
|
Aus welchen Bestandteilen besteht ein Neuron?
|
- Input- oder Propagierungsfunktion
- Aktivierungsfunktion - Aktivierungszustand - Ausgabefunktion |
|
|
Was ist die Input- oder Propagierungsfunktion?
|
∗ beschreibt das Verhalten eines Neurons im Hinblick auf seine integrative Wirkung
∗ Dazu werden alle Eingaben zu einem Nettoinput zusammengefasst ∗ In der Regel werden die Eingaben der vorgeschalteten Neuronen entsprechend den Gewichtungen der Eingangsdaten aufsummiert |
|
|
Was ist die Aktivierungsfunktion?
|
Bestimmt, wie sich der Aktivierungszustand zum Zeitpunkt t + 1 berechnet aus:
- Aktivierungszustand im Zeitpunkt t und - dem in diesem Zeitpunkt anliegenden Nettoinput |
|
|
Was ist der Aktivierungszustand?
|
- spiegelt den aktuellen Erregungszustand eines Neurons wider
- Wird bestimmt durch den Wert der Aktivierungsfunktion an einem Neuron |
|
|
Was ist die Ausgabefunktion?
|
legt den tatsächlichen Ausgabewert eines Neurons in Abhängigkeit vom aktuellen Aktivierungszustand fest
|
|
|
Was ist der Netzwerkgraph?
|
– Neuronales Netz kann als gerichteter Graph aufgefasst werden
– Kanten stellen gewichtete Verbindungen zwischen einzelnen Neuronen dar – Wird bestimmt durch die Matrix der Verbindungsstärken zwischen i-tem und j-tm Neutron – Beschreibt die Topologie des Netzes – Knoten werden typischerweise in Schichten angeordnet – Schichten sind charakterisiert durch bestimmte Restriktionen hinsichtlich der Verbindung zwischen Knoten jeder Schicht – Eingabeschicht: Knoten, an die von außen Eingaben übermittelt werden – Ausgabeschicht: Knoten, die Ergebnisse nach außen abgeben – Innere oder verdeckte Schichten: alle anderen |
|
|
Was ist die Lernregel?
|
Beschreibt wie bestimmte Netzparameter verändert werden müssen, damit das Netz eine bestimmte Leistung hervorbringt
|
|
|
Welche Aufgabe hat die Inputfunktion bzw. Propagierungsfunktion?
|
- Gibt an, wie sich der Nettoinput des Neurons i aus den Eingaben e errechnet
- Eingaben werden mit einem entsprechenden Gewicht multipliziert |
|
|
Welche Propagierungsfunktionen werden für die Beschreibung neuronaler Netze verwendet?
|
∗ Summation gewichteter Eingaben
∗ Maximalwert der gewichteten Eingaben ∗ Produkt der gewichteten Eingaben ∗ Minimalwert der gewichteten Eingaben |
|
|
Was sind Sigma-Units?
|
Neuronen mit einer Inputfunktion, die die Summe bildet
|
|
|
Was sind Pi-Units?
|
Neuronen mit einer Inputfunktion, die das Produkt bildet
|
|
|
Was ist die Aufgabe des Aktivierungszustandes?
|
Beschreibt den inneren Zustand oder Erregung zum Zeitpunkt t
|
|
|
Was ist die Aufgabe der Aktivierungsfunktion?
|
gibt an, wie sich aus dem vorherigen Zustand und dem aktuellen Input der Zustand des Neurons zum Zeitpunkt t + 1 berechnet
|
|
|
Welche Klassen von Aktivierungsfunktionen sind praktisch relevant?
|
– lineare Aktivierungsfunktionen,
– Schwellwertfunktionen, – sigmoide Funktionen - Wahl der Aktivierungsfunktion hängt vom konkreten Anwendungsproblem ab und bestimmt wesentlich den Netztyp |
|
|
Was ist die lineare Aktivierungsfunktion?
|
– einfachster Fall
– Leicht berechen- und implementierbar – Einsatz nur bei Netzen ohne verdeckte Schichten – Einsatz nur, wenn Korrelation zwischen Ein- und Ausgabedaten linear approximiert werden kann – Lineare Outputfunktion: o_i = c_i * net_c - Auch abschnittsweise lineare Funktionen sind möglich – Netz mit mehr Schichten als zwei kann auf ein zweilagiges Netz reduziert werden |
|
|
Wie lassen sich mehrschichtige Netze auf zwei Schichten reduzieren zur Anwendung einer linearen Aktivierungsfunktion?
|
- Durch mehrfache Anwendung einer Gleichung
- Sie drückt den Zusammenhang zwischen n-1ter und n+1-ter Schicht unter Verwendung einer modifizierten Gewichtsmatrix aus - W1 * C * w2 - W1: Matrix, welche die Gewichte zwischen n-ter und n+1ter Schicht darstellt - C: Linearfaktoren aus n-ter Schicht als Diagonalmatrix - W2: Matrix, welche die Gewichte zwischen n-ter und n-1ter Schicht darstellt |
|
|
Was ist die Schwellwertfunktion?
|
– Einfache Variante der Berechnung des Aktivierungszustandes eines Neurons
– Verwendung vorwiegend in klassischen Netztypen (z.B. Perzeptron) – Besonders effiziente Auswertung und leichte Implementierung – Schwellwertfunktion ist nicht differenzierbar, was bei neuen Netztyen jedoch häufig gefordert wird |
|
|
Was sind sigmoide Aktivierungsfunktionen?
|
– Funktionen, deren grafische Darstellung einen S-förmigen Verlauf zeigen
– Spielen große Rolle bei der Modellierung nicht-linearer Beziehungen zwischen Ein- und Ausgabe |
|
|
Welche wesentlichen Anforderungen erfüllen sigmoide Funktionen?
|
∗ Stetigkeit,
∗ Differenzierbarkeit ∗ Monotonie |
|
|
Was sind Beispiele für sigmoide Funktionen?
|
- Fermi-Funktion
- Tangens hyperbolicus |
|
|
Was tut die Ausgabefunktion?
|
– Bildet den aktuellen Zustand des Neurons auf einen gewünschten Wertebereich ab
– Wird oft als Bestandteil der Aktivierungsfunktion verstanden – Bei hybriden Netzen mit verschiedenen Ausgabefunktionen muss jedoch eine explizite Ausgabefunktion verwendet werden |
|
|
Was bedeutet Zerlegung in Schichten?
|
– Oft lassen sich neuronale Netze in viele Partitionen zerlegen
– Partitionen überschneiden sich nicht – Vereingung der Partitionen ergeben das gesamte neuronale Netz N – Neuronen einer Partition (Schicht) besitzen eine in paralleler Arbeit realisierte, gemeinsame Funktion im Gesamtverband der Neuronen |
|
|
Welche wichtigen Netztopologien gibt es?
|
– Feedforward-Netze (FF-Netze) 1. und 2. Ordnung
– Feedback-Netze (FB-Netze): ∗ indirektes Feedback, ∗ Lateralverbindung oder ∗ vollständige Vermaschung |
|
|
Was sind FF-Netze?
|
- Feed-Forward-Netz
- Schichten des Netzes können geordnet werden - gerichteter Graph - Graph muss zyklenfrei sein |
|
|
Was sind FF-Netze 1. Ordnung?
|
∗ Es gibt nur gerichtete Verbindungen von Neuronen niedriger Schichten zu Neuronen der nächst höheren Schicht
∗ Netz heißt schichtweise verbunden |
|
|
Was sind FF-Netze 2. Ordnung?
|
∗ Es kann auch gerichtete Verbindung von einer niedrigen zu einer höhereren als der nächsthöheren Schicht geben
∗ Diese werden als shortcut connections bezeichnet |
|
|
Was sind FB-Netze?
|
- Feedback-Netze
- rückgekoppelte Netze - Gerichtete Verbindungen von oben nach unten und auf der gleichen Schicht möglich - Nützlich bei Problemen mit komplexer zeitlicher Dynamik |
|
|
Was sind FB-Netze mit direkter Rückkopplung?
|
∗ ein Neuron erhält seine Ausgabe direkt wieder als Eingabe
∗ lässt diese in die Berechnung seines neuen Aktivierungszustandes einfließen&//fce-study.netdna-ssl.com/2/images/upload-flashcards/33/47/75/5334775_m.jpg |
|
|
Was sind FB-Netze mit indirekter Rückkopplung?
|
∗ Verbindungen von oben nach unten und von unten nach oben sind gleichzeitig möglich
∗ Werden häufig verwendet, um Bereiche der Eingabe als besonders relevant hervorzuheben |
|
|
Was sind FB-Netze mit Lateralverbindung?
|
∗ Kanten zwischen Neuronen der gleichen Schicht
∗ Wird benutzt, wenn die Aktivität eines Neurons hervorgehoben und gleichzeitig der Einfluss benachbarter Neuronen gedämpft werden soll |
|
|
Was sind vollständig vermaschte FB-Netze?
|
∗ Alle Neuronen sind miteinander über gerichtete Verbindungen verbunden
∗ Wird häufig bei Hopfield-Netzen verwendet |
|
|
Was ist eine der zentralsten Eigenschaften eines neuronalen Netzes?
|
die Lernfähigkeit
|
|
|
Was ist der einfachste Fall von Lernfähigkeit?
|
ein Netz kann früher vorgegebene Paare von Ein- und Ausgabedaten reproduzieren
|
|
|
Was ist generalisiertes Lernen?
|
∗ Zuerst muss eine geeignete, netzinterne Repräsentation der Eingabedaten ausgebildet werden
∗ Lernregel legt fest, nach welcher Strategie das Netz zu verändern ist, um diese interne Repräsentation zu erzielen |
|
|
Wie kann ein generalisiertes Lernverfahren realisiert werden?
|
– Aufbauen und Löschen von Verbindungen
– Hinzufügen und Löschen von Verbindungen – Modifizieren der Gewichte von Verbindungen – Modifikation von Parametern innerhalb des Neurons |
|
|
Was besagt die Hebbsche Lernregel?
|
– Assoizatives Lernen in biologischen Systemen beruht auf dem Verändern der Verbindungen zwischen Nervenzellen
– Wenn zwei Neuronen zur gleichen Zeit aktiv sind und eine Verbindung zwischen beiden Neuronen existiert, so ist das Gewicht dieser Verbindung in definierter Weise zu verstärken - delta(w_ij) ist die Veränderung des Gewicht von Neuron n_i zu Neuron n_j - ai: Aktivierung von Neuron ni - oj: Ausgabe von Neuron nj - η: eine geeignet zu wählende Lernrate |
|
|
Was ist die Lernrate bei der Hebbschen Regel?
|
– Lernrate legt fest, wie groß die Veränderung eines Verbindungsgewichtes innerhalb eines Lernschritts sein soll
– Kritischer Parameter, der sorgfältig gewählt werden sollte |
|
|
Was ist die Deltaregel?
|
– Geeignet für einstufige FF-Netze
– Solange eine Abweichung zwischen der Zielausgabe und Sollausgabe eines Delta-Regel-Netzes festgestellt wird, verändert man die internen Gewichte der Verbindung zwischen Ein- und Ausgabeschicht nach der Formel – Ziel: Verschiebung der Ist-Ausgabe des Netzes durch iterative Anwendung der Delta-Regel in Richtung der gewünschten Soll-Ausgabe – Wenn Differenz gegen 0 geht, liegen Soll- und Ist-Ausgabe nahe beinander und damit fällt die Änderung entsprechend gering aus&//fce-study.netdna-ssl.com/2/images/upload-flashcards/33/47/96/5334796_m.jpg |
|
|
Was ist der Nachteil der Deltaregel?
|
Nur für einschichtige Neuronale Netze einsetzbar, da man den Parameter delta_i für mehrschichtige FF-Netze höherer Ordnung nicht unmittelbar bestimmen kann
|
|
|
Was ist die erweiterte Deltaregel?
|
– Einsetzbar für mehrschichtige FF-Netze höherer Ordnung
– Der Index k läuft dabei über alle Nachfolgerneuronen des Neurons n_i, d.h. über alle Neuronen, die näher zur Outputschicht liegen. – Die Funktion s'_F ist die erste Ableitung der in dem Neuron als Aktivierungsfunktion verwendeten Fermifunktion.&//fce-study.netdna-ssl.com/2/images/upload-flashcards/33/48/02/5334802_m.jpg |
|
|
Welche Arbeitsphasen Neuronaler Netze unterscheidet man?
|
- Lernphase oder Trainingsphase
- Ausführungsphase |
|
|
Was geschieht in der Lernphase?
|
in Abhängigkeit vom Verhalten des Netzes werden zielgerichtet Parameterveränderungen vorgenommen
|
|
|
Was geschieht in der Ausführungsphase?
|
das Netz erbringt die eingelernten Leistungen (Klassifizieren, Assoziieren usw.)
|
|
|
Welche Arten des Lernens gibt es?
|
- überwachtes Lernen
- nicht überwachtes Lernen |
|
|
Was ist überwachtes Lernen?
|
∗ Vektoren von Eingabewerten und die gewünschten Ausgabedaten werden vorgegeben
∗ Durch Veränderung der Gewichte wird versucht, die gewünschte Input-Output-Relation zu erreichen |
|
|
Was ist nicht überwachtes Lernen?
|
∗ System erhält nur Eingabedaten
∗ System muss sich gewissermaßen selbst einstellen (Autoadaption) ∗ Bei sich ähnelnden Eingaben werden immer ähnliche Erregungsmuster der Neuronen ausgebildet ∗ Die in den Daten enthaltenen Ähnlichkeitsklassen werden erst im Laufe des Lernens entdeckt |
|
|
Was bedeutet Partitionierung des Datenraums?
|
– Man kann sich Ein- und Ausgabe und Aktivierungen eines neuronalen Netzes als Punkte in mehrdimensionalen Datenraum vorstellen
– Ein entsprechend trainiertes Netz definiert dann die Partitionierung eines Datenraums in Teilräume – Den einzelnen Partitionen des Datenraums entsprechen Klassen von Eingaben – jeder Klasse entspricht bei geeignetem Training des Netzes wiederum ein bestimmter Ausgabevektor – Bei komplexen Problemen sind Klassengrenzen üblicherweise nichtlinear – Netz fungiert als Klassifikator, der Eingabevektoren den entsprechenden Klassen zuordnet – Um das für eine bestimmte Anwendung adäquate Klassifikationsverhalten zu erzielen, müssen vom Netz möglicherweise sehr kompliziert geformte Entscheidungsflächen im Datenraum ausgebildet werden, die die Klassen separieren. |
|
|
Was ist das Perzeptron?
|
– Eine ganze Klasse von Verfahren
– Wurde zur Modellierung der Verarbeitung optischer Signale entwickelt |
|
|
Aus welchen Schichten besteht das Perzeptron?
|
∗ Retina,
∗ Assoziationsschicht, ∗ Ausgabeschicht |
|
|
Wie funktionieren die Schichten des Perzeptrons?
|
– Die binären Ausgaben der Retinaneuronen werden über konstant gewichtete Verbindungen in die Assoziationsschicht geleitet.
– Üblicherweise sind nicht alle Neuronen der Retinaschicht mit allen Neuronen der Assoziationsschicht verbunden. – In Lernphase können die variablen Verbindungen von der Assoziationsschicht zur Ausgabeschicht adjustiert werden – Aus der Sicht des Lernverfahrens entspricht das Perzeptron daher einem einstufigen Netz, bei dem nur eine Gewichtsmatrix veränderbar ist. – Diese repräsentiert die Verbindungsstärke zwischen den Neuronen der Ausgabeschicht und denen der Assoziations- bzw. Eingabeschicht. |
|
|
Was ist ein rezeptives Feld?
|
– Mit der Festlegung der Verbindungen von der Retina zur Assoziationsschicht wird dem Netzdesigner die Möglichkeit gegeben, die Eingabedaten zu strukturieren
– Wichtige Merkmale können so zusammengefasst werden. – Rezeptives Feld: die Menge aller Retinaneuronen, die mit einem Neuron der Assoziationsschicht verbunden sind |
|
|
Wie läuft die Trainingsphase des Perzeptrons ab?
|
– Dem Perzeptum werden Beispiele präsentiert, die zu lernen sind.
– Jedes Trainingsbeispiel besteht aus einem Paar (e,o). – e: bestimmtes Muster, repräsentiert durch Eingabevektor e. – o: die dazugehörige Klasse (Typ des Musters), die durch einen entsprechenden Ausgabevektor repräsentiert wird – Die Aufgabe in der Lernphase besteht darin, die internen Parameter des Perzeptrons so zu modifizieren, daß es bei der Eingabe eines Vektors die zugehörige Klasse generiert. – Die Menge aller Paare jeweils einander zugeordneter Input-/Outputvektoren des Lernproblems. – Trainingsmenge ist gelernt, wenn Netz alle Paare korrekt assoziieren kann – Erwartung: Das modifizierte Netz kann durch das Lernverfahren einen Eingabevektor e', der im Sinne der Anwendung ähnlich dem Vektor e ist, ebenfalls mit der Klasse o assoziieren - Dann kann das Netz generalisieren |
|
|
Welche Schicht lässt sich beim Perzeptron einsparen?
|
– Wegen der festen “Verdrahtung” von Retina und Assoziationsschicht lassen sich im mathematischen Modell die Neuronen der letzteren Schicht einsparen
– Man braucht dann nur die gewichteten Eingabene zu den Neuronen der Ausgabeschicht zu betrachten |
|
|
Wie sieht die Ausgabefunktions es Perzeptrons aus?
|
Es gibt eine explizite Ausgabefunktion.
|
|
|
Wie sieht die Aktivierungsfunktion eines Perzeptrons aus?
|
Eine einfach Schwellwertfunktion
|
|
|
Wie funktioniert das Lernverfahren eines Perzeptrons?
|
– Alle Eingabevektoren e der Trainingsmenge werden an das Netz angelegt und die entsprechenden Outputvektoren beobachtet.
– Solange der Output eines bestimmten Neurons von dem erwarteten Wert abweicht, werden die Gewichte der zu diesem Neuron gehörenden Verbindungen modifiziert. - Wenn die tatsächliche und die erwartete Ausgabe übereinstimmen, werden keine Korrekturen an den Gewichten mehr vorgenommen - in allen anderen Fällen wird eine Korrektur der Gewichte in Richtung der gewünschten Ausgabe um einen definierten Anteil vorgenommen. |
|
|
Wie sieht die Lernregel des Prezeptrons aus?
|
Lernregel
|
|
|
Was besagt das Konvergenztheorem für Perzeptrons?
|
- Perzeptron konvergiert für alle Lernprobleme, die prinzipiell mit dem Perzeptron lösbar sind
- Klasse der tatsächlich mit dem Perzeptron lösbaren Probleme ist stark eingeschränkt |
|
|
Welche Klassen lassen sich mit einem aus einer Schicht bestehenden Perzeptron bilden?
|
nur linear separierbare Klassen
|
