Vl07-Psychologische Diagnostik - Harzer

Front 1

Welche Aussage macht der Kennwert der Validität über die Güte eines Tests?

Back 1

Sie gibt das Ausmaß an, in dem ein Test misst, was er messen soll bzw. was er zu messen vorgibt.

Front 2

Wozu dient der Kennwert der Validität eines Tests?

Back 2

• Als Bewertung des Tests
• Sie lässt sich verallgemeinern
• Validität lässt sich extrapolieren und
• kausal erklären
• Sie dient der Entscheidung, ob ein Test für eine Fragestellung angewendet werden soll oder nicht.

Front 3

Welche Hauptformen der Validität werden unterschieden?

Back 3

• Inhaltsvalidität
• Augenscheinvalidität
• Konstruktvalidität
• Kriteriumsvalidität

Front 4

Welche Verfahren und Formen der Konstruktvalidität werden unterschieden?

Back 4

• Konvergente Validität
• Diskriminante/divergente Validität
• Faktorielle Validität (Faktorstruktur)
• Veränderung des Konstruktes über die Zeit
• Veränderung des Konstruktes durch experimentelle Intervention/Manipulation

Front 5

Welche Verfahren und Formen der Kriteriumsvalidität werden unterschieden?

Back 5

• Konkurrente Validität
• Prädiktive/prognostische Validität
• Inkrementelle Validität

Front 6

Nach welchen Kriterien sollte eine geeignete Validierungsmethode ausgewählt werden?

Back 6

Die Validierungsmethode sollte grundsätzlich in Abhängigkeit von der Interpretation und der Verwendung des Testwertes gewählt werden.

ideal wäre es alle Validierungsmethoden zu berücksichtigen, realistisch ist jedoch nur die Berücksichtigung der wichtigsten Interpretationen und Verwendungen.

Front 7

Wie ist die Validität eines Tests allgemeine zu interpretieren?

Back 7

• als empirische Überprüfung theoretischer Annahmen, einzelner Interpretationen und Verwendungen
  
• V.a. ist Validierung ein kontinuierlicher und offener Prozess.

Front 8

Welche Validierungsmethode bietet sich an, wenn der Schwerpunkt auf einem Repräsentationsschluss liegen soll?

Zeige ein Beispiel auf!

Back 8

Inhaltsvalidität - Beispiel:

• Test zur Erfüllung des schulischen Lehrplans
  
• Wichtig: Testergebnis kann auf eine Fülle möglicher Aufgaben verallgemeinert werden, die das Lehrziel repräsentieren
  
• Validierung mittels Expertenrating: Güte der Abdeckung und Repräsentation, der im Lehrplan definierten Fähigkeiten durch Iteminhalte.

Front 9

Welche Validierungsmethode bietet sich an, wenn der Schwerpunkt auf einer theoriebasierten Testwertinterpretation liegen soll?

Zeige ein Beispiel auf!

Back 9

Konstruktvalidität - Beispiel:

• Erfassung der theoretisch definierten Konstrukte Neurotizismus und Angst
  
• Wichtig: Testergebnisse sind tatsächlich auf das Konstrukt zurückzuführen
  
• Validierung: Vorhersage experimenteller Effekte und korrelativer Zusammenhänge mit anderen theoretisch relevanten Variablen

Front 10

Welche Validierungsmethode bietet sich an, wenn der Schwerpunkt diagnostischen Entscheidungen liegen soll?

Zeige ein Beispiel auf!

Back 10

Kriteriumsvalidität - Beispiel:

• Test für die Auswahl von BewerberInnen für einen Studiengang
  
• Wichtig: vom Testergebnis kann auf praktische externe Kriterien, wie Studiendauer und Abschlussnote geschlossen werden
  
• Validierung: Empirischer Nachweis, dass Zusammenhang zwischen Testergebnis und Kriterien besteht.

Front 11

Welche Kriterien eignen sich für die Kriteriumsvalidierung?

Back 11

• die Auswahl der Kriterien ist theoretisch unbegrenzt - aber sie ist nicht beliebig. Nicht selbsterklärende Kriterien müssen begründet werden
  
• Konstrukte können KEINE Kriterien sein (Intelligenz, Ängstlichkeit, Extraversion)

Front 12

Wozu dient die Multi-Trait-Multi-Method-Analyse (MTMM-Analyse)?

Welche Voraussetzungen müssen erfüllt sein?

Back 12

Die MTMM-Analyse dient der Konstruktvalidierung: Dem Nachweis, dass ein Test das angestrebte Konstrukt erfasst und kein anderes.

Voraussetzung: Konstrukte müssen in einem nomologischen Netzwerk verankert sein.

Front 13

Was beinhaltet das nomologische Netzwerk eines Konstruktes?

Welcher dieser Inhalte MUSS für eine MTMM-Analyse gegeben sein?

Back 13

Aussagen oder Gesetze die die Beziehung zwischen

• beobachtbaren Merkmalen
• theoretischen Konstrukten und beobachtbarem
• verschiedenen theoretischen Konstrukten beschreiben.

!Für eine MTMM-Analyse/Konstruktvalidierung muss das nomologische Netzwerk Aussagen über den Zusammenhang zwischen beobachtbaren Merkmalen enthalten. (Aufgrund der Befunde kann das nomologische Netzwerk infrage gestellt werden)

Front 14

DIe MTMM-Analyse bedient sich der konvergenten und der diskriminanten Validität.

Erkläre beide Begriffe und ihre theoretische Anwendung für die MTMM-Analyse!

Back 14

Konvergente Validität= Zusammenhang des interessierenden Konstruktes mit Indikatoren, die das gleiche Konstrukt erfassen.

Diskriminante Validität= Zusammenhang des interessierenden Konstruktes mit Indikatoren, die andere Konstrukte erfassen.

Theoretische Anwendung: Es müssen mehrere Konstrukte vorhanden sein, die eine bestimmte Relation zueinander aufweisen. Für die Validierung ist eine hohe konvergente und eine niedrige diskriminante Validität wünschenswert. (Andernfalls müssen weitere Belege für die Validität gesammelt werden.)

Front 15

Welche Ziele verfolgt die MTMM-Analyse?

Back 15

1. Durch die Messung verschiedener Eigenschaften wird der Zusammenhang zwischen ihnen überprüft (Multitrait)
   
2. Durch die Verwendung verschiedener Messmethoden für diese Eigenschaften sollen Methodeneffekte und systematische Messfehler aufgezeigt und für die Validierung eliminiert werden. (Multimethod)

[=> Korrelationen gleicher Methoden fallen meist höher aus, als bei einer Variation der Methoden (vgl. Soziale Erwünschtheit bei Selbst- und Fremdratings)]

Front 16

Was sind Methodeneffekte?

Back 16

Systematische Varianzquellen, die sich über das gemessene Merkmal hinaus auf die Validität der Messung auswirken.

Front 17

Welchen Quellen für Methodenvarianz können in eine Analyse für die Konstruktvalidität einbezogen werden?

Back 17

• Methode: z.B. Sprachgebundener vs. sprachfreier Test (Multitrait-Multimethod-Analyse)
• Beurteiler: Selbst- vs. Fremdeinschätzungen (Multitrait-Multiinformant-Analyse)
• Situationen/Kontext: Messungen zu verschiedenen Zeitpunkten (Multitrait-Multioccasion-Analyse)

Front 18

Wann wird in der MTMM-Analyse von validen Messungen ausgegangen?

Was passiert bei der MTMM-Analyse, wenn starke Methodeneffekte auftreten?

Back 18

Bei der MTMM spricht man von validen Messungen, wenn

• über verschiedene Methoden hinweg eine hohe Merkmalskonvergenz vorliegt (vgl. konvergente Validität)
• bei der Messung unterschiedlicher Merkmale hohe Diskrimination innerhalb einer Methode, aber auch über verschiedene Methoden hinweg vorlieg (vgl. diskriminante Validität)

Methodeneffekte führen zu einer Überschätzung der Korrelation zwischen verschiedenen Traits/der Merkmalskonvergenz.

Front 19

Wie ist eine MTMM-Matrix zu lesen?

Back 19

• als Korrelationsmatrix mit Korrelationskoeffizienten Die Hauptdiagonale enthält die Reliabilitäten der einzelnen Methoden
  
• Die Blöcke unterhalb der Diagonalen zeigen die Korrelationen zwischen verschiedenen Methoden auf.
  
• Außerhalb der Blockdiagonalen lassen sich die Korrelationen zwischen einzelnen Traits ablesen (sowohl Mono- als auch Heteromethod).

Front 20

Für die konvergente Validität ist die Validitätsdiagonale der unteren Blöcke in der MTMM-Matrix zu interpretieren. Welche Ergebnisse sind zu erwarten?

Back 20

• konvergent= gleiches Merkmal mit verschiedenen Methoden gemessen
• Die Koeffizienten sollten signifikant von 0 verschieden sein.
• Sollte dies nicht der Fall sein, besteht die Annahme, dass die unterschiedlichen Methoden auch verschiedene Konstrukte messen.

Front 21

Für die diskriminante Validität sind die Heterotrait-Monomethod- und die Heterotrait-Hetero-Method-Koeffizienten bedeutsam. Welche Kriterien müssen für die diskriminante Validität erfüllt sein?

Back 21

1. Die Koeffizienten sollten kleiner sein, als die konvergenten Validitäts-Koeffizienten
   
2. Muster der Korrelationskoeffizienten sollten innerhalb einer Methode UND auch zwischen den Methoden etwa gleich sein.

Front 22

Durch welchen Faktor wird die Validität der Methode limitiert?

Back 22

Durch ihre Reliabilität

=> Pauschale Beurteilung von Validitätskoeffizienten z.B. durch Faustregeln ist nicht möglich.