Vl06-Psychologische Diagnostik - Harzer

Front 1

Bei der Erstellung einer vorläufigen Testversion muss besonders auf die Reihenfolge der ausgewählten Items geachtet werden.

Welche Reihenfolge wird dabei üblicherweise für Leistungstests gewählt und warum?

Back 1

Im Leistungsbereich werden die Items üblicherweise in aufsteigender Schwierigkeit dargeboten

Die leichteren Items erfüllen dabei eine Eisbrecherfunktion.

Front 2

Bei der Erstellung einer vorläufigen Testversion muss besonders auf die Reihenfolge der ausgewählten Items geachtet werden.

Welche Effekte sollten hierbei möglichst vermieden werden?

Back 2

Aktualisierungseffekte

Konsistenzeffekte

Front 3

Was versteht man unter Aktualisierungseffekten?

Back 3

Wenn bearbeitete Items Kognitionen aktivieren, die die Bearbeitung der folgenden Items beeinflussen.

Front 4

Wann treten bei der Itembeantwortung sogenannte Konsistenzeffekte auf?

Back 4

Wenn Probanden stimmige Antworten auf Items geben, von denen sie vermuten, dass sie das gleiche Merkmal erfassen.

Front 5

Welche Maßnahmen lassen sich gegen das Auftreten von Konsistenzeffekten treffen?

Back 5

• Pufferaufgaben
• Randomisierung
• Ausbalancierung der Reihenfolge
• Unverfängliche Testbezeichnung
• Offene Mitteilung des Erhebungsziels

Front 6

Welche Informationen sollten die Instruktionen einer vorläufigen Testversion enthalten?

Back 6

• Eine Testanweisung
• Anregung zur Mitarbeit, klare Handlungsanweisungen
• Erläuterung des Antwortformats, Beispielitem und -antwort
  
• die üblichen Hinweise (spontan, wahrheitsgetreues Antworten, Vollständigkeit prüfen, Anonymität, Datenschutz, Kontaktperson)
  
• Randbedingungen der Testung klarstellen

Front 7

Welche Randbedingung der Testung sollten in der Instruktion klargestellt werden?

Back 7

• Arbeitstempo
• Arbeitsweise
• Vertraulichkeit
• Verhalten bei Nichtwissen
• Gebrauch von Hilfsmitteln
• Gebrauch der Testunterlagen.

Front 8

Wie ist bei der Erstellung einer vorläufigen Testversion mit den demographischen Daten der Probanden zu verfahren?

Back 8

• sie werden am Anfang oder am Ende des Tests erfragt
• Es gilt sich auf die notwendigen Informationen zu beschränken (Anonymität wahren)
• Nur die demographischen Daten erfragen, die für die Fragestellung relevant sind.

Front 9

Welche Kriterien sollten beim Layout des vorläufigen Tests berücksichtigt werden?

Back 9

• möglichst einfach und übersichtlich
• sprachlich und optisch die Zielgruppe ansprechen
• das Layout soll zur Mitarbeit motivieren und die Bearbeitung erleichtern.

Front 10

Welche Ziele werden mit der Erprobung einer vorläufigen Testversion verfolgt?

Back 10

• Identifikation von Items, die nicht den Konstruktionsprinzipien entsprechen
• Technische Probleme aufdecken
• Nachbesserung an gefundenen Problemstellen

Front 11

Es gibt mehrere Erprobungsformen für eine vorläufige Testversion. Nenne sie!

Back 11

• Retrospektive Befragung
• Debriefing
• Verhaltenskodierung
• Kognitives Vortesten

Front 12

Erprobungsformen der vorläufigen Testversion: Wie wird bei der retrospektiven Befragung vorgegangen?

Welche Vor- und Nachteile hat die Methode?

Back 12

Vorgehen: Die Probanden werden nach der Bearbeitung des Tests zu problematischen Items befragt.

(+): einfachste und zeitlich effektivste Erprobungsmethode

(-): es können nicht alle Probleme aufgedeckt werden, da starke Abhängigkeit von den Erinnerungen und Gedankenabläufen des Pb.

Front 13

Erprobungsformen der vorläufigen Testversion: Wie wird beim Debriefing vorgegangen?

Welche Nachteile hat die Methode?

Back 13

Vorgehen: Durchführung von Pb-Interviews im Anschluss an die Testbearbeitung. Erörterung der vom TL beobachteten Probleme.

(-): Häufig keine Nutzung standardierter Instrumente zur Beurteilung der Testqualität; Probleme werden vom TL definiert.

Front 14

Erprobungsformen der vorläufigen Testversion: Wie wird bei der Verhaltenskodierung vorgegangen?

Back 14

Testsituation wird von einer dritten Person beobachtet oder aufgezeichnet:

• wann haben sich TL und/oder Pb nicht instruktionsgemäß oder erwartungsgemäß verhalten?
  
• z.B. Probleme beim Vorlesen von Textteilen, Nachfragen aufgrund von Verständnisproblemen.

Front 15

Erprobungsformen der vorläufigen Testversion: Wie wird beim Kognitiven Vortesten vorgegangen?

Back 15

Es werden die Gedanken ermittelt, die den Pb bei der Testbearbeitung durch den Kopf gehen.

• Art und Weise, wie das Item verstanden wird
• Bearbeitungsstrategien
• Verständnis- und Interpretationsschwierigkeiten
• Probleme bei der Anwendung von Itemformaten

Front 16

Welche Methoden werden beim Kognitiven Vortesten angewandt?

Wie wird die Datenerfassung dabei realisiert?

Back 16

Methoden:

• think aloud - Pb verbalisiert seine kompletten Gedanken
• Probing (Nachfragetechnik): Pb wird nach der Bearbeitung des Items befragt.

Die Datenerfassung erfolgt meist über Videoaufzeichnungen.

Front 17

Welchen Zweck hat die Itemanalyse?

Back 17

• Deskriptivstatistische Evaluation von Items
• Itemselektion und Testrevision
• Testwertermittlung

Front 18

Welche Aspekte beinhaltet die Itemanalyse nach der KTT?

Back 18

1. Itemschwierigkeit
2. (Itemvarianz/-streuung)
3. Trennschärfe

Front 19

Wie groß sollte bei der Itemanalyse zu einer vorläufigen Testversion die (möglichst repräsentative) Stichprobe sein?

Back 19

• 5-10 Versuchspersonen pro Item, aber mindestens 100 VP pro Test
• Wichtig: Die Kennwerte der Items sind stichprobenabhängig
• Zudem befinden sich in der Analyse meist mehr Items, als für die nächste Testversion benötigt werden.

Front 20

Nenne die Grundannahmen der KTT!

Back 20

1. Testwerte bestehen grundsätzlich aus einem wahren Wert und einem Messfehler. Die KTT ist folglich eine Reliabilitätstheorie
   
2. Der Messfehler variiert von Messung zu Messung - er ist nicht systematisch. Die Messgenauigkeit kann anhand von Formeln geschätzt werden. Für den wahren Wert lassen sich Konfidenzintervalle festlegen.

Front 21

Nenne die Axiome der KTT!

Back 21

1. Der Erwartungswert des Messfehlers ist 0. Messfehler sind unsystematisch und entstehen durch Fehler im Testungsprozess.
   
2. Die Messfehler sind unabhängig vom wahren Wert. Folglich misst der Test niedrige und hohe Fähigkeiten gleich genau.
   
3. Die Messfehler zweier Tests A und B sind unkorreliert. Ein gefundener Zusammenhang zwischen den Testwerten ist also nicht auf systematische Fehler o.ä. zurückzuführen, sondern nur auf den Wahren Wert.
   
4. Die Messfehler in einem Test A sind unabhängig von den Wahren Werte in Test B.

Front 22

Itemanalysen: Was gibt die Itemschwierigkeit an und was ist bei dieser Information zu beachten?

Back 22

• Gibt den Anteil der Personen an, die ein Item richtig gelöst haben.
  
• Dieser Anteil ist stichprobenabhängig.
  
• Da Merkmalsdifferenzen erfasst werden sollen, sollten die Items eine mittlere Schwierigkeit aufweisen.

Front 23

Wie errechnet sich der Itemsschwierigkeitsindex?

Was drückt er aus?

Back 23

je höher desto leichter das Item. (liegt min (xi) bei 0 entfällt der Term)

Front 24

Wie sieht die Berechnung des Itemsschwierigkeitsindex bei einem Niveautest aus, wenn eine Ratekorrektur vorgenommen wird?

Back 24

nR= richtige Antw.

nF= falsche Antw.

k= Anzahl der Antwortalternativen

Front 25

Welche Aussage macht die Itemvarianz und wovon hängt sie essenziell ab?

Back 25

Die Itemvarianz gibt an, wie hoch die Differenzierungsfähigkeit eines Items ist. Je höher die Varianz desto besser die Differenzierungsfähigkeit.

Sie hängt maßgeblich von der Itemschwierigkeit ab.

Front 26

Wie lautet die Formel für die Itemvarianz?

Back 26

p= Itemschwierigkeit/100

q= (1- Itemschwierigkeit)/100

Front 27

Die Itemvarianz ist bei einer mittleren Itemschwierigkeit am höchsten. Warum ist es trotzdem nicht vorteilhaft in einem Test nur Items mit mittlerer Itemschwierigkeit zu verwenden?

Back 27

• bei Personen mit extremen Merkmalsausprägungen treten dann nur eine geringe Streuung auf.
• Folglich differenziert der Test in diesem Bereich nicht gut.

=> Die gewünschte Itemschwierigkeit ist folglich abhängig von der Zielgruppe

Front 28

Itemanalysen: Welche Aussagen macht die Trennschärfe eines Items?

Back 28

• Zeigt an, in welchem Ausmaß das Item das Gleiche misst, wie der Test bzw. eine Subskala des Tests
  
• Zeigt an, in welchem Ausmaß die Differenzierung der Probanden (in Löser/Nichtlöser bzw. niedrige/hohe Merkmalsausprägung) mit der der Skala als Ganzes übereinstimmt.

Front 29

Was ist die Voraussetzung um bei einem Item die Trennschärfe zu bestimmen?

Back 29

Alle Items im Test/in der Subskala messen das gleiche Merkmal. => Homogenität der Items.

Front 30

Wie wird die Item-Trennschärfe interpretiert?

Back 30

• Die Korrelation zwischen dem Item und dem Test bzw. der Subskala heißt Korrelationskoeffizient: Dieser kann Werte zwischen 1 und -1 annehmen. Gute Trennschärfen liegen zwischen .40 und .70
  
• Negative Werte sind selten und bedeuten, dass das Item die Differenzierung verschlechtert. Das Items sollte modifiziert oder gestrichen werden
  
• Part-whole-Korrektur: Der Test- bzw. Skalenwert wird dabei über alle Items mit Ausnahme des analysierten bestimmt.

Front 31

Wonach richtet sich die optimale Höhe der Trennschärfe?

Back 31

Sie richtet sich nach der Homogenität des des interessierenden Merkmals. Heterogene Merkmale verlangen moderate Trennschärfen, homogene Merkmale hohe Trennschärfen.

Front 32

Welche Einflussfaktoren auf die Trennschärfe sind zu beachten?

Back 32

Inhaltliche Passung des Items

• Das Item ist gut geeignet, um das interessierende Merkmal zu erfassen

Gründe für mangelnde Passung:

• Item ist schlecht ausgewählt oder schlecht formuliert
• Item passt, aber die anderen Items verfehlen die Messintention

Verteilungsform von Item und Testwert:

• Minderung der Trennschärfe bei ungleicher Verteilung von Item und Testwert (NV vs. Schiefe)

Streuung der Testwerte bzw. Items

(r's sind davon abhängig)

• kleine Streuung mindert die Trennschärfe
• große Streuung erhöht die Trennschärfe
• bei homogenen Stichproben also automatisch niedrigere Trennschärfe.

Front 33

Welche Effekte bringt eine hohe Trennschärfe mit sich?

Back 33

• Der Test wird homogener, wenn Items nach hoher Trennschärfe ausgewählt werden
• die verbleibenden Items korrelieren höher miteinander
• Die interne Konsistenz steigt an (Cronbach's α), Reliabilität wird verbessert
• Reliabilität wird auf Kosten der Validität vergrößert!

Front 34

Für Multiple-Choice-Aufgaben kann die Item-Analyse auch verwendet werden, um geeignete Distraktoren zu finden.

Wie wird dabei vorgegangen?

Back 34

• Itemschwierigkeit: Es wird geschaut, wie häufig ein Distraktor angekreuzt wurde. Selten gewählte Distraktoren können zu leicht als Falschantworten identifiziert werden => Umformulieren.
  
• Trennschärfe: Sollte negativ ausfallen. Positive Trennschärfen sind entweder Zufallsbefunde oder weisen auf systematische Fehler hin. => Umformulieren oder austauschen.

Front 35

Anhand welcher Kriterien sollten nun die Items ausgewählt werden?

Back 35

Grundsätzlich nach Itemschwierigkeit, Itemvarianz, Reliabilität und Validität

Dabei sind jedoch folgende Dinge zu beachten?

• Die Ausprägung dieser Kennwerte sollte in Abhängigkeit von Merkmalsart und Zielgruppe bzw. Differenzierungsfokus beachtet werden
  
• meist: Mittlere Schwierigkeit, hohe Varianz, ausreichend hohe Trennschärfe.

Front 36

Welche Antwort-Ergebnisse sollten bei der Testwertermittlung von Leistungstests berücksichtigt werden?

Back 36

• Richtige Antworten
• Falsche Antworten
• Ausgelassene Items
• Unbeantwortete Items (nicht bei Niveautests)