Vl04-Psychologische Diagnostik- Harzer

Front 1

Testkonstruktion: Worauf ist bei der Auswahldes Geltungsbereiches eines Tests zu achten?

Back 1

• Die Anwendungsmöglichkeiten müssen definiert werden
• Beim Geltungsbereich ist auf die inhaltliche und die Kriteriumsvalidität zu achten.
• je enger der Geltungsbereich, desto homogener die Items, je breiter, desto heterogener

Front 2

Testkonstruktion: Worauf ist bei der Auswahl der Zielgruppe eines Tests zu achten?

Back 2

• je breiter die Zielgruppe, desto höher die Anforderungen an den Test (viele Merkmalsausprägungen abdecken, breiterer Schwierigkeitsbereich, inhaltlich breiter gefächerte Aufgaben)
• Analysestichprobe ist entsprechend zu planen
• Eichstichprobe und Normtabellen-Gewinnung entsprechend planen (Analysestichprobe != Eichstichprobe)

Front 3

Was ist beim strukturellen Testaufbau zu beachten?

Back 3

Er ist abhängig von Merkmalsart, Testart, Geltungsbereich und Zielgruppe

Tests sind typischerweise komplex

• größere Itemanzahl (=> Reliabilität)
• Multidimensionale Konstrukte = Mehrere unidimensionale Subtests

Front 4

Was ist bei der Festlegung von Testlänge und Testzeit zu beachten?

Back 4

Testlänge (=Anzahl der Items)

• abhängig von Testart, Zielgruppe und Geltungsbereich
• Beeinflusst die Präzision der Messung und die Reliabilität
• Praktikabilität bedenken!

Testzeit (=Zeitdauer)

• abhängig von Testart, Zielgruppe und Geltungsbereich

Front 5

Bei der Testkonstruktion muss auch die Testadministration berücksichtigt werden. Welche Möglichkeiten gibt es bei Testformat und -form?

Back 5

Testformat:

• Papier und Stift (am weitesten verbreitet)
• computergestützte Verfahren (ökonomischer in der Auswertung, variabler bei Itemgenerierung und -auswahl)

Testform:

• Einzeltestung (erlaubt Verhaltensbeobachtung, ist aber aufwendig)
• Gruppentestung (ökonomischer aber fehleranfälliger, da Prob. nicht direkt beobachtbar)

Front 6

Welche drei Grundschritte folgen bei der Konstruktione eines Tests aufeinander?

Back 6

1. Wahl des Aufgaben-/Itemtyps
2. Generierung konkreter Items
3. Zusammensetzung der Items zu einem Test

*Notwendigkeit der Karte checken!

Front 7

Welche Testkonstruktionsstrategien werden unterschieden?

Wie wird mit dieser Unterscheidung in der Praxis umgegangen?

Back 7

• intuitiv
• rational/deduktiv
• external/kriteriumsorientiert
• internal/faktoranalytisch/induktiv
• Prototypenansatz

!Die Entscheidung für eine Strategie fällt immer in Abhängigkeit von Merkmal, Geltungsbereich und Zielgruppe

In der Praxis ist häufig eine mehrstufige, gemischte Vorgehensweise anzutreffen.

Front 8

Wie funktioniert die intuitive Konstruktionsstrategie?

Wann wird sie angewendet?

Back 8

• Formulierung der Items erfolgt nicht theoriegeleitet sondern nach der Erfahrung und Intuition des Konstrukteurs
• Sie wird angewendet, wenn der theoretische Kenntnisstand zum interessierenden Merkmal gering ist, also v.a. zum Beginn neuer Forschungszweige
• Möglichkeiten: Arbeitsgruppen, Fokusgruppen

Front 9

Was sind die Vorrausssetzungen für die Anwendung der rationalen Konstruktionsstrategie?

Back 9

Vorhandensein einer elabortierten Theorie

1. über die Differenziertheit von Personen
2. hinsichtlich des interessierenden Merkmals/Konstrukts (Abstufungen in der Häufigkeit/Intensität) der Merkmalsmanifestation

Front 10

Was ist über die rationale Konstruktionsstrategie wichtig zu wissen?

Back 10

• sie bedient sich der Methode der Deduktion
• es müssen bestimmte theor. Voraussetzungen erfüllt sein, um sie anzuwenden
• Überprüfung findet über Expertenratings und -urteile statt.
• auf alle Testarten anwendbar

Front 11

Was ist Sinn und Zweck der externalen Konstruktionsstrategie?

Back 11

Sie soll es ermöglichen, eine bestmögliche Differenzierung zwischen verschiedenen Personengruppen zu erreichen, bei denen ein bestimmtes externales Merkmal erhoben wird.

Front 12

Wie wird bei der externalen Konstruktionsstrategie vorgegangen?

Back 12

1. Items auswählen, die hinsichtlich des interessierenden externen Merkmals zwischen den Personengruppen eindeutig differenzieren können.
2. Stellen Sie einen möglichst großen Itempool zusammen, und testen Sie ihn an Personengruppen, die sich hinsichtlich des Kriteriums möglichst stark unterscheiden.
3. Wählen Sie diejenigen Items aus, die am besten differenzieren. Es bedarf keiner rationalen Erklärung worauf diese Differenzierung basiert.
4. Kreuzvalidierung der Itemauswahl an anderen Stichproben

Front 13

Welche Rolle spielt der Inhalt der Items bei der externalen Konstruktionsstrategie?

Back 13

• Die Aufgabeninhalte sind nicht von Interesse (vgl. rationale Konstruktionsstrategie). Wichtig ist nur der Nutzen bei der Vorhersage des Kriteriums bzw. bei der Differenzierung der Gruppen
• Folglich ist auch die inhaltliche Interpretation der Konstruktionsergebnisse nicht sinnvoll/zulässig.

Front 14

Welche Vorteile bietet die externale Konstruktionsstrategie?

Back 14

• die Validität des Tests wird bereits durch die Skalenkonstruktion gewährleistet
• Items sind häufig schwer durchschaubar/verfälschbar.

Front 15

Welche Probleme bringt die externale Konstruktionsstrategie mit sich?

Back 15

1.Verstärkte Möglichkeit zum Item-Overlap:

• ein Item wird mehreren Skalen zugeordnet
• erhöht die Interkorrelation der Skalen
• erschwert somit die Profilinterpretation

2. Wahrscheinlichkeit der Verwendung inhaltlich kaum nachvollziehbarer Items steigt.

3. Die Interpretation dimensionaler Punktwerte ist nicht möglich.

Front 16

Welches Ziel verfolgt die internale Konstruktionsstrategie?

Back 16

• Erstellung homogener Aufgabengruppen (Subtests)
• Faktorenanalytische Einfachstruktur (die Items der Subtests korrelieren hoch miteinander, die Items verschiedener Subtests möglichst nicht oder kaum)

Front 17

Was charakterisiert die internale Konstruktionsstrategie?

Back 17

• die Konstruktion ist weder primär einer bestimmten Theorie verpflichtet, noch orientiert sie sich an den vorfindbaren Personengruppen
• intuitive Strategie plus faktorenanalytische Überprüfung
• Faktoren werden interpretiert und daraus das Konstrukt erst gewonnen.

Front 18

Wie funktioniert eine Testkonstruktion nach dem Prototypenansatz?

Back 18

• Menschen haben für Eigenschaften prototypische Vorstellungen
• Es werden daher prototypische Verhaltensweisen gesammelt
• Generierung von Items anhand dieser Verhaltensweisen

Front 19

Was ist der entscheidende Unterschied zwischen der deduktiven und der induktiven Methode?

Back 19

induktive Methode: Die richtige Zahl der Faktoren wird explorativ gesucht (EFA)

deduktive Methode: eine Hypothese zur faktoriellen Struktur liegt vor. Diese wird mittels Faktorenanalyse konfirmatorisch geprüft. (CFA)

Front 20

Aufgabentyp: Welche Elemente hat eine Aufgabe? Wozu dienen sie jeweils?

Back 20

Aufgabenstamm:

• Problem oder Frage
• Aufforderung zu Stellungnahme oder Statement
• Item

Antwortformat:

• Problemlösung oder Antwort/Abgabe Stellungnahme
• Klassifikation i.d.R. anhand des Strukturiertheitsgrades

Front 21

Welche Aufgabentypen gibt es? Welchen Antwortformaten lassen sie sich zuordnen?

Back 21

Aufgaben mit freiem Antwortformat

• Kurzsatzaufgaben
• Ergänzungsaufgaben

Aufgaben mit gebundenem Antwortformat

• Ordnungsaufgaben
• Auswahlaufgaben
• Beurteilungsaufgaben

Aufgaben mit atypischem Antwortformat

Front 22

Was kennzeichnet Aufgaben mit freiem Antwortformat?

Back 22

• keine Vorgabe von Antwortalternativen
• Die Antwort wird in der Instruktion strukuriert
• Auswertung via vorgefertigtem Kodierungsschlüssel
• Anwendung z.B. im schulisch-pädagogischen Bereich, zur Messung von Kreativität, bei projektiven Verfahren oder wenn die Reihenfolge wichtig ist

Front 23

Welche Vorteile bietet der Kurzaufsatz als freies Antwortformat?

Back 23

• Die Antwort wird vom Probanden selbst erzeugt
• zufällig richtige Antworten sind so bei Wissenstests nicht möglich

Front 24

Welche Nachteile bringt der Kurzaufsatz als offenes Antwortformat mit sich?

Back 24

• Bearbeitung für Pb. und für Auswerter sehr zeitaufwendig
• Auswertungsobjektivität eingeschränkt
• Antworten können mehrdeutig sein
• Sprachlich eingeschränkte Probanden werden systematisch benachteiligt

Front 25

Welche Vorteile bieten Ergänzungsaufgaben als freies Antwortformat?

Back 25

• dem Pb. wird die Reproduktion von gespeichertem Wissen abverlangt
• Nur geringe Ratewahrscheinlichkeit
• bei ausreichender Standardisierung sehr objektiv.

Front 26

Welche Nachteile bringt der Ergänzungsaufgaben als offenes Antwortformat mit sich?

Back 26

• es kann meist nur Faktenwissen geprüft werden
• Auswertungsobjektivität eingeschränkt, wenn mehrere Antworten passen, dies aber bei der Testkonstruktion nicht berücksichtigt wurde
• Formulierungen können suggestiv wirken und bestimmte Antworten nahelegen
• Konfundierung mit allg. Intelligenz und Lesefähigkeit möglich.
• Bearbeitung und Auswertung aufwendiger, als bei gebundenem Antwortformat

Front 27

Welche Vorteile bieten Ordnungsaufgaben als gebundenes Antwortformat?

Back 27

• sie sind einfach, ökonomisch und objektiv
• Es lassen sich viele Items auf wenig Platz unterbringen
• besonders brauchbar bei Wissens- und Kenntnisprüfungen
• Ratewahrscheinlichkeit gering, wenn die n-Antwortalternativen > n-Fragen

Front 28

Welche Nachteile bringt Ordnungsaufgaben als gebundenes Antwortformat mit sich?

Back 28

• Die Bearbeitung erfordert nur eine Wiedererkennungsleistung
• Antwortalternativen sind nicht voneinander unabhängig

Front 29

Welche Vor- und Nachteile bringen Ordnungsaufgaben als

Back 29

Vorteile:

• nicht auf verbales Material beschränkt
• hilfreich für den Leistungsbereich

Nachteile:

• Hoher Materialverbrauch bei Materialbearbeitungstests
• nur eingeschränkt für Gruppentests verwendbar

Front 30

Was ist bei der Erstellung/Bearbeitung von Auswahlaufgaben zu beachten (gebundenes Antwortformat)?

Back 30

• Wahl geeigneter Distraktoren und Disjunktheit von Antwortalternativen bei Leistungstests
• Vollständigkeit der Antwortalternativen bei Persönlichkeitstests
• Anzahl der Antwortalternativen
• Anzahl der richtigen Antwortalternativen

Front 31

Welche Vorteile haben dichotome Auswahlaufgaben als gebundenes Antwortformat?

Welche Nachteile bringen sie mit sich?

Back 31

Vorteile:

• Einfach und ökonomisch
• kurze Lösungszeit

Nachteile:

• Hohe Ratewahrscheinlichkeit und reines Wiedererkennen
• erhöhte Akquieszenz
• je nach dem zu geringe Komplexität

Front 32

Welche Vorteile haben Multiple-Choice-Aufgaben als gebundenes Antwortformat?

Welche Nachteile bringen sie mit sich?

Back 32

Vorteile:

• ähnlich ökonomisch, einfach und objektiv wie dichotome Items
• bei Leistungstests: je höher die Zahl der Antwortalternativen, desto geringer die Ratewahrscheinlichkeit.

Nachteile:

• nur Wiedererkennen gefordert
• Gefahr von Verzerrungen durch mangelhafte Distraktoren oder wenn die Aufgabe selbst Hinweise auf die Lösung gibt.