TT & TK, Buch 2 at Universität Konstanz

- rationale (deduktive Methode): Definition des Konstrukts, Items auf Grundlage theoretischer Überlegungen formuliert, Orientierung an Konstruktkarte

- kriteriumsorientierte: Orientierung an Inhaltsvalidität, Definition von Lehrzielen bzw spezifischen Kompetenzen, Festlegung eines Itemuniversums, Zufallsstichprobe aus diesem Itemuniversum (Kann die Inhaltsvalidität nicht durch Zufallsauswahl der Items sichergestellt werden, greift man auf die Beurteilung von Experten zurück)

- induktive: Orientierung an Inhaltsvalidität, Erstellung eines Itemsatzes, der möglichst repräsentativ ein Merkmalsbereich erfassen soll, Reduzierung des Itemsatzes durch dimensionalanalytische Verfahren, Prototypenansatz, bei dem Items danach ausgewählt werden, wie typisch sie für das zu erfassende Konstrukt sind 

- externale Konstruktionsmethode: Orientierung an der Kriteriumsvalidität, Items werden so ausgewählt, dass sie eine optimale Vorhersage eines Kriteriums erlauben.

kann den Test auch noch bei seinem Einsatz in der Forschung und Praxis begleiten

Zur Untersuchung der Konstruktvalidität lassen sich fünf Strategien unterscheiden:

1. Analyse von Gruppenunterschieden

lassen sich erwartbare Gruppenunterschiede in den Konstruktausprägungen aufgrund theoretischer Überlegungen bestätigen?
2. Zusammenhangsanalysen mit anderen Tests

Hängt der Tests mit anderen Tests zusammen, die dasselbe oder ähnliche Konstrukt erfassen?

Hängt der Tests mit anderen Tests nicht zusammen, die ein anderes Konstrukt erfassen, das nicht mit dem Konstrukt zusammenhängt, was man untersucht?
3. Analyse der internen Struktur eines Tests

Erfassen die Items eines Tests ein eindimensionales oder mehrdimensionales Konstrukt?
4. Analyse der Stabilität und Veränderungen von Testwerten

Verändern sich die Testwerte in theoriekonformer Weise oder bleiben sie stabil?
5. Prozessanalysen
 --> Untersuchungen des Antwortprozesses.

Wie kommt die Lösung einer Aufgabe zustande?

ein System miteinander verknüpfter Gesetze, die sich auf ein Konstrukt beziehen. 

--> Gesetze über Zusammenhang zwischen mehreren beobachtbaren Variablen, zwischen Konstrukten und beobachtbaren Variablen oder zwischen mehreren Konstrukten

- probabilistisch oder deterministisch

Merkmale eines kriteriumsorientierten Tests:

- inhaltsvalide

- zur Erfassung der Fähigkeit einer Person konstruiert 

- man ordnet Person anhand ihrer Fähigkeitsausprägung einer Klasse von Personen zu

1. Fähigkeiten definieren 

2.  Itemuniversum zur Erfassung dieser Fähigkeiten bestimmen und eine Zufallsauswahl von Items aus diesem Itemuniversum vornehmen

Die Gütekriterien psychologischer Tests lauten:

1. Objektivität

Durchführung, Auswertung und Interpretation einer psychologischen Messung hängt nicht von der Person ab, die diese durchführt.
2. Reliabilität

Zuverlässigkeit einer Messung
3. Validität

integrierte Bewertung, die sich darauf bezieht, in welchem Ausmaß Schlüsse und Handlungen, die auf Testwerten und anderen Erfassungsmethoden aufbauen, zulässig und angemessen sind.
4. Skalierung

Bilden Testwerte, die man aufgrund von Verrechnungsvorschriften erhält, die empirischen Verhaltensrelationen adäquat ab?
5. Normierung

Bezugssystems, das es erlaubt, eine Merkmalsausprägung in Bezug auf die Verteilung des Merkmals in einer Referenzpopulation bzw. in Bezug auf die Erfüllung eines Kriteriums zu interpretieren.
6. Testökonomie

geringer Ressourcenverbrauch
7. Nützlichkeit

Besitzt das vom Test erfasste Merkmal eine praktische Relevant und lassen die Entscheidungen bzw Maßnahmen, die auf Grundlage der Testergebnisse getroffen werden, mehr Nutzen als Schatten erwarten?
8. Zumutbarkeit

Werden Person sowohl in zeitlicher als auch in psychischer und körperlicher Hinsicht nicht unverhältnismäßig belastet?
9. Unverfälschbarkeit

Können Personen das Testergebnis durch ihr Testverhalten  nicht verzerren?
10. Fairness
 Können bestimmte Personen anhand der Testergebnisse systematisch benachteiligt werden?

1. Erstellen eines Itempools

- rationale (deduktive) Testkonstruktion

- kriteriumsorientierte Testkonstruktion

- induktive Testkonstruktion

- externale Testkonstruktion

--> Validität

2. Auswahl eines Itemformats

--> Objektivität, Präzision 

3. Prätests

- Expertenrating

- Prozessanalyse

4. Itemselektion

--> Passung zum Modell, Schätzgenauigkeit, Ökonomie, Zumutbarkeit, Testfairness 

5. Testanalyse

--> Nützlichkeit, Reliabilität

6. Standardisierung/ Normierung

7. Testdokumentation

8. weitere Untersuchungen zur Güte des Tests

1. verschiedene Items erfassen verschiedene Dimensionen

2. die Wahrscheinlichkeit einer Itemantwort hängt von mehreren latenten Variablen ab

Validität

was mit den Testergebnissen gemacht wird 

1. Festlegung des zu erfassenden Konstrukts

2. Erstellung eines Itempaars

3. Auswahl eines Antwortformats

4. Itemanalyse /-auswahl

5. Testanalyse

6. Skalierung und Normierung

7. Testdokumentation

8. weitere Untersuchungen zur gute des Verfahrens und Testrevision

Besonderheit: Schritte 2-5 können mehrmals durchlaufen werden

Es lassen sich folgende Facetten der Validität unterscheiden:

1. Konstruktvalidität

Können Testwerte im Sinne des zu erfassenden Konstrukts interpretiert werden?
2. Konvergente Validität

Weisen die Werte eines Tests hohe Zusammenhänge mit den Werten anderer Tests zur Erfassung desselben Konstrukts auf?
3. Diskriminante Validität

Weisen Werte eines Tests keine oder nur geringe Zusammenhänge mit den Werten anderer Tests auf, die andere Konstrukte erfassen, die von dem zu erfassenden Konstrukt unabhängig sein sollen?
4. Inhaltsvalidität

Stellen die Items eine repräsentative Stichprobe von Items zur Erfassung des Konstrukts dar?
5. Kriteriumsvalidität

Können anhand des Tests Merkmale vorhergesagt werden, die mit dem zu erfassenden Konstrukt zusammenhängen?
6. Augenscheinvalidität
Ist einem Laien offensichtlich, welches Konstrukt gemessen werden soll?