4. Gütekriterien an der Universität Osnabrück

 • Objektivität: verschiedene Testleiter kommen zu denselben Ergebnissen kommen. 

• Reliabilität: Ein Test misst zuverlässig und genau (d.h. mit geringem Messfehler) - gleichgültig, ob es das ist, was er zu messen beabsichtigt. 

• Validität: Ein Test ist valide, wenn er das misst, was er zu messen beabsichtigt.

• Ein Test, der nicht objektiv ist, kann auch nicht reliabel und valide sein!
• DurchführungsObjektivität
• • Es werden klare Vorgaben bezüglich der Standardisierung der Testbedingungen gemacht, so dass alle Pbn bzw. ein Pb zu einem beliebigen Zeitpunkt immer unter konstanten Bedingungen getestet werden/wird. 
• • Ist dann gegeben, wenn das Testverhalten der Testperson unabhängig ist von zufälligen oder systematischen Verhaltensvariationen aller denkbaren Testleiter

Geringe Beobachterübereinstimmung deutet darauf hin, dass das Mess-/Beobachtungssystem unklar oder messungenau ist.

Einem Kodierer: Intra-Kodierer-Übereinstimmung, bei der eine Person eine ausreichend große Anzahl an Items in einem zeitlichen Abstand kodiert 

• Zwei Kodierer: Typische Form der Reliabilitätsprüfung mittels Inter-KodiererÜbereinstimmung, bei der zwei Kodierer das selbe Material anhand eines Kodiersystems auswerten.

 

 Cohens Kappa-Koeffizient (κ) ist um Zufallsübereinstimmungen bereinigt. 

 Zur Bestimmung der Übereinstimmung von intervallskalierten Urteilen ist die ProduktMoment-Korrelation ungeeignet, weil sie auch perfekt werden kann, wenn sich die Beurteiler (=Rater) in ihren Mittelwerten und ihrer Streuung unterscheiden.

• …alle Reize von den gleichen Beurteilern (=Ratern) eingeschätzt wurden oder jeder  Reiz von einem anderen Rater. 

• …Mittelwertsunterschiede zwischen den Beurteilern reliabilitätsmindernd eingehen sollen oder nicht. 

 - unjustierten Koeffizienten = agreement  “absolute Übereinstimmung“, jegliche Urteilstendenz wird als Fehler gewertet - justierten Koeffizienten = consistency  Konsistenz, individuelle Tendenzen und Niveauunterschiede wirken sich nicht negativ aus 

• Die ICC(1,?) und ICC(2,?)-Koeffizienten gehen davon aus, dass es sich um eine Zufallsauswahl von Ratern handelt (sozusagen nur eine Stichprobe aus den möglichen Ratern), während die ICC(3,?)-Koeffizienten annehmen, dass es sich bei dem Faktor "Rater" um einen festen Faktor handelt (die Rater sind die Population).
•  Die ICC-Koeffizienten sind interpretierbar als der Anteil der Varianz der wahren Werte, der durch die Raterurteile aufgeklärt werden kann. Rechnerisch sind Werte kleiner 0 möglich; diese sind als 0 zu interpretieren
• In der Regel gilt, dass ICC(1,?) < ICC(2,?) < ICC(3,?)  (Ausnahmen möglich) und dass die Reliabilität mittlerer Urteile höher ist, als die  eines „mittleren Raters“.

• Retest-Reliabilität (RR): Man lässt Pbn den Test zweimal durchführen und korreliert die Test-werte.

 • Paralleltest-Reliabilität : Man konstruiert einen parallelen Test, lässt Pbn beide Tests durchführen und korreliert deren Testwerte. 

•  Bei prognostischen Verfahren. 
•  Bei (differentieller) Veränderungen des Merkmals wird die Reliabilität des Test unterschätzt !
•  Die Höhe der Retest-Reliabilität hängt von den Verfahren ab

• Beim Paralleltest existiert zum Test sozusagen ein Zwilling, wobei beide Tests die selbe Anzahl an Items besitzen, die zudem in Schwierigkeit und Trennschärfe identisch sind

•  Reliabilität wird innerhalb des Tests selbst ermittelt
• (kein zweimaliges Testen, kein Paralleltest)
•  Am bekanntesten Split-Half Methode und Cronbachs Alpha