B-MP3: Versuchsplanung und Versuchsauswertung an der Universität Marburg

0. Produktebene: Wie bewerten Experten das Konzept der Maßnahme?

1. Reaktionsebene: Wie reagieren die Lernenden auf die Maßnahme?

2. Lernebene: Haben die Personen gelernt?

3. Verhaltensebene: Hat sich das konkrete Verhalten der Personen im Alltag verbessert?

4. Erfolgsebene: Welche Erfolge wurden auf übergeordneter Ebene erzielt?

5. Return on Investment (ROI): Wie zahlt sich die Maßnahme aus (Kosten/Nutzen)?

• anfällig für system. Verzerrungen und Verfälschungen
• Aufforderungscharakter, selektiv oder verzerrte Erinnerung

• differentielle Effekte (stellen kein Problem dar, wenn sie rein sind):
  • Regression zur Mitte
  • diff. system. Attrition
  • diff. Reifungseffekt
  • response shift
  • History-Effekte
  • alternative nicht-manipulierte Interventionen
  • Passivteilnahme
  • Positionseffekte (nur bei intraindividueller Bedingungvariation)

1. Maßnahmenspezifische Wirkungen

2. Neben- und Folgewirkungen einer Maßnahme

3. Maßnahmenunspezifische Wirkungen

• Implementation ieiner Maßnahme führt zu interessierendem Effekt (z.B.: Aufmerksamkeitszuwendung)

4. Externe (maßnahmenunabhängige) Wirkungen

• auch Konfundierungen führen dazu, dass interessierender Effekt eintritt (Reifungsprozesse, History)

ökonomisch

• direkt
• indirekt
• quasi-indirekt
• keine Veränderungsmessung

• Test-Retest
• Split-Half
• Interne Konsistenz/Cronbachs Alpha

Filler, implizite Messinstrumente, Aufmerksamkeitschecks, geeignete Parallelisierung, Solomon-4-Gruppen Plan, Auspartialisieren einer Störvariable

• ungeeigneter Test
• Vorraussetzungsverletzung oder fehlende Testung
• keine Beachtung der alpha-Fehler-Kumulierung
• zu geringe Power

• primäre Prävention
• sekundäre Prävention
• tertiäre Prävention

• Multimethodal
• Überprüfung konvergenter und diskriminanter Validität
• MTMM

• reine MW-Artefakte (z.B.: Testübung)
• Response shifts
• History-Effekte