Psychologische Evaluation an der Universität Jena

1. Relativ undifferenzierte, semantisch unklare Bewertung

2. Kein unabhängiger Vergleichsmaßstab (Maßstab wird hier aus vorab gebildeten Absichten abgeleitet, die unklar bleiben)

3. Unklare Informationsquelle / nur eine Informationsquelle; geringe Validität von Selbstauskünften

4. Programmentwickler = Evaluator

Phänomenologisches Konzept: Betonung von Programm-Prozessen im
Gegensatz zu Auswirkungen/Effekten
zu Auswirkungen/Ef
Evaluation für die Betroffenen
Evaluation als Aushandlungsprozess
„Fourth-generation evaluation“
- Messen (Evaluator als externer Datensammler)
- Beschreiben (Evaluator als neutraler Beobachter)
- Urteilen (Evaluator als Richter)
- Aushandeln (Evaluator als Moderator)
Partizipative Ansätze der Evaluation

• relativ einfach (Durchführung und Entscheidungsstruktur)

• z.T. unklare Herkunft der Standards
• unflexibler Bewertungsprozess

Bezeichnet die Feststellung des Wertes eines Programms (Intervention), Projekts, Produktes oder Prozesses

• Soziale und politische Reformen auf Basis statistischer Analysen (Gründung statistischer Ämter)

• Industrielle Revolution (Entstehung von Märkten, rationale Wirtschafts- und Kostenplanung)

• Florence Nightingale/Francis Galton: Analysen zur Effizienz von Grundschulen und Hospitälern in England

• Innere Relevanz: Bedeutung für Theorien, Erkenntnisse einer Sache
• Äußere Relevanz: Bedeutung für die praktische Lösung von Problemen
• Emanzipatorische Relevanz (Holzkamp): Bedeutung für die Emanzipierung von Herrschaftsstrukturen (Aufklärungsfunktion -> neue Informationen, die tiefgreifende gesellschaftliche Umbrüche bewirken können)

• = eine Bewertung unter expliziter Verwendung anerkannter (sozial-) wissenschaftlicher Methoden und Techniken auf Basis systematisch erfasster Daten
• allgemeiner Zweck: Reduktion von Unsicherheit bei Entscheidungsprozessen
• multidisziplinäres Fach in sehr unterschiedlichen Traditionen (z.T. gravierende Unterschiede in Zielsetzungen, Fragestellungen und ihrer Methodik)
• bisher keine einheitliche Beschreibung

• Multimodalität: Leistung, Verhalten, Erleben, Entwicklung usw. → Wirkebenen nach Kirkpatrick: Reaktionsebene (z.B. Zufriedenheit), Lernebene (Wissen, kognitive Fertigkeiten), Verhaltens- und Handlungsebene (beobachtbares Verhalten), Ergebnisebene („harte“ Daten)
• Multimethodalität: Befragung, Test, Rating-Verfahren, Interview, Verhaltensbeobachtung, Aktenanalyse
• Multiple Informanten: Mehrere Datenquellen (Personen), natürlich anfallende Daten (z.B. Schulnoten; L-Daten nach Cattell)
• Messmethodische Qualität (Objektivität, Reliabilität, Validität)
• Unmittelbarkeit der Kriterien (Augenscheinvalidität)
• Direkte vs. indirekte Veränderungsmessung
• Sensitivität für Veränderungen (Änderungssensitivität)
• Physikalismus-Subjektivismus-Problem, Individualisierte Zielerreichung (Beispiel Goal-Attainment-Scaling)
• Proximale vs. distale Indikatoren (bezogen auf Nähe zum Interventionsinhalt)
• Reaktivität der Verfahren (Zusammenhang zwischen Ergebnis und Methodik)
• Probleme der Veränderungsmessung (Statistische Regression zur Mitte, Reliabilität von Veränderungswerten)

Vorteile: Hohe Schlüssigkeit, unabhängig

Nachteile: Umsetzung systematischer Forschungs- strategien oft schwierig, problematische Praxis- implementation der Ergebnisse

• I= systematische (forschungsbasierte) Bewertung eines sozialwissenschaftlich erstellten Interventionsprogramms oder -projekts

• in der Psychologie vor allem Maßnahmen der Bildung, Prävention und Psychotherapie

„Multi-goal evaluation“, Integration unterschiedlicher Ziele

und Zwecke (mit Schwerpunk auf experimentelle/quasi-experimentelle Methoden)

- theoriegeleitete Evaluation (Chen und Rossi): Zentrale Rolle derProgrammtheorie bei der Auswahl von Erfolgskriterien
Erfolgskriterien