Evaluation at Universität Bielefeld

Kurz:

Formative Evaluation ist die Beurteilung und Verbesserung eines Prozesses, die innerhalb vorab festgelegter Ziele und Kriterien durch ständiges Feedback im Verlauf stattfindet.

Summative Evaluation meint die abschließende Beurteilung und die Überprüfung der Ergebniserreichung bei vollständig entwickelter Maßnahme nach der Durchführung.

Lang:

Formative Evaluation: Prospektive Anwendung von CIPP. Informationen zur Entschei-
dungsfindung und Qualitätssicherung

• Identifizierung notwendiger Interventionen
• Wahl und Rangreihung von Zielen (basierend auf Bedürfniserfassung und Möglichkeiten).
• Erfassung alternativer Strategien und Verteilung der zur Verfügung stehenden Ressourcen = Anleitung zur Wahl eines Programms oder einer Strategie
• Abgleich durch Untersuchung des Arbeitsplans. Hilfestellung bei der Implementierung durch Monitoring und Beurteilung der Aktivitäten und wiederholtes evaluatives Feedback. 
• Produkt: Hilfestellung bezüglich der Fortführung, Modifikation, Annahme oder Beendigung des Programms auf Grundlage der Ergebnisse und Nebeneffekte.

Summative Evaluation: Retrospektive Anwendung von CIPP. Information, um Nutzen, Werte und Bedeutung des Programms zusammenzufassen.

• Abgleich der Zielsetzungen und Prioritäten in Relation zu den Bedürfnissen, Problemen und Möglichkeiten. 
• Es fließt der Vergleich der Programmstrategie, des Versuchsplans und des Budgets ein, in Relation zu den Mitbewerbern und den angestrebten Bedürfnissen der Betroffenen.
• Umfassende Beschreibung der tatsächlichen Prozesse und Kosten im Vergleich mit vorgesehenen
• Vergleich der Haupt- und Nebeneffekte in Relation zu den angestrebten Bedürfnissen, soweit möglich, zu den alternativen Programmen stellen, und die Interpretation gegenüber dem erfassten Kontext, Input und Prozessen des Projektes.

a. Direkte Veränderung = direkte Erfassung der Veränderung

• + ökonomisch
• + bester Indikator für subjektiv erlebte Veränderung
• - anfällig für Verzerrungen/Verfälschungen
• - hoher Aufforderungscharakter

b. Indirekte Veränderung = Messung einer Variablen über mehrere Messzeitpunkte

• + weniger anfällig für Verzerrungen/Verfälschungen
• - anfällig für Effekte die mit echter Veränderung nichts zu tun haben
• - Gefahr selektiven Drop-Outs
• - Regressionseffekte

Prototypische Schritte:

(1) Identifikation von Nutzern und Nutzen des NA

• Nutzer = Personen, die NA als Entscheidungshilfe nutzen + Betroffene

(2) Beschreibung der Betroffenen (target population) und Umgebung der Maßnahme

• Charakteristika der Betroffenen (Stärken, Schwächen) Auswahlkriterien der Maßnahme
• Kapazität der Maßnahme
• Abgleich der Teilnehmer einer Maßnahme und der Zielgruppe

(3) Need- Identifikation (Beschreibung der Probleme in der Zielgruppe und mögliche Lösungen)

• Informationen zu Erwartungen an die Maßnahme bzgl. der Effekte, gegenwärtiger Stand, Effizienz und Machbarkeit, Nutzung von Lösungen

(4) Need-Assessment (Empfehlungen für Maßnahmen aussprechen)

(5) Kommunikation der Ergebnisse

• An Entscheidungsträger, Nutzer und andere Stakeholder

Effekt ist die Wirkung einer Maßnahme (Nutzen), 

Effizienz rechnet die Kosten die zur Erreichung des Effekts entstehen ein, so dass Nutzen im Verhältnis zum Aufwand betrachtet werden kann.

Das Ausmaß, in dem richtige Positive und richtige Negative korrekt differenziert und falsche Positive bzw. falsche Negative vermieden wurden, wird in der Ausschöpfungsquoteangegeben.
𝐴𝑄 = 100 ∙ (𝐴𝑛𝑧𝑎ℎ𝑙 𝑟𝑖𝑐ℎ𝑡𝑖𝑔𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝐵𝑒𝑡𝑟𝑜𝑓𝑓𝑒𝑛𝑒𝑛 ) − (𝐴𝑛𝑧𝑎ℎ𝑙 𝑓𝑎𝑙𝑠𝑐ℎ𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝑇𝑒𝑖𝑙𝑛𝑒ℎ𝑚𝑒𝑟 )

- Beschreibung der Beziehung zwischen Programm-Ressourcen, -Aktivitäten & -Outcomes, welche zeigt wie Programm ablaufen & intendierte Ziele erreichen sollte
- Bestandteile:
(1) Input (Zielpopulation, Service Arena, Programm)
(2) Aktivität (program’s organisational plan, Programmelemente, Interaktion zwischen Zielpopulation und Programm -> service utilization plan)
(3) Output (bspw. Teilnahme am Programm)
(4) Initial Outcome
(5) Intermediate Outcome
(6) Long-Term Outcome

• Für Outcomes wird Impact Theory als Grund-Effekt-Sequenz verwendet, welche beschreibt wie Veränderung bewirkt wird

- Kernfragen:

(1) Wie gut ist Intervention geplant?

(2) Liegt ein ausformuliertes Programm vor?

(3) Gibt es eine klar formulierte Beziehung zwischen Programmbausteinen und Zielen?

(4) Ist die Durchführung von Intervention und Evaluation plausibel und machbar?

-Impact Theory

• Kausale Theorie
• Es wird direkte Grund-Effekt-Sequenz betrachtet, welche die Veränderung hervorbringen soll bspw. Bei einem Job-Training werden Qualifikation, Fähigkeit bei Arbeitssuche & Bewerbung und Arbeitsmotivation thematisiert, woraus eine bessere Stelle resultiert und durch die bessere Stelle auch ein besserer sozio-ökonomischer Status

- Service Utilization Plan

• Beschreibt wie Teilnehmer in Programm eingebunden werden
• Führt in Form eines Flussdiagramms die aufeinander folgenden Schritte der Maßnahme auf, bzw. Pfade, die die Teilnehmer gehen können, und auch an welchen Punkten der Maßnahme Teilnehmer aussteigen könnten

- Organisational Plan

• Beschreibt Programm-Ressourcen und -Aktivitäten und wie diese organisiert und gemanaged werden müssen bzw. Aufgaben und Anforderungen die im Rahmen des Programms für die Durchführer dessen anfallen
• umfasst Funktionen und Aktivitäten des Programms, finanzielle, menschliche und physische Ressourcen

Transfererfolg: Transfer in andere Bereiche? Situationstransfer (Schule -> ‚wahres Leben‘) und Anforderungstransfer (Physik -> Biologie) Bsp.: Ob die Inhalte eines Seminars zur Fort-/Weiterbildung zur Lebens-/Arbeitswelt der Teilnehmer passen.
Wirksamkeit(Effektivität): Wirkung der Maßnahme? Besser oder schlechter als Alternativen? Unerwartete Folgen oder Nebenwirkungen? Bei wem wirksam? Bsp.: Nach der Einführung eines Programms zur Förderung der sozialen Kompetenz von Schülern muss evaluiert werden, ob das Programm Wirkung zeigt.
Kosten-Nutzen-Bilanz (Effizienz): Betriebs-oder volkswirtschaftliche Nutzen? Vergleich von Maßnahmen Bsp.: Wenn eine neue teurere Software in eine Firma eingeführt wird, muss evaluiert werden, ob dadurch Zeit eingespart wurde, und in welchem Maße, sodass die Umstellung zwar mehr kostet jedoch einen größeren Nutzen hat oder eben kein positiver Effekt auf die Effizienz der Arbeiter zu sehen ist.
Bedarf: Zustand, der die Einführung einer Maßnahme rechtfertigt? Wer ist betroffen und in welchem Ausmaß? Bsp.: Evaluation von Altersarmut: Für welche Gruppe von Arbeitnehmern muss es gesetzliche Unterstützung im Alter geben, sodass sie nicht unter die Ar-
mutsgrenze fallen?
Qualität des Interventionskonzepts: Wie ist Intervention konzipiert? Explizite und implizite Annahmen plausibel begründet (Theorie und Empirie)? Bsp.: Wie ist das Programm zur Erhöhung der sozialen Kompetenz an Schulen geplant? Evaluieren des Konzepts –
wird es so funktionieren?
Qualität der Einführung und Implementation: Rahmenbedingungen für Intervention gegeben? Umsetzung wie vorgesehen (treatment fidelity)? Intervention angemessen an Rahmenbedingungen angepasst? Bsp.: Evaluieren von Voraussetzungen für ein neue Software im Unternehmen. Kann die Software auf allen Geräten funktionieren?
Akzeptanz: Annahme durch Teilnehmer? Zufrieden mit Intervention?

Nachhaltigkeit: Dauerhafte Wirkung? Bsp.: Wird eine bestimmte Fortbildungsmaßnahme gut von den Arbeitnehmern angenommen = wirkt sie?
State oft the Art: Konzeption, Implementation und Evaluation an Regeln der Kunst orientiert? Bsp.: Studie überprüfen, ob bspw. die Zielgruppe erreicht wurde, oder die Ergebnisse verzerrt/manipuliert wurden, oder ob die Art der Erhebung/ die Vorgehensweise sinnvoll war.

Auftraggeber: Die Atomindustrie könnte ein Auftraggeber und somit Stakeholder in einer Evaluation zu den Vor‐ und Nachteilen der Nutzung der Sonnenkraft als Energiequelle sein. Ihre Einflussnahme wäre vermutlich derart, dass negative Aspekte in den Vordergrund gestellt werden sollen...
Stakeholder sind Personen, die entweder Gegenstand der Evaluation sind, Externe, die Informationen liefern oder Teilmaßnahmen durchführen, Zielpersonen der Maßnahme, Auftraggeber der Evaluation, aber auch Betroffene und Beteiligte von Konkurrenzprodukten und die gesellschaftliche & wissenschaftliche Öffentlichkeit und Medien

Context
- Rahmenbedingungen/Umfeld/Probleme im Umfeld
- Bestimmung der Nutznießer und der angestrebten Ziele einer Intervention
- Umfeldanalyse in Bezug auf die von der Dienstleistung oder dem Projekt adressierten Bedürfnisse der Zielgruppe und auf Basis dessen Formulierung und Anpassung von Zielen
Input
- Prüfung, welche Ressourcen und Mittel für die Durchführung einer Maßnahme oder Bereitstellung einer Dienstleistung benötigt werden
- Ressourcen, Realisierungsmöglichkeiten, Aktionspläne, Konzepte
Process
- Laufende Prüfung der Umsetzung einer Maßnahme: Prüfung der Beteiligung und Akzeptanz der Zielgruppe, Einhaltung der vorgegebenen Termine etc.
Product
- Prüfung, ob beabsichtigte Veränderungen bei Zielgruppen und Betroffenen festgestellt werden können
- Feststellung nicht nur der gewollten Ergebnisse, sondern auch der „Nebenwirkungen“/ungewollten Ergebnisse

Units receive Treatments, while we observe the outcome in a particular setting.

• Nach Cronbach müssen 4 Elemente bei der Diskussion der Generalisierbarkeit
  berücksichtigt werden:
  - UNITS (Einheiten oder Personen)
  - TREATMENTS (Maßnahmen)
  - OBSERVATIONS/OUTCOMES (Beobachtungen/ Resultate, Ergebnisse)
  - SETTING
•  Es werden Schlüsse angestrebt, die über den Rahmen der Untersuchung hinaus
  für alle denkbaren Personen (UNITS), Wirkvariablen/Maßnahmen (TREATMENTS), Kriterienvariablen (OBSERVATIONS/OUTCOMES) und Kontextbedingungen (SETTINGS) gültig sind.
  -> Aus utos (lokal, spezifisch) soll UTOS (global) werden
• Problem: wie relevant sind die Ergebnisse für andere Bedingungen wirklich?
  Lässt sich so einfach generalisieren? Experimente sind lokal gültig, sollen aber
  globale Aussagen ermöglichen! Operationalisierung, Statistik/Grundgesamtheit,
  Bestätigung, Probandenwahl, Settingwahl, Treatmentwahl
  => Es kommt zu Schwierigkeiten (Einschränkungen der externen Validität)
  wenn eine Interaktion zwischen Grund-Ursache-Beziehung und UnitsTrea-
  tmentsObservationsSettings, oder eine kontextabhängige Mediation vor-
  liegt

Generell meint Evaluation den Wert eines Objektes festzustellen oder abzuschätzen. Evaluation an sich ist vieles, da es viele Möglichkeiten gibt Hintergründe oder Sachverhalte zu analysieren. Allerdings sind nicht zwingend systematische Verfahren dazu notwendig.
Evaluationsforschung ist ein Prozess. Das Produkt: Rückmeldung verwertbarer Ereignisse durch Beschreibungen, begründete Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene zur Optimierung des Evaluationsgegenstandes und Unterstützung zukünftigen Handelns. Der Prozess basiert auf festgelegte Ziele und explizit auf den Sachverhalt bezogene und begründete Kriterien bewerten einen Evaluationsgegenstand. Sozialwissenschaftliche Methoden durch qualifizierte Personen.