Your peers in the course Evaluation at the Universität Bielefeld create and share summaries, flashcards, study plans and other learning materials with the intelligent StudySmarter learning app.
Get started now!
Evaluation
Summative und formative Evaluation erklären
Kurz:
Formative Evaluation ist die Beurteilung und Verbesserung eines Prozesses, die innerhalb vorab festgelegter Ziele und Kriterien durch ständiges Feedback im Verlauf stattfindet.
Summative Evaluation meint die abschließende Beurteilung und die Überprüfung der Ergebniserreichung bei vollständig entwickelter Maßnahme nach der Durchführung.
Lang:
Formative Evaluation: Prospektive Anwendung von CIPP. Informationen zur Entschei-
dungsfindung und Qualitätssicherung
Summative Evaluation: Retrospektive Anwendung von CIPP. Information, um Nutzen, Werte und Bedeutung des Programms zusammenzufassen.
Evaluation
Erklären Sie den Unterschied zwischen direkter und indirekter Veränderungsmessung, so-
wie jeweils Vor- und Nachteile.
a. Direkte Veränderung = direkte Erfassung der Veränderung
b. Indirekte Veränderung = Messung einer Variablen über mehrere Messzeitpunkte
Evaluation
Was versteht man unter need assesment und weshalb ist es in der Evaluation wichtig?
Prototypische Schritte:
(1) Identifikation von Nutzern und Nutzen des NA
(2) Beschreibung der Betroffenen (target population) und Umgebung der Maßnahme
(3) Need- Identifikation (Beschreibung der Probleme in der Zielgruppe und mögliche Lösungen)
(4) Need-Assessment (Empfehlungen für Maßnahmen aussprechen)
(5) Kommunikation der Ergebnisse
Evaluation
Erläutern Sie den Unterschied zwischen Effekt und Effizienz.
Effekt ist die Wirkung einer Maßnahme (Nutzen),
Effizienz rechnet die Kosten die zur Erreichung des Effekts entstehen ein, so dass Nutzen im Verhältnis zum Aufwand betrachtet werden kann.
Evaluation
Ausschöpfungsquote (was ist das und welche Informationen sind aus ihr ablesbar?) In welchen Situationen ist sie besonders wichtig?
Das Ausmaß, in dem richtige Positive und richtige Negative korrekt differenziert und falsche Positive bzw. falsche Negative vermieden wurden, wird in der Ausschöpfungsquoteangegeben.
𝐴𝑄 = 100 ∙ (𝐴𝑛𝑧𝑎ℎ𝑙 𝑟𝑖𝑐ℎ𝑡𝑖𝑔𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝐵𝑒𝑡𝑟𝑜𝑓𝑓𝑒𝑛𝑒𝑛 ) − (𝐴𝑛𝑧𝑎ℎ𝑙 𝑓𝑎𝑙𝑠𝑐ℎ𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝑇𝑒𝑖𝑙𝑛𝑒ℎ𝑚𝑒𝑟 )
Evaluation
Program theory erklären + die Bestandteile einordnen/in Bezug zueinander setzen
- Beschreibung der Beziehung zwischen Programm-Ressourcen, -Aktivitäten & -Outcomes, welche zeigt wie Programm ablaufen & intendierte Ziele erreichen sollte
- Bestandteile:
(1) Input (Zielpopulation, Service Arena, Programm)
(2) Aktivität (program’s organisational plan, Programmelemente, Interaktion zwischen Zielpopulation und Programm -> service utilization plan)
(3) Output (bspw. Teilnahme am Programm)
(4) Initial Outcome
(5) Intermediate Outcome
(6) Long-Term Outcome
- Kernfragen:
(1) Wie gut ist Intervention geplant?
(2) Liegt ein ausformuliertes Programm vor?
(3) Gibt es eine klar formulierte Beziehung zwischen Programmbausteinen und Zielen?
(4) Ist die Durchführung von Intervention und Evaluation plausibel und machbar?
Evaluation
Beschreiben Sie kurz die Begriffe Impact Theory, Service Utilization Plan und Organisational Plan
-Impact Theory
- Service Utilization Plan
- Organisational Plan
Evaluation
Nennen von zwei weiteren Evaluationskriterien, diese erklären und jeweils ein Beispiel.
Transfererfolg war gegeben.
Transfererfolg: Transfer in andere Bereiche? Situationstransfer (Schule -> ‚wahres Leben‘) und Anforderungstransfer (Physik -> Biologie) Bsp.: Ob die Inhalte eines Seminars zur Fort-/Weiterbildung zur Lebens-/Arbeitswelt der Teilnehmer passen.
Wirksamkeit(Effektivität): Wirkung der Maßnahme? Besser oder schlechter als Alternativen? Unerwartete Folgen oder Nebenwirkungen? Bei wem wirksam? Bsp.: Nach der Einführung eines Programms zur Förderung der sozialen Kompetenz von Schülern muss evaluiert werden, ob das Programm Wirkung zeigt.
Kosten-Nutzen-Bilanz (Effizienz): Betriebs-oder volkswirtschaftliche Nutzen? Vergleich von Maßnahmen Bsp.: Wenn eine neue teurere Software in eine Firma eingeführt wird, muss evaluiert werden, ob dadurch Zeit eingespart wurde, und in welchem Maße, sodass die Umstellung zwar mehr kostet jedoch einen größeren Nutzen hat oder eben kein positiver Effekt auf die Effizienz der Arbeiter zu sehen ist.
Bedarf: Zustand, der die Einführung einer Maßnahme rechtfertigt? Wer ist betroffen und in welchem Ausmaß? Bsp.: Evaluation von Altersarmut: Für welche Gruppe von Arbeitnehmern muss es gesetzliche Unterstützung im Alter geben, sodass sie nicht unter die Ar-
mutsgrenze fallen?
Qualität des Interventionskonzepts: Wie ist Intervention konzipiert? Explizite und implizite Annahmen plausibel begründet (Theorie und Empirie)? Bsp.: Wie ist das Programm zur Erhöhung der sozialen Kompetenz an Schulen geplant? Evaluieren des Konzepts –
wird es so funktionieren?
Qualität der Einführung und Implementation: Rahmenbedingungen für Intervention gegeben? Umsetzung wie vorgesehen (treatment fidelity)? Intervention angemessen an Rahmenbedingungen angepasst? Bsp.: Evaluieren von Voraussetzungen für ein neue Software im Unternehmen. Kann die Software auf allen Geräten funktionieren?
Akzeptanz: Annahme durch Teilnehmer? Zufrieden mit Intervention?
Nachhaltigkeit: Dauerhafte Wirkung? Bsp.: Wird eine bestimmte Fortbildungsmaßnahme gut von den Arbeitnehmern angenommen = wirkt sie?
State oft the Art: Konzeption, Implementation und Evaluation an Regeln der Kunst orientiert? Bsp.: Studie überprüfen, ob bspw. die Zielgruppe erreicht wurde, oder die Ergebnisse verzerrt/manipuliert wurden, oder ob die Art der Erhebung/ die Vorgehensweise sinnvoll war.
Evaluation
Was sind Stakeholder und 2 Beispiele dafür.
Auftraggeber: Die Atomindustrie könnte ein Auftraggeber und somit Stakeholder in einer Evaluation zu den Vor‐ und Nachteilen der Nutzung der Sonnenkraft als Energiequelle sein. Ihre Einflussnahme wäre vermutlich derart, dass negative Aspekte in den Vordergrund gestellt werden sollen...
Stakeholder sind Personen, die entweder Gegenstand der Evaluation sind, Externe, die Informationen liefern oder Teilmaßnahmen durchführen, Zielpersonen der Maßnahme, Auftraggeber der Evaluation, aber auch Betroffene und Beteiligte von Konkurrenzprodukten und die gesellschaftliche & wissenschaftliche Öffentlichkeit und Medien
Evaluation
Im CIPP-Modell werden die wesentlichen Bereiche „context, input, process, product“ beschrieben. Welche Aspekte rücken im Bereich Kontext in den Vordergrund? Erläutern Sie die Aspekte anhand eines selbstgewählten Beispiels!
Context
- Rahmenbedingungen/Umfeld/Probleme im Umfeld
- Bestimmung der Nutznießer und der angestrebten Ziele einer Intervention
- Umfeldanalyse in Bezug auf die von der Dienstleistung oder dem Projekt adressierten Bedürfnisse der Zielgruppe und auf Basis dessen Formulierung und Anpassung von Zielen
Input
- Prüfung, welche Ressourcen und Mittel für die Durchführung einer Maßnahme oder Bereitstellung einer Dienstleistung benötigt werden
- Ressourcen, Realisierungsmöglichkeiten, Aktionspläne, Konzepte
Process
- Laufende Prüfung der Umsetzung einer Maßnahme: Prüfung der Beteiligung und Akzeptanz der Zielgruppe, Einhaltung der vorgegebenen Termine etc.
Product
- Prüfung, ob beabsichtigte Veränderungen bei Zielgruppen und Betroffenen festgestellt werden können
- Feststellung nicht nur der gewollten Ergebnisse, sondern auch der „Nebenwirkungen“/ungewollten Ergebnisse
Evaluation
Was versteht man unter UTOS? Erklären Sie und erläutern Sie, warum UTOS im Kontext von Generalisierbarkeit beachtet werden muss!
Units receive Treatments, while we observe the outcome in a particular setting.
Evaluation
Erklären Sie in eigenen Worten den Unterschied zwischen Evaluation im alltäglichen Verständnis und wissenschaftlich fundierter Evaluationsforschung
Generell meint Evaluation den Wert eines Objektes festzustellen oder abzuschätzen. Evaluation an sich ist vieles, da es viele Möglichkeiten gibt Hintergründe oder Sachverhalte zu analysieren. Allerdings sind nicht zwingend systematische Verfahren dazu notwendig.
Evaluationsforschung ist ein Prozess. Das Produkt: Rückmeldung verwertbarer Ereignisse durch Beschreibungen, begründete Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene zur Optimierung des Evaluationsgegenstandes und Unterstützung zukünftigen Handelns. Der Prozess basiert auf festgelegte Ziele und explizit auf den Sachverhalt bezogene und begründete Kriterien bewerten einen Evaluationsgegenstand. Sozialwissenschaftliche Methoden durch qualifizierte Personen.
Check out courses similar to Evaluation at other universities
Back to Universität Bielefeld overview pageStudySmarter is an intelligent learning tool for students. With StudySmarter you can easily and efficiently create flashcards, summaries, mind maps, study plans and more. Create your own flashcards e.g. for Evaluation at the Universität Bielefeld or access thousands of learning materials created by your fellow students. Whether at your own university or at other universities. Hundreds of thousands of students use StudySmarter to efficiently prepare for their exams. Available on the Web, Android & iOS. It’s completely free.
Best EdTech Startup in Europe
Already registered? Just go to Login