Evaluation at Universität Bielefeld

Flashcards and summaries for Evaluation at the Universität Bielefeld

Arrow Arrow

It’s completely free

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

studysmarter schule studium
d

4.5 /5

studysmarter schule studium
d

4.8 /5

Study with flashcards and summaries for the course Evaluation at the Universität Bielefeld

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Erklären Sie in eigenen Worten den Unterschied zwischen Evaluation im alltäglichen Verständnis und wissenschaftlich fundierter Evaluationsforschung

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Summative und formative Evaluation erklären

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Erklären Sie den Unterschied zwischen direkter und indirekter Veränderungsmessung, so-
wie jeweils Vor- und Nachteile.

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Was versteht man unter need assesment und weshalb ist es in der Evaluation wichtig?

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Erläutern Sie den Unterschied zwischen Effekt und Effizienz.

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Ausschöpfungsquote (was ist das und welche Informationen sind aus ihr ablesbar?) In welchen Situationen ist sie besonders wichtig?


Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Program theory erklären + die Bestandteile einordnen/in Bezug zueinander setzen

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Beschreiben Sie kurz die Begriffe Impact Theory, Service Utilization Plan und Organisational Plan

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Nennen von zwei weiteren Evaluationskriterien, diese erklären und jeweils ein Beispiel.
Transfererfolg war gegeben.

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Was sind Stakeholder und 2 Beispiele dafür.

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Im CIPP-Modell werden die wesentlichen Bereiche „context, input, process, product“ beschrieben. Welche Aspekte rücken im Bereich Kontext in den Vordergrund? Erläutern Sie die Aspekte anhand eines selbstgewählten Beispiels!

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Was versteht man unter UTOS? Erklären Sie und erläutern Sie, warum UTOS im Kontext von Generalisierbarkeit beachtet werden muss!

Your peers in the course Evaluation at the Universität Bielefeld create and share summaries, flashcards, study plans and other learning materials with the intelligent StudySmarter learning app.

Get started now!

Flashcard Flashcard

Exemplary flashcards for Evaluation at the Universität Bielefeld on StudySmarter:

Evaluation

Erklären Sie in eigenen Worten den Unterschied zwischen Evaluation im alltäglichen Verständnis und wissenschaftlich fundierter Evaluationsforschung

Generell meint Evaluation den Wert eines Objektes festzustellen oder abzuschätzen. Evaluation an sich ist vieles, da es viele Möglichkeiten gibt Hintergründe oder Sachverhalte zu analysieren. Allerdings sind nicht zwingend systematische Verfahren dazu notwendig.
Evaluationsforschung ist ein Prozess. Das Produkt: Rückmeldung verwertbarer Ereignisse durch Beschreibungen, begründete Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene zur Optimierung des Evaluationsgegenstandes und Unterstützung zukünftigen Handelns. Der Prozess basiert auf festgelegte Ziele und explizit auf den Sachverhalt bezogene und begründete Kriterien bewerten einen Evaluationsgegenstand. Sozialwissenschaftliche Methoden durch qualifizierte Personen.

Evaluation

Summative und formative Evaluation erklären

Kurz:

Formative Evaluation ist die Beurteilung und Verbesserung eines Prozesses, die innerhalb vorab festgelegter Ziele und Kriterien durch ständiges Feedback im Verlauf stattfindet.

Summative Evaluation meint die abschließende Beurteilung und die Überprüfung der Ergebniserreichung bei vollständig entwickelter Maßnahme nach der Durchführung.


Lang:

Formative EvaluationProspektive Anwendung von CIPP. Informationen zur Entschei-
dungsfindung und Qualitätssicherung

  • Identifizierung notwendiger Interventionen
  • Wahl und Rangreihung von Zielen (basierend auf Bedürfniserfassung und Möglichkeiten).
  • Erfassung alternativer Strategien und Verteilung der zur Verfügung stehenden Ressourcen = Anleitung zur Wahl eines Programms oder einer Strategie
  • Abgleich durch Untersuchung des Arbeitsplans. Hilfestellung bei der Implementierung durch Monitoring und Beurteilung der Aktivitäten und wiederholtes evaluatives Feedback
  • Produkt: Hilfestellung bezüglich der Fortführung, Modifikation, Annahme oder Beendigung des Programms auf Grundlage der Ergebnisse und Nebeneffekte.

Summative Evaluation: Retrospektive Anwendung von CIPP. Information, um Nutzen, Werte und Bedeutung des Programms zusammenzufassen.

  • Abgleich der Zielsetzungen und Prioritäten in Relation zu den Bedürfnissen, Problemen und Möglichkeiten. 
  • Es fließt der Vergleich der Programmstrategie, des Versuchsplans und des Budgets ein, in Relation zu den Mitbewerbern und den angestrebten Bedürfnissen der Betroffenen.
  • Umfassende Beschreibung der tatsächlichen Prozesse und Kosten im Vergleich mit vorgesehenen
  • Vergleich der Haupt- und Nebeneffekte in Relation zu den angestrebten Bedürfnissen, soweit möglich, zu den alternativen Programmen stellen, und die Interpretation gegenüber dem erfassten Kontext, Input und Prozessen des Projektes.


Evaluation

Erklären Sie den Unterschied zwischen direkter und indirekter Veränderungsmessung, so-
wie jeweils Vor- und Nachteile.

a. Direkte Veränderung = direkte Erfassung der Veränderung

  • + ökonomisch
  • + bester Indikator für subjektiv erlebte Veränderung
  • - anfällig für Verzerrungen/Verfälschungen
  • - hoher Aufforderungscharakter

b. Indirekte Veränderung = Messung einer Variablen über mehrere Messzeitpunkte

  • + weniger anfällig für Verzerrungen/Verfälschungen
  • - anfällig für Effekte die mit echter Veränderung nichts zu tun haben
  • - Gefahr selektiven Drop-Outs
  • - Regressionseffekte

Evaluation

Was versteht man unter need assesment und weshalb ist es in der Evaluation wichtig?

Prototypische Schritte:

(1) Identifikation von Nutzern und Nutzen des NA

  • Nutzer = Personen, die NA als Entscheidungshilfe nutzen + Betroffene

(2) Beschreibung der Betroffenen (target population) und Umgebung der Maßnahme

  • Charakteristika der Betroffenen (Stärken, Schwächen) Auswahlkriterien der Maßnahme
  • Kapazität der Maßnahme
  • Abgleich der Teilnehmer einer Maßnahme und der Zielgruppe

(3) Need- Identifikation (Beschreibung der Probleme in der Zielgruppe und mögliche Lösungen)

  • Informationen zu Erwartungen an die Maßnahme bzgl. der Effekte, gegenwärtiger Stand, Effizienz und Machbarkeit, Nutzung von Lösungen

(4) Need-Assessment (Empfehlungen für Maßnahmen aussprechen)

(5) Kommunikation der Ergebnisse

  • An Entscheidungsträger, Nutzer und andere Stakeholder

Evaluation

Erläutern Sie den Unterschied zwischen Effekt und Effizienz.

Effekt ist die Wirkung einer Maßnahme (Nutzen), 

Effizienz rechnet die Kosten die zur Erreichung des Effekts entstehen ein, so dass Nutzen im Verhältnis zum Aufwand betrachtet werden kann.

Evaluation

Ausschöpfungsquote (was ist das und welche Informationen sind aus ihr ablesbar?) In welchen Situationen ist sie besonders wichtig?


Das Ausmaß, in dem richtige Positive und richtige Negative korrekt differenziert und falsche Positive bzw. falsche Negative vermieden wurden, wird in der Ausschöpfungsquoteangegeben.
𝐴𝑄 = 100 ∙ (𝐴𝑛𝑧𝑎ℎ𝑙 𝑟𝑖𝑐ℎ𝑡𝑖𝑔𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝐵𝑒𝑡𝑟𝑜𝑓𝑓𝑒𝑛𝑒𝑛 ) − (𝐴𝑛𝑧𝑎ℎ𝑙 𝑓𝑎𝑙𝑠𝑐ℎ𝑒𝑟 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒𝑟 : 𝐴𝑛𝑧𝑎ℎ𝑙 𝑎𝑙𝑙𝑒𝑟 𝑇𝑒𝑖𝑙𝑛𝑒ℎ𝑚𝑒𝑟 )

Evaluation

Program theory erklären + die Bestandteile einordnen/in Bezug zueinander setzen

- Beschreibung der Beziehung zwischen Programm-Ressourcen, -Aktivitäten & -Outcomes, welche zeigt wie Programm ablaufen & intendierte Ziele erreichen sollte
- Bestandteile:
(1) Input (Zielpopulation, Service Arena, Programm)
(2) Aktivität (program’s organisational plan, Programmelemente, Interaktion zwischen Zielpopulation und Programm -> service utilization plan)
(3) Output (bspw. Teilnahme am Programm)
(4) Initial Outcome
(5) Intermediate Outcome
(6) Long-Term Outcome

  • Für Outcomes wird Impact Theory als Grund-Effekt-Sequenz verwendet, welche beschreibt wie Veränderung bewirkt wird

- Kernfragen:

(1) Wie gut ist Intervention geplant?

(2) Liegt ein ausformuliertes Programm vor?

(3) Gibt es eine klar formulierte Beziehung zwischen Programmbausteinen und Zielen?

(4) Ist die Durchführung von Intervention und Evaluation plausibel und machbar?

Evaluation

Beschreiben Sie kurz die Begriffe Impact Theory, Service Utilization Plan und Organisational Plan

-Impact Theory

  • Kausale Theorie
  • Es wird direkte Grund-Effekt-Sequenz betrachtet, welche die Veränderung hervorbringen soll bspw. Bei einem Job-Training werden Qualifikation, Fähigkeit bei Arbeitssuche & Bewerbung und Arbeitsmotivation thematisiert, woraus eine bessere Stelle resultiert und durch die bessere Stelle auch ein besserer sozio-ökonomischer Status

- Service Utilization Plan

  • Beschreibt wie Teilnehmer in Programm eingebunden werden
  • Führt in Form eines Flussdiagramms die aufeinander folgenden Schritte der Maßnahme auf, bzw. Pfade, die die Teilnehmer gehen können, und auch an welchen Punkten der Maßnahme Teilnehmer aussteigen könnten

- Organisational Plan

  • Beschreibt Programm-Ressourcen und -Aktivitäten und wie diese organisiert und gemanaged werden müssen bzw. Aufgaben und Anforderungen die im Rahmen des Programms für die Durchführer dessen anfallen
  • umfasst Funktionen und Aktivitäten des Programms, finanzielle, menschliche und physische Ressourcen

Evaluation

Nennen von zwei weiteren Evaluationskriterien, diese erklären und jeweils ein Beispiel.
Transfererfolg war gegeben.

Transfererfolg: Transfer in andere Bereiche? Situationstransfer (Schule -> ‚wahres Leben‘) und Anforderungstransfer (Physik -> Biologie) Bsp.: Ob die Inhalte eines Seminars zur Fort-/Weiterbildung zur Lebens-/Arbeitswelt der Teilnehmer passen.
Wirksamkeit(Effektivität): Wirkung der Maßnahme? Besser oder schlechter als Alternativen? Unerwartete Folgen oder Nebenwirkungen? Bei wem wirksam? Bsp.: Nach der Einführung eines Programms zur Förderung der sozialen Kompetenz von Schülern muss evaluiert werden, ob das Programm Wirkung zeigt.
Kosten-Nutzen-Bilanz (Effizienz): Betriebs-oder volkswirtschaftliche Nutzen? Vergleich von Maßnahmen Bsp.: Wenn eine neue teurere Software in eine Firma eingeführt wird, muss evaluiert werden, ob dadurch Zeit eingespart wurde, und in welchem Maße, sodass die Umstellung zwar mehr kostet jedoch einen größeren Nutzen hat oder eben kein positiver Effekt auf die Effizienz der Arbeiter zu sehen ist.
Bedarf: Zustand, der die Einführung einer Maßnahme rechtfertigt? Wer ist betroffen und in welchem Ausmaß? Bsp.: Evaluation von Altersarmut: Für welche Gruppe von Arbeitnehmern muss es gesetzliche Unterstützung im Alter geben, sodass sie nicht unter die Ar-
mutsgrenze fallen?

Qualität des Interventionskonzepts: Wie ist Intervention konzipiert? Explizite und implizite Annahmen plausibel begründet (Theorie und Empirie)? Bsp.: Wie ist das Programm zur Erhöhung der sozialen Kompetenz an Schulen geplant? Evaluieren des Konzepts –
wird es so funktionieren?

Qualität der Einführung und Implementation: Rahmenbedingungen für Intervention gegeben? Umsetzung wie vorgesehen (treatment fidelity)? Intervention angemessen an Rahmenbedingungen angepasst? Bsp.: Evaluieren von Voraussetzungen für ein neue Software im Unternehmen. Kann die Software auf allen Geräten funktionieren?
Akzeptanz: Annahme durch Teilnehmer? Zufrieden mit Intervention?

Nachhaltigkeit: Dauerhafte Wirkung? Bsp.: Wird eine bestimmte Fortbildungsmaßnahme gut von den Arbeitnehmern angenommen = wirkt sie?
State oft the Art: Konzeption, Implementation und Evaluation an Regeln der Kunst orientiert? Bsp.: Studie überprüfen, ob bspw. die Zielgruppe erreicht wurde, oder die Ergebnisse verzerrt/manipuliert wurden, oder ob die Art der Erhebung/ die Vorgehensweise sinnvoll war.

Evaluation

Was sind Stakeholder und 2 Beispiele dafür.

Auftraggeber: Die Atomindustrie könnte ein Auftraggeber und somit Stakeholder in einer Evaluation zu den Vor‐ und Nachteilen der Nutzung der Sonnenkraft als Energiequelle sein. Ihre Einflussnahme wäre vermutlich derart, dass negative Aspekte in den Vordergrund gestellt werden sollen...
Stakeholder sind Personen, die entweder Gegenstand der Evaluation sind, Externe, die Informationen liefern oder Teilmaßnahmen durchführen, Zielpersonen der Maßnahme, Auftraggeber der Evaluation, aber auch Betroffene und Beteiligte von Konkurrenzprodukten und die gesellschaftliche & wissenschaftliche Öffentlichkeit und Medien

Evaluation

Im CIPP-Modell werden die wesentlichen Bereiche „context, input, process, product“ beschrieben. Welche Aspekte rücken im Bereich Kontext in den Vordergrund? Erläutern Sie die Aspekte anhand eines selbstgewählten Beispiels!

Context
- Rahmenbedingungen/Umfeld/Probleme im Umfeld
- Bestimmung der Nutznießer und der angestrebten Ziele einer Intervention
- Umfeldanalyse in Bezug auf die von der Dienstleistung oder dem Projekt adressierten Bedürfnisse der Zielgruppe und auf Basis dessen Formulierung und Anpassung von Zielen
Input
- Prüfung, welche Ressourcen und Mittel für die Durchführung einer Maßnahme oder Bereitstellung einer Dienstleistung benötigt werden
- Ressourcen, Realisierungsmöglichkeiten, Aktionspläne, Konzepte
Process
- Laufende Prüfung der Umsetzung einer Maßnahme: Prüfung der Beteiligung und Akzeptanz der Zielgruppe, Einhaltung der vorgegebenen Termine etc.
Product
- Prüfung, ob beabsichtigte Veränderungen bei Zielgruppen und Betroffenen festgestellt werden können
- Feststellung nicht nur der gewollten Ergebnisse, sondern auch der „Nebenwirkungen“/ungewollten Ergebnisse

Evaluation

Was versteht man unter UTOS? Erklären Sie und erläutern Sie, warum UTOS im Kontext von Generalisierbarkeit beachtet werden muss!

Units receive Treatments, while we observe the outcome in a particular setting.

  • Nach Cronbach müssen 4 Elemente bei der Diskussion der Generalisierbarkeit
    berücksichtigt werden:
    - UNITS (Einheiten oder Personen)
    - TREATMENTS (Maßnahmen)
    - OBSERVATIONS/OUTCOMES (Beobachtungen/ Resultate, Ergebnisse)
    - SETTING
  •  Es werden Schlüsse angestrebt, die über den Rahmen der Untersuchung hinaus
    für alle denkbaren Personen (UNITS), Wirkvariablen/Maßnahmen (TREATMENTS), Kriterienvariablen (OBSERVATIONS/OUTCOMES) und Kontextbedingungen (SETTINGS) gültig sind.
    -> Aus utos (lokal, spezifisch) soll UTOS (global) werden
  • Problem: wie relevant sind die Ergebnisse für andere Bedingungen wirklich?
    Lässt sich so einfach generalisieren? Experimente sind lokal gültig, sollen aber
    globale Aussagen ermöglichen! Operationalisierung, Statistik/Grundgesamtheit,
    Bestätigung, Probandenwahl, Settingwahl, Treatmentwahl
    => Es kommt zu Schwierigkeiten (Einschränkungen der externen Validität)
    wenn eine Interaktion zwischen Grund-Ursache-Beziehung und UnitsTrea-
    tmentsObservationsSettings, oder eine kontextabhängige Mediation vor-
    liegt

Sign up for free to see all flashcards and summaries for Evaluation at the Universität Bielefeld

Singup Image Singup Image
Wave

Other courses from your degree program

For your degree program Evaluation at the Universität Bielefeld there are already many courses on StudySmarter, waiting for you to join them. Get access to flashcards, summaries, and much more.

Back to Universität Bielefeld overview page

What is StudySmarter?

What is StudySmarter?

StudySmarter is an intelligent learning tool for students. With StudySmarter you can easily and efficiently create flashcards, summaries, mind maps, study plans and more. Create your own flashcards e.g. for Evaluation at the Universität Bielefeld or access thousands of learning materials created by your fellow students. Whether at your own university or at other universities. Hundreds of thousands of students use StudySmarter to efficiently prepare for their exams. Available on the Web, Android & iOS. It’s completely free.

Awards

Best EdTech Startup in Europe

Awards
Awards

EUROPEAN YOUTH AWARD IN SMART LEARNING

Awards
Awards

BEST EDTECH STARTUP IN GERMANY

Awards
Awards

Best EdTech Startup in Europe

Awards
Awards

EUROPEAN YOUTH AWARD IN SMART LEARNING

Awards
Awards

BEST EDTECH STARTUP IN GERMANY

Awards