Design - Diagnostik an der Universität Osnabrück

• Untersuchungsdesign kann ursächlich sein, wenn die Fragestellung nicht beantwortet werden kann
  1. Kausaliätsproblem
  2. Verzerrung der Effektschätzung
  3. Schlechtes Design kann nicht durch komplexe Auswertung kompensiert werden
• Multikausalität
  1. Komplexität psychologischer Phänomene berücksichtigen
  2. Mehr als eine Ursache können zusammen auftreten (Teilursache ist alleine nicht hinreichend; unterschiedliche Ursachenkonstellationen können zu demselben Ergebnissen führen; Teilursachen können auch bei anderen psychoscholgischen Phänomenen relevant sein)
• Bestimmung potentiell relevanter Variablen ist notwendig
  1. UV
  2. AV
  3. Störvariablen
  4. Evtl Moderatoren und Mediatoren

• Ausschlaggebend: Randomisierung
  1. Ja = Experiment
  2. Nein = Quasi-Experiment (natürliche Gruppen)
  3. teilweise Unterscheidung zwischen Quasi-Experimenten bei natürlichen Gruppen Nicht-Experimenten (= Korrelationsstudien, Fallstudien etc.)

Selbst bei Experimenten: Kausalitätsschätzung oder potentielle Kausalität

• Eigentlich müsste jede Person/ jede Einheit gleichzeitig in jeder Bedingung untersucht werden (unmöglich!)
• Plausibilität der Schätzung erhöhen
  1. Experimente besser als Quasi-Experimente
  2. Einsatz von Methoden wie propensity score matching bei Quasi-Experimenten

• Kovarianzprinzip
  1. Zusammenhang zwischen den Variablen
  2. UV-Änderung geht mit AV-Änderung einher
• Zeitliche Abfolge
  1. Ursache geht Wirkung zeitlich voraus
• Mehrere Messzeitpunkte
  1. (Traitveränderungen, Mediationsmodelle); ideal: jede Variable zu jedem Zeitpunkt erfassen
• Ausschluss alternativer Erklärungen
  1. Ceteris paribus Regel („unter sonst gleichen Bedingungen“); Bedingungen der Gruppen nur durch UV verschieden - AV Unterschiede gehen auf UV-Unterschiede zurück
  2. wichtig für die interne Validität der Untersuchung
  3. Kontrolle durch Techniken wie Randomisierung, Parallelisierung und Propensity score matching
  4. In Quasi-Experimenten meist verletzt

Effekte können eindeutig auf die Bedingungsvariation zurückgeführt werden

1. Alternative Erklärungen ausgeschlossen

Problematisch besonders bei systematischen Störvariablen 

• Personenbezogen vs. Situationsbezogen vs. Positionsbezogene (bei Messwiederholung)
• Konfundierung: unklar ob die UV oder die Störvariable für die Unterschiede in der AV verantwortlich sind

Noncompliance: Teilnehmende ignorieren die Instruktion

• Oft in einer Untersuchungsbedigung stärker als in anderen
• Technologischer Fortschritt (Facebook-Gruppen etc.) als Problem - Kommunikation von Teilnehmern
• Versuch herauszufinden in welcher Gruppe man ist
• Nachträgliche Kontrolle selten möglich
• Prävention
  1. Bestrafung (Geld, Verbot der Teilnahme an weiteren Studien)
  2. Identidifkation nicht immer möglich
  3. Erhöhung der Attraktivität
     • Entschädigung, Reisekosten, Kinderbetreuung, Treatmentgarantie ertc.
  4. Zuweisung von Personen mit geteilter Umgebung zu denselben Bedingungen (Ehepartner, Geschwister etc. mit gleicher Behandlung)

• Konstanthaltung
• Elimination
• Randomisierung
• Parallelisierung bzw. Matching
• Einführung eines Kontrollfaktors

• Störvariable als UV berücksichtigt (ANOVA rechnen mögich)

• Statistische Adjustierung
• Propensity score matching
• Messwiederholung
• Ausbalancieren

Ziel: Selektion von Personen bei der Auswertung oder Gewichtung der Ergebnisse anhand des Scores

Nachträglich feststellen ob sich die Gruppen in Bezug auf die Störvariablen unterscheiden

(nach der Datenerhebung, vor der Datenauswertung)

• Propensity = Neigung / Wahrscheinlichkeit (0-1), dass eine Person zur EG gehört
• Störvariablen als Prädiktoren für die Propensity
• Gruppenzugehörigkeit als Kriterium
• Würde für jeden einzelne Person bestimmt
• Wahrscheinlichkeit, dass eine Person mit den gegebenen Prädiktoren (=Störvariablen) zur EG gehört
• Unterscheiden sich die Gruppen in Bezug auf ihren Propensity-Score? ; wenn ja, dann gibt es systematische Unterschiede zwischen den Gruppen
• Matching: Personen aus den Gruppen mit ähnlichen Scores zusammenfügen à in beiden Gruppen müssen Personen mit ähnlichen Scores haben (für einen hohen in der EG muss auch ein hoher in der KG sein)

muss gegeben sein um Aussagen über Zusammenhänge zwischen Variablen, Prävalenzraten oder Wirkungen von Interventionen machen zu können 

behinhaltet: 

• interne Validität 
• externe Validität 
• statistische Validität (statistical conclusion validity) 
• Variablenvalidität bzw. Konstrukvalidität (construct validity)

Konstanthaltung

1. Störvariable in allen Untersuchungsbedingungen gleich

Elimination

1. Spezialfall der Konstanthaltung
2. Störvaiable ausschalten

Nur Konstanthaltung und Elimination führen zur Beseitigung systematischer und unsystematischer Störeinflüsse

Nachteil: 

• in Felduntersuchungen häufig nicht machbar
• Störvariablen müssen bekannt sein

• Zufällige Einteilung: Risiko der systematischen Störvariablen reduziert
• Vorteil: auch unbekannte Störvariablen kontrolliert
• Problem: bei kleinen Stichproben nicht wirksam

• Bei bekannten Störvariablen
• Rangreihe der Störvariablen (bspw. Intelligenz der Personen)
• Durch ein Schema in Gruppen eingeteilt (ABBA etc.)
• auch mit multiplen Störvariablen möglich

• AUspartialisierung des Einflusses der Störvariablen
• Vorteil: simultante Adjustierung mehrerer Verariablen
• Problem: Generalisierung des Ergebnisses ist erschwert