Lernmaterialien für Einführung in die Psychologie - Forschungsmethoden an der Freie Universität Berlin

Textanalysen bei dem man den Sprachinhalt und Sprachstil analysiert. 

Dies kann sowohl quantitativ (Zählen der Häufigkeit bestimmter Wörter um auf psychol. Merkmale zu schließen) als auch qualitativ (interpretation) stattfinden. 

reaktiv = Verhalten wird provoziert
nicht-reaktiv = ohne eingreifen

a) unstrukturiertes Interview = reaktiv

b) Intelligenztest = reaktiv

c) Verhaltensbeobachtung im AC = reaktiv

d) Geburtsratenzählung = nicht-reaktiv

- Bei publication bias werden häufiger und schneller Studien veröffentlicht, die positive Effekte vorweisen können, als solche die negative oder keine Ergebnisse vorweisen können.

- Beim HARKing Effekt wird der Forschungsprozess umgedreht und die Hypothese und die Effekte werden erst nach der Datensammlung und -auswertung verfasst.

Replizierbarkeit

• Ein wissenschaftlicher Befund ist nur dann gesichert, wenn er von jedem zu jeder Zeit wiederholt werden kann.

• Replizierbarkeit wissenschaftlicher Erkenntnisse unterscheidet diese von subjektiven Meinungen

• „nichtreproduzierbare Einzelereignisse sind […] für die Wissenschaft bedeutungslos“ (Popper, 1935)

Die Replikationskrise entstand dadurch, dass Forscher mehrere Studien aus früheren Zeitschriften versucht haben zu replizieren und bei über der Häfte gescheitert sind. Unter anderem sind dafür der HARKing Effekt und der publication bias verantwortlich. Mit Open Science kann man diesen beiden Effekten entgegenwirken. 

Insbesondere durch Open Data und Open Materials kann die Replizierbarkeit vereinfacht werden und dem publication bias kann entgegengewirkt werden, in dem man seine Daten und Materialien öffentlich zugänglich macht, sodass andere Forscher:innen die Studie einfacher replizieren können. 

HARKing kann man durch Präregistrierung umgehen, in dem man schon vorher seine Hypothesen und Forschungsfragen veröffentlicht, bevor man überhaupt Daten sammelt und diese auswertet.

2) HARKing [hypothesizing after the results are known]:

Forschungsprozess wird umgekehrt: 

- _erst die Datenerhebung 
- _dann die Suche nach interessanten Effekten 
- _{und zum Schluss die} Hypothesenbildung und theoretische Begründung für diese Effekte.

1) Präregistrierung (Preregistered)

→ schützt vor HARKing (gut) und publication bias (begrenzt)
   o Was soll untersucht werden?
   o Wie lauten die Hypothesen?
   o Wie sieht das Forschungsdesign aus?
   o Wie ist die Stichprobenziehung geplant?

2) Untersuchungsmaterialien vollständig veröffentlichen (Open Materials)

→ erleichtert Replikation/Weiterführung v. Forschung
   o Stimuli
   o Fragebögen
   o Tests
   o Anweisungen an Interviewer/Experimentatoren

3) Veröffentlichung der Daten (Open Data)

→ erleichtert Replikation und schützt vor falschen Ergebnissen 

  o Rohdaten
   o Aggregierte Daten, auf denen die Ergebnisse beruhen
   o Auswertungssyntaxen (R, SPSS, etc.)

4) Öffentlicher Zugang zu wissenschaftlichen Artikeln (Open Access)
   o Artikel werden fast nur noch digital verbreitet
   o  unbeschränkter und kostenloser Zugang zu wissenschaftlichen Publikationen weltweit

erwartbar und unproblematische Gründe
4) Stichprobenfehler: 

         - Der Effekt der Originalstudie könnte ein statistischer Zufall gewesen sein (-> Statistik II)

5) Effekte der Umsetzung der Studie: 

         - Wahl der Stichprobe

         - Wahl der Messmethode 

         - Wahl des Designs oder der Analyse

... können zu Unterschieden in den Ergebnissen führen.

1) Einzelerhebung vs. Gruppenerhebung 

2) Analyseeinheit: Individuum, Dyaden, Gruppen, soziale Systeme

3) reaktiv vs. nicht-reaktiv

4) transparent vs.intransparent

5) Teilnehmend vs. nicht-teilnehmen

6) typisch vs. maximales Verhalten

1) Einzelerhebung vs. Gruppenerhebung

2) Analyseeinheit: Individuum, Dyade, Gruppen, Soziale Systeme

3) reaktiv vs. nicht-reaktiv

4) transparent vs. intransparent

5) teilnehmend vs nicht-teilnehmend

6) typisches Verhalten vs. maximales Verhalten

1) Fragestellung

z.B.: räumliches Denken

FB (schlecht geeignet)

Test (gut geeignet)

2) Spezifische Merkmale des Untersuchungsobjektes

z.B.: Kleinkinder

Fragebogen (schlecht geeignet)

Beobachtung (gut geeignet)

3) Personeller, zeitlicher und finanzieller Aufwand

z.B.: Schriftliche Befragung

--> in Gruppen anwendbar, wenig aufwand (+)

z.B.: Interviews:

einzeln/individuell (+) 

zeitlicher Aufwand(-)

z.B.: psychobiologische Messungen:

finanzieller und zeitlicher Aufwand (-)

+ Große Ökonomie

+ Hohe Durchführungsobjetivität

+ hohe Vergleichbarkeit über 

     mehrere Personen, 

     Messzeitpunkte 

     und Durchführungskontexte hinweg

1) Allegiance bias [Loyalitätsbias]: 

Eine geschlossene Forschergruppe tendiert dazu, einen Effekt eher zu „replizieren“ als andere, aufgrund von subjektiven Entscheidungen in der Planung, Durchführung und Auswertung.

- Voreingenommenheit, die sich aus der Treue des Forschers zu einer bestimmten Denkschule ergibt.

2) HARKing [hypothesizing after the results are known]:

Forschungsprozess wird umgekehrt: 

- erst die Datenerhebung 
- dann die Suche nach interessanten Effekten 
- und zum schluss erst Hypothesenbildung und theoretische Begründung für diese Effekte.

3) publication bias: 
Studien mit positiven Ergebnissen werden häufiger und schneller veröffentlicht werden als solche mit negativen oder keinen Ergebnissen. 

     Es werden eher Studien veröffentlicht, die:
         - ihre Hypothesen bestätigen können
         - große Effekte zeigen

         - neuartige Effekte zeigen (keine reinen Replikationen)

Besonders relevant, da die Karriere und die Finanzierung von Wissenschaftler*innen in erheblichem Maße von erfolgreichen Publikationen abhängt!