Kaj pomeni pomanjkanje ponovljivosti v psiholoških raziskavah?

Prejšnji teden so prišli do rezultatov največjih prizadevanj na svetu za reprodukcijo rezultatov, najdenih v psiholoških raziskavah. Projekt Reproducibility Briana Noseka je v samo treh glavnih revijah o psihologiji leta 2008 objavil rezultate 100 psiholoških eksperimentov. Poskusil je reproducirati študijo, da bi ugotovil, kakšne rezultate bi dobili.

V idealnem svetu bi lahko pomislili, da bi moralo nekaj od približno 75 ali celo 80 odstotkov študij dati podobne rezultate, kajne? Ker so nove študije raziskovalce, ki so skrbno upoštevali prvotne raziskovalne metode, preprosto ponovno izvedli na drugi populaciji. V večini primerov so imeli raziskovalci tudi neposreden stik in sodelovanje prvotnih raziskovalcev.

Toda v najdbi se je od objave v prejšnjem tednu zavrtelo ducat različnih načinov Znanost revije, Projekt ni bil blizu 75 odstotkov. Le 36 odstotkov ponovitev je dalo pomembne rezultate - v primerjavi z 97 odstotki prvotnih 100 študij.

Kaj to pomeni za psihologijo?

Kljub temu, da so nekateri poskušali to ugotovitev zavrteti kot ne nepričakovano ali "ne tako slabo, kot bi lahko bilo", to za psihološko znanost ne predstavlja dobrega. Vsak mesec je objavljenih na stotine novih študij psihologije. Ta ugotovitev na kratko pomeni, da večini ugotovitev teh študij ni treba zaupati. Pravzaprav so napačni.

Od Atlantika pokritost:

"Stopnja uspeha je nižja, kot bi si mislil," pravi John Ioannidis s univerze Stanford, katere klasični teoretični članek Zakaj so ugotovitve večine objavljenih raziskav napačne je bil strelovod za gibanje ponovljivosti.

»Slabo mi je, ko vidim, da so bile nekatere moje napovedi potrjene. Želim si, da bi se izkazalo, da se motijo. "

Druga slaba ugotovitev nove raziskave je, da so bile izmerjene velikosti učinkov običajno 50 odstotkov manjše od tistih, ki so jih našli prvotni raziskovalci. To pomeni, da tudi takrat, ko so novi raziskovalci reproducirali rezultate, vpliv preučevanih spremenljivk ni bil niti približno tako pomemben, kot so mislili prvotno.

Razlogi za slabo ponovljivost v psiholoških raziskavah

Obstaja ducat različnih razlogov za to slabo prikazovanje s psihološkimi raziskavami. Toda preden bomo pregledali nekatere od njih, je to hladen pljusk resničnostne vode, če vzamemo rezultate ene same študije in jih posplošimo. Ali še huje, če verjamemo, da je nekaj res, če tega še ni pokazala več kot ena sama študija.

Če študija ni dvojno slepa - saj večina teh ni bila - lastne pristranskosti raziskovalcev lahko subtilno vplivajo na način zbiranja ali analiziranja podatkov. Če je raziskovalec pravkar 8 ali 18 mesecev zbiral podatke samo zato, da ne bi ugotovil pomembnih rezultatov, se lahko odpravi na podatkovno ribolovno ekspedicijo, da bi našel kakšen drug podatkovni odnos, ki ga lahko objavi.1 Raziskovalci nato spremenijo svoje prvotne hipoteze, da ustrezajo dejanskim podatkom ugotovljeno (ker večina raziskovalcev še vedno ne vnaprej registrira svojih raziskav pri službi za sledenje - čeprav se to počasi spreminja).

Drugi menijo, da je morda razlaga "presenetljivost" še ena razlaga - da se revije danes osredotočajo na objavljanje presenetljivih ugotovitev, saj so bolj priljubljene in zanimive za bralce. Ko v sredino dodate možnost regresije - da so spremenljivke morda najbolj skrajne, ko jih izmerite prvič, vendar manj ekstremne, če jih izmerite drugič ali tretjič, je predlog, da ta dva dejavnika skupaj spodbudita objavo študij, ki so po naravi težke razmnoževati.

Kaj to pomeni za psihološko znanost?

Človeška narava je neskončno zapletena. Psihološka znanost poskuša dekonstruirati človeško vedenje in čustva na majhne koščke, da bi bolje razumela celoto. Če pa raziskave ne morejo reproducirati znanosti, ki stoji za njimi, nakazuje, da tudi večini tega, kar vsako leto objavi področje, ni mogoče zaupati.

Vendar pa tudi statistike obnovljivosti večine znanosti ne poznamo, saj na drugih področjih še nikoli niso poskušali ničesar podobnega projektu obnovljivosti. Mogoče je, da je to napaka, ki jo utrpi večina znanosti, ali pa je napaka, ki bolj kot druge vede vpliva na družbene vede.

Toda to kratkoročno poudarja nekaj, kar sem že vedno govoril - ugotovitev psihološke znanosti ni nekaj, na kar bi si lahko obesili klobuk, dokler ga ne razmnoži drug raziskovalec. Ugotovitve, ki jih je mogoče reproducirati, naj bi bile "robustne" in jim zato zaupajo.

Poiščite tovrstne informacije pri ocenjevanju ali branju novic, ki temeljijo na novi študiji. Čeprav niso tako seksi kot nove, "presenetljive" ugotovitve, so raziskave, ki preverjajo ali postavljajo pod vprašaj tisto, za kar že mislimo, da vemo, enako pomembne.

Za več informacij…

Atlantik: Kako zanesljivi so študiji psihologije?

The Guardian: Študija daje mračno razsodbo o veljavnosti rezultatov psihološkega eksperimenta

Mindhacks: Ne kličite tega kot vrnitev

Referenca

Odprto znanstveno sodelovanje. (2015). Ocena ponovljivosti psihološke znanosti. Znanost, 28.

Projekt ponovljivosti: Psihologija - surovi podatki

Opombe:

1. Sicer so ves ta čas, denar in trud zapravili, ker le malo raziskovalcev lahko ali želi objaviti nične rezultate. [↩]
2. In resnično postavlja pod vprašaj široko posploševanje avtorjev o uporabnosti njihovih ugotovitev, ki jih najdemo v skoraj vseh oddelkih razprave nedavnih študij psihologije. [↩]