Kakšnim raziskavam lahko verjamete?
Kdor bere Svet psihologije redno že pozna težave v številnih študijah, ki jih financira industrija. Toda ta članek nakazuje, da so težave s strokovno pregledanimi raziskavami veliko globlje od preprostih pristranskih naravnanosti. Znanstveniki so pristranski v mnogih, mnogih pogledih (ne samo zaradi denarne koristi). In ta pristranskost se neizogibno pokaže pri delu, ki ga opravljajo - znanstvenih raziskavah.
Zame to ni nov boben, ki bi ga bilo treba premagati - govoril sem o pristranskosti raziskovalcev leta 2007 in o tem, kako raziskovalci oblikujejo študije, da bi našli konkretne rezultate (ta primer je vključeval raziskovalce, ki so pri iskanju - samomorilnih metod - počakali - «V Googlu). Opazili smo, kako skoraj vsaka študija v revijah, kot je Psihološka znanost se skoraj izključno zanašajo na študente, zbrane iz enega kampusa kot predmete - pomembna omejitev, ki jo redko omenjajo v samih študijah.
Tu pa je resnično zaskrbljujoč vidik - tovrstne pristranske študije se pojavljajo v vseh vrstah revij. JAMA, NEJM in BMJ niso imuni od objavljanja bednih, pomanjkljivih študij v medicini in psihologiji. Mislimo, da je "uglednost" revije nekakšen znak vloge vratarja - da morajo biti študije, ki se pojavljajo v najprestižnejših revijah, v osnovi dobre.
Toda to preprosto ni res. Cesar ni samo gol - njegovi podložniki so mu skrivali oblačila, da bi lahko nadaljevali svojo kariero.
Objava objavljenih pristranskih študij je bila prvič v središču pozornosti že leta 2004, ko so generalni državni pravobranilci zaradi skrivanja raziskovalnih podatkov o družbi Paxil tožili GlaxoSmithKline. Od takrat je na dan prišlo na desetine študij in od takrat so bile objavljene druge študije, ki kažejo, kako farmacevtska podjetja redno skrivajo ustrezne podatke o raziskavah. Ti podatki ponavadi kažejo, da zdravilo, ki se preučuje, v primerjavi s sladkorno tableto ni bilo učinkovito pri zdravljenju ne glede na motnje, za katere je bilo namenjeno. (Blogi, kot sta Klinična psihologija in psihiatrija: Podrobnejši pogled in Blog o psihiatriji Carlat, imajo več podrobnosti o teh študijah.)
Kaj pa druge vrste pristranskosti? Ali nas zanimajo samo študije, pri katerih je pristranskost tako očitna, ali nas ne bi smele skrbeti kakršne koli pristranskosti, ki bi lahko vplivale na zanesljivost rezultatov?
Odgovor je seveda, da bi nas morale zanimati vse oblike pristranskosti. Vse, kar lahko vpliva na končne rezultate študije, pomeni, da so lahko zaključki študije vprašljivi.
John Ioannidis, profesor na Univerzi v Ioannini, se je za to vprašanje začel zanimati v medicinskih raziskavah. Zato je sestavil strokovno skupino raziskovalcev in statistikov, ki je poglobila globino in ugotovila, kako hud je bil problem. Kar je ugotovil, raziskovalcev ni presenetilo, bo pa presenetilo večino laikov -
Zmeden je začel iskati konkretne načine, kako so študije šle narobe. In kmalu je odkril, da je vrsta storjenih napak presenetljiva: od vprašanj, ki so jih zastavili raziskovalci, do tega, kako so postavili študije, do tega, katere bolnike so zaposlili za študije, do katerih meritev so opravili, do tega, kako so analizirali podatke , kako so predstavili svoje rezultate, kako so bile določene študije objavljene v medicinskih revijah. […]
"Študije so bile pristranske," pravi. »Včasih so bili odkrito pristranski. Včasih je bilo težko videti pristranskost, vendar je bila tam. " Raziskovalci so se podali v svoje študije, ki so želeli določene rezultate - in, glej, dobili so jih. Za znanstveni proces mislimo, da je objektiven, strog in celo neusmiljen pri ločevanju resničnega od tistega, kar si zgolj želimo, da bi bilo resnično, v resnici pa je z rezultati mogoče enostavno manipulirati, tudi nehote ali nezavedno.
"Na vsakem koraku v postopku je prostor za izkrivljanje rezultatov, način za močnejšo trditev ali izbiro, kaj bo končano," pravi Ioannidis. "Obstaja intelektualno navzkrižje interesov, ki pritiska na raziskovalce, naj najdejo tisto, kar je najverjetneje za njihovo financiranje."
Ioannadis je sestavil zapleten matematični model, ki bi na podlagi vseh teh spremenljivk napovedal, koliko raziskav je lahko napačnih. Njegov model je napovedal, da se bo "80 odstotkov nerandomiziranih študij (daleč najpogostejših [[zlasti psiholoških raziskav]]" [izkazalo] napačnih, prav tako 25 odstotkov domnevno zlato standardnih randomiziranih preskušanj in kar 10 odstotkov velikih randomiziranih preskušanj s platino. "
Nato je ta model preizkusil na 49 študijah, ki so vsebovale najbolj cenjene raziskovalne ugotovitve v medicinskih raziskavah v zadnjih 13 letih. Ti so bili v najbolj citiranih medicinskih revijah in so bili sami najbolj citirani članki.
Od 49 člankov jih je 45 trdilo, da so odkrili učinkovite posege. Štiriintrideset teh trditev je bilo ponovno preizkušenih, 14 od njih ali 41 odstotkov pa je bilo prepričljivo dokazano napačnih ali bistveno pretiranih. Če se je med tretjino in pol najbolj odmevnih raziskav v medicini izkazalo za nezaupljivega, sta bila obseg in vpliv problema nesporna. […]
Od teh 45 supercitiranih študij, na katere se je osredotočil Ioannidis, 11 še nikoli ni bilo ponovno preizkušenih. Morda še huje, Ioannidis je ugotovil, da tudi če se napaka v raziskavi odstrani, običajno traja leta ali celo desetletja. Ogledal si je tri ugledne zdravstvene študije iz osemdesetih in devetdesetih let, ki so bile pozneje odločno ovržene, in ugotovil, da so raziskovalci še naprej pogosteje kot napačne navajali prvotne rezultate - v enem primeru vsaj 12 let po diskreditaciji rezultatov .
Toliko o znanstvenikih, ki ponovno preizkušajo objavljene rezultate drugih - edini dokončni način boja proti pristranskosti. Kako skoraj 25 odstotkov najbolj citiranih medicinskih študij v zadnjih 13 letih ni bilo mogoče ponovno preizkusiti? Osupljivo.
Rezultat večine od nas je, da skoraj nihče ne more ugotoviti, ali določena raziskava resnično kaže na pozitivne, nove in trdne rezultate. Brez podrobne analize študije - in vseh predhodnikov študije - je dajanje novih raziskav v kontekst dolgotrajna in težka naloga. Poleg tega Ioannidisov model kaže, da je velika večina psiholoških raziskav - morda kar 80 odstotkov - verjetno napačnih. Tu res ni srebrne podloge.
Razen morda, da so raziskovalne skupine, kot je Ioannidis, na delovnem mestu in si prizadevajo pokazati, kako lahko pristranskost prodre v celo raziskave "zlatega standarda".
Spremembe so v veliki meri odvisne od tega, kako posamezni raziskovalci spoznajo te pristranskosti in si veliko bolj prizadevajo, da bi jim študij ostal brez. A ker noben vratar dejansko ne preverja zasnove študije ali statističnih metod, je malo spodbud za spremembe. Finančne in poklicne spodbude za raziskovalce, da še naprej objavljajo, kot jih imajo tradicionalno, da bi ohranili svoj akademski in poklicni položaj, ostajajo nepremagljivo močne.
Celoten članek je vreden vašega časa: Laži, preklete laži in medicinska znanost
Čeprav ni idealen, je tukaj naš uvodnik izpred nekaj let o tem, kako opaziti dvomljive raziskave - ali je raziskava dobra?
.jpg)
