Naj podatki govorijo? Ne, ne vedno
Frank L. Schmidt, cenjeni profesor in raziskovalec na Univerzi v Iowi, je v soboto na 20. konvenciji Združenja za psihološke znanosti imel predavanje o tem, kako lahko lažejo znanstveni podatki. Da, res je, empirični podatki - tudi tisti, objavljeni v spoštovanih, recenziranih revijah - redno ne govorijo resnice.
Schmidtov pogovor je bil dobro obiskan v eni največjih plesnih dvoran v hotelu Sheraton in Towers v Chicagu, kjer poteka kongres. Čeprav neenakomerna predstavitev, so naletele glavne Schmidtove točke.
Eden izmed njih je, da je naivna interpretacija več naborov podatkov pogosto verjetno najbolj pravilna - britvica Occam ("najenostavnejša rešitev je običajno najboljši odgovor"). Schmidt trdi, da dobre raziskave ugotavljajo preprosto strukturo, na kateri temeljijo zapleteni podatki.
Poudaril je, da sta dva glavna razloga, zakaj lahko podatki "ležijo" v raziskavah, - napake vzorčenja in napake merjenja.
Največja Schmidtova kritika je bila usmerjena na fetiš psihološke znanosti s preizkušanjem pomembnosti - npr. Statistične pomembnosti. Želi si, da bi se psihologija oddaljila od odvisnosti in navdušenja nad statistično pomembnostjo, ker gre za šibek, pristranski ukrep, ki v bistvu malo pove o osnovnih podatkih ali hipotezi.
Schmidt je opisal šest mitov preizkušanja pomembnosti okolice. Eden od mitov je bil, da je dobra vrednost p indikator pomembnosti, ko je v resnici le pokazatelj moči študije. Druga je bila, da če ni bil ugotovljen noben pomen, to pomeni, da med spremenljivkami ni bilo nobenega razmerja (v resnici lahko preprosto pomeni, da študija ni imela dovolj moči).
Schmidtove rešitve so preproste - namesto tega poročajo o velikostih učinkov (ocene točk) in intervalih zaupanja ter v celoti odstranijo preizkušanje pomembnosti.
Končal je z razkritjem novo ugotovljenega poudarka na metaanalizah v psiholoških raziskavah, zlasti v reviji Psihološki bilten. V še objavljeni študiji je skupaj z drugimi raziskovalci preučil vse metaanalize, objavljene v Psihološki bilten od 1978-2006 - skupaj 199 študij.
Raziskovalci so ugotovili, da je 65% preučenih študij za metaanalizo uporabljalo model "fiksnih učinkov". Schmidt je trdil, da so v modelih s fiksnimi učinki podatkovna razmerja podcenjena (za kar 50%) in da raziskovalci pretirano ocenjujejo, kako natančni so (kako malo napak je v tej oceni). Namesto tega Schmidt daje prednost modelom "naključnih učinkov", ki bolje upoštevajo te razlike.
Opozoril je tudi, da v 90% preučenih študij ni bilo popravkov za merilno napako - eden glavnih razlogov, ki jih navaja, da lahko podatki "ležijo" v psiholoških raziskavah.
Glede na to analizo Schmidt predlaga, da je veliko metaanaliz, objavljenih v recenziranih revijah, prišlo do napačnih ali napačnih zaključkov.
Na žalost se to stanje verjetno ne bo kmalu spremenilo. Medtem ko so številne psihološke revije sprejele strožje standarde za objavo raziskav, ki se bolje držijo Schmidtovih predlogov, se mnogi še vedno ne zdijo in se jih ne nameravajo spremeniti.
Za povprečnega človeka to pomeni, da ne morete zaupati vsaki objavljeni študiji samo zato, ker je objavljena v strokovni reviji, ki je nato v medijih objavljena kot "dejstvo" s sporočilom za javnost. Takšna dejstva so voljna, spreminjajoča se in napačna. Le s skrbnim branjem in analizo takšnih študij lahko razumemo vrednost podatkov, ki jih predstavljajo.
