Je znanost mrtva? Z besedo: ne
Toda Lehrer ni opazil, da večina raziskovalcev že pozna pomanjkljivosti, ki jih opisuje, in si prizadevno prizadeva za zmanjšanje vpliva teh vprašanj.
Znanstvena metoda ni prekršena. To, kar Lehrer opisuje, je preprosto znanost v delu - in deluje.
Najboljši odziv na ta esej je pisec ScienceBlogs PZ Myers, Znanost ni mrtva. V tej izpodbijanju Myers opozarja na glavne težave z znanostjo, ko ne more ponoviti predhodnih ugotovitev:
- Regresija na srednjo vrednost: Ko se število podatkovnih točk poveča, pričakujemo, da se bodo povprečne vrednosti regresirale na pravo srednjo vrednost ... in ker se pogosto začetno delo opravi na podlagi obetavnih zgodnjih rezultatov, pričakujemo, da se bo več podatkov naključno izenačilo pomemben zgodnji izid.
- Učinek predala datotek: Rezultate, ki niso pomembni, je težko objaviti in na koncu shranijo v omari. Ko pa se rezultat uveljavi, postanejo nasprotni rezultati bolj zanimivi in objavljivi.
- Pristranskost preiskovalca: Težko je ohraniti znanstveno nepristranskost. Vsi bi radi videli, da se naše hipoteze potrdijo, zato običajno zavestno ali nezavedno izbiramo rezultate, ki favorizirajo naše poglede.
- Komercialna pristranskost: Družbe za zdravila želijo zaslužiti. Z placebom lahko zaslužijo, če zanj obstaja kakšna statistična podpora; zagotovo obstaja pristranskost do izkoriščanja statističnih odstopanj za dobiček.
- Razlike v populaciji: Uspeh v natančno opredeljeni podskupini prebivalstva lahko privede do nekoliko polzenja: če zdravilo pomaga tej skupini z natančno opredeljenimi simptomi, bi ga morda morali poskusiti pri tej drugi skupini z obrobnimi simptomi. In ne ... toda te številke bodo še vedno uporabljene za oceno njegove celotne učinkovitosti.
- Preprosta priložnost: Ugotovil sem, da je to težko priti do ljudi. Če pa je nekaj pomembno na ravni p = 0,05, to še vedno pomeni, da bo 1 od 20 poskusov s popolnoma neuporabnim zdravilom še vedno imel pomemben učinek.
- Statistični ribolov: tega sovražim in ga ves čas vidim. Načrtovani eksperiment ni razkril nobenih pomembnih rezultatov, zato se podatki poredijo in vsa pomembna korelacija zaseže in objavi, kot da je bila predvidena. Glej prejšnjo razlago. Če je nabor podatkov dovolj zapleten, boste vedno naključno našli povezavo, povsem naključno.
Številka 1 razlaga veliko težav, ki jih danes najdemo v znanosti, zlasti psihološki. Poznate večino tistih poskusov, o katerih ste brali Psihološka znanost, vodilna publikacija Združenja za psihološke znanosti? Sranje so. Gre za N = 20 poskusov, izvedenih na majhnih, homogenih vzorcih večinoma kavkaških študentov na univerzah srednjega zahoda. Večina se jih nikoli ne ponovi, manj pa se jih ponovi na velikostih vzorcev, kar bi verjetno pokazalo, da prvotni rezultati niso bili nič drugega kot statistična naključnost.
Raziskovalci to že vedo, vendar živijo po povsem drugačnem pravilniku kot vi ali jaz. Njihovo preživetje je odvisno od tega, ali bodo še naprej dobro raziskovali in objavili. Če prenehajo s to raziskavo (ali je ne morejo objaviti v strokovni reviji), so v večji nevarnosti, da bodo izgubili službo. V akademskem svetu je znan kot „objavi ali pogine“ in je zelo resnična motivacija za objavo kakršne koli raziskave, tudi če veste, da se rezultati verjetno ne bodo ponovili. Glej številko 3 zgoraj.
Končno vidim toliko številke 7 v raziskovalnih študijah, ki jih pregledam, da je skoraj neprijetno. Znanstvena metoda deluje dobro in zanesljivo le, če predhodno oblikujete hipoteze, vodite predmete, da zbirajo vaše podatke, in jih nato analizirate glede na hipoteze, s katerimi ste začeli. Če se odločite, da boste hipotezo začeli spreminjati tako, da bo ustrezala podatkom, ali izvajali statistične teste, na katere še niste računali, omagate svoje ugotovitve. Začnete z ribiško odpravo, ki jo je opravil že vsak raziskovalec. Toda samo zato, ker so vsi to storili, pomeni, da je to dobro ali etično vedenje.
Težava je v tem, da so raziskave dolgotrajne in pogosto drage. Če ste skozi preizkus opravili 100 preiskovancev in niste ugotovili ničesar pomembnega (glede na vaše hipoteze), ne samo, da te študije verjetno ne boste objavili, ampak ste prav zapravili mesece (ali celo leta) svojega poklicnega življenja in vaš vedno omejen proračun za raziskave.
Če ne vidite, kako bi to lahko povzročilo objavo manj optimalnih ugotovitev raziskav, ste morda nekoliko slepi za osnovno človeško psihologijo in motivacijo. Ker raziskovalci niso super-ljudje - imajo enake napake, pristranskosti in motivacijo kot vsi ostali. To naj bi upoštevala znanstvena metoda, če jo dosledno upoštevamo. Težava je v tem, da nihče v resnici ne bdi nad raziskovalci, da bi zagotovil, da mu to sledijo, in za to ni nobene spodbud.
Končal bom s tem opažanjem, spet iz PZ Myers,
To je vse, kar ta resnično govori, da se [- s] včasih hipoteze pokažejo kot napačne in včasih, če podpora hipotezi temelji na šibkih dokazih ali zelo izpeljani interpretaciji zapletenega nabora podatkov, lahko traja dolgo časa, pojavil se bo pravilen odgovor. Torej? To ni neuspeh znanosti, razen če nekako pričakujete takojšnje zadovoljstvo za vse ali potrditev vsake cenjene ideje.
Amen.
Mnenja drugih o Lehrerjevem eseju
Znanost ni mrtva - PZ Myers
V pohvalo znanstveni napaki - George Musser
So ljudje težava z znanstveno metodo? - Charlie Petit
Resnica, v katero bomo dvomili: Ali "učinek upada" pomeni, da je vsa znanost "nesramna"? - John Horgan
Skrivnostni upad - Jonah Lehrer
