Slaba znanost: MyType iPad Research

Sovražim tisk za "raziskovalno podjetje", ki v svojem poročilu o "raziskovanju" ne ve prvega o poročanju statističnih podatkov ali osnovne metodologije. Mislim, da se to zgodi, ko zbereš kup ljudi, ki so večinoma tehnologi, ne pa statistiki ali družboslovci.

Prejšnji teden je MyType, osebna aplikacija za Facebook, ki zajema vaše podatke in nato prodaja zbirna poročila na podlagi vaših odgovorov na njihov kviz, objavil poročilo o iPadu. Predlagali so, da so lastniki iPadov in tisti, ki jih želijo kupiti, "sebične elite", medtem ko so bili tisti, ki so bili kritiki iPada, označeni kot "neodvisni geeki".

Že zdaj lahko ugotovite, da to ne bo ravno znanstvena analiza, kajne?

Najprej je MyType poročal o svojih rezultatih. V dejansko poročilo niso vključeni dejanski uporabljeni statistični testi, statistična pomembnost (vrednosti p) in število preiskovancev v vsaki preučevani skupini. Veste, osnovne vrste podatkov iščejo drugi raziskovalci, v katerih bi ocenili predstavljene rezultate. Brez teh osnovnih informacij tovrstne "raziskave" niso nič boljše kot dodiplomski prispevki za njihov razred psihologije 101.

Oseba z imenom John Hall jih je poklicala v oddelku za komentarje, nato pa so začeli dajati široke izjave o vrednostih p (vendar spet brez podrobnosti, vsako analizo razčlenili, kar bi pričakovali na tržnem ali znanstvenem področju raziskave). Dr. F je skušal ljudi MyType poučiti o osnovni statistični teoriji, saj očitno ne vedo veliko o tem, kako oblikovati dobro raziskovalno študijo.

Iz razdelka s komentarji je tudi razvidno, da nekdo ureja komentarje, da odstrani stvari, ki jih je pozneje obžaloval. John Hall očitno citira Tima Koelkebecka, ki pravi, da ga je zaradi diplome računalništva (očitno dodiplomskega) nekako usposobil za načrtovanje in metodologijo raziskav ter statistiko. Čuden.

Toda največja podelitev, da to ni resna raziskovalna študija, so pridevniki, izbrani za opis obeh skupin ljudi. Za opis vsake skupine so vzeli nekaj poljubnih osebnostnih lastnosti. Prav tako bi lahko rekli, da so lastniki naprav, ki niso iPad, nevrotični, negotovi, ponosni in neprevidni. Je to vendarle legitimna karakterizacija lastnikov, ki niso iPad? Seveda ne, le to kaže njihov majhen, pristranski nabor podatkov. Glede na to, da niti test za vonj ne prestane, bi se večina raziskovalcev ustavila in se vprašala, ali gre po napačni cesti.

Glede na lastne podatke bi kritike iPada lahko označili za nestrpne, ne marajo dobrodelnosti in prijateljstva, agresivne in cinične najstnike. Vau, tu ni presenečenja - morali bi izslediti, ali sta spol ali starost te rezultate izkrivljali (in ponuditi alternativno razlago omenjenim lastnostim). "Raziskovalci" bi lahko lastnike iPadov opisali tudi kot družinsko usmerjene, pametne odrasle z visokim dosežkom, ki so domiselni in prefinjeni.

Toda niso. Skupino različnih lastnosti so poskušali strniti v privlačne marketinške besedne zveze, da bi postavili naslove novic - besedne zveze, ki niso bile niti posebej natančne niti znanstveno veljavne. To na ducate zakonitih, rednih novic, kot so CNET, ZDNet in celo Wired, ni poročalo o rezultatih, ne da bi dvignilo obrv glede pomanjkanja znanstvene strogosti ali metode.