Uvrstitev strank v šolo pristranska, samoizpolnjujoča se prerokba?
Princeton Review objavlja letne sezname študentov "Best of ...", ki temeljijo na spletni anketi študentov na vsaki fakulteti. Anketni postopek opisujejo kot:
Raziskava Princeton Review študentom zastavlja 80 vprašanj o akademikih / upravi njihove šole, življenju v kampusu, študentskem krogu in njih samih. Uvrstitve za uvrstitev te izdaje temeljijo na anketah 120.000 študentov (približno 325 na kampus) na 366 šolah v knjigi (ne na vseh šolah v državi) v obdobju 2006–2007 in / ali prejšnjih dveh šolskih letih.
Kar vse zveni lepo in dobro, dokler ne preberete drobnega tiska:
Naša raziskava je bolj kvalitativna in anekdotična kot kvantitativna. Da bi se izognili pisanju, ki ni primerno za posamezne fakultete, na vsako šolo pošljemo kopijo profila, ki ga nameravamo objaviti, z vsemi priložnostmi, da odgovorimo s popravki, komentarji in / ali dokončno. ugovorov. V vsakem primeru, ko prejmemo zahteve za spremembe, skrbno ukrepamo, da preučimo predloge šole glede na podatke študentske ankete, ki smo jih zbrali, in po potrebi izvedemo ustrezne spremembe.
Pri nas je najbolj prepričljivo, kako reprezentativne so ugotovitve naše raziskave: učence, ki sodelujejo v anketi - po tem, ko jo izpolnijo - prosimo, da pregledajo podatke, ki smo jih objavili o svoji šoli v preteklem letu, in nas ocenijo glede njihove natančnosti in veljavnost. Leto za letom smo dobili visoke ocene: Letos je 81 odstotkov študentov reklo, da imamo prav.
V bistvu torej priznavajo, da naj bi bili njihovi podatki iz anket namenjeni subjektivni narativni sliki fakultet - in ne stvarem, iz katerih lahko povlečete širše. Pa vendar, točno to je tisto Princeton Review nadaljuje z njihovimi podatki - iz svojih raziskav črpajte splošne posplošitve in kvantitativno razvrščajte fakultete. Šole same lahko nekoliko neznano dodatno vplivajo na to, ali je njihova šola na katerem koli seznamu.Če se zdi, da je postopek razvrščanja manj pregleden in v skrivnostno prikrit, je to namenoma.
Kako lahko raziskovalci anekdotske podatke spremenijo v kvantitativne podatke? No, znanstveno ne morete (npr. Za to ni nobenega raziskovalnega postopka, ker gre dobesedno za primerjavo jabolk ali pomaranč). Ko takšna organizacija naredi kaj takega, lahko trdite, da so takšne lestvice le mnenja ljudi, ki so sestavili seznam, na podlagi mnenj drugih o tistih, ki so šolo dejansko obiskovali.
Vse to bi bilo v redu, le da Pregled vse te stvari uvrsti na sezname, kar nakazuje, da imajo splošen pomen, kadar nimajo. Seznam "Top 20 strankarskih šol" ni nič drugega kot mnenja nekaterih ljudi, ki temeljijo na "kombinaciji vprašanj v zvezi z uživanjem alkohola in mamil, številom ur študija vsak dan in priljubljenostjo grškega sistema." Lahko bi si prav tako zlahka izbrali drugačen nabor odzivov, ki bi drugače popačili uvrstitev šol.
Večje šole z večjim številom študentov se verjetno ne bodo bistveno razlikovale glede na velikost svojega grškega sistema (velikega) in široko paleto socialnih in drugih neakademskih priložnosti, ki jih ponujajo svojim učencem (posledično manj ur študija vsak dan) . Ali zaradi tega obstaja večja verjetnost, da bo takšna šola »zabaviščna«, če pogledamo, kaj učenci rečejo, koliko pijejo? Seveda ne. To lahko samo pomeni, da je šola odličen kraj za učenje in druženje.
Prejšnji konec tedna na APS predstavljen plakat z naslovom "Izpolnjujoča se prerokba in Princeton Review: opisi ali recepti za pitje na fakulteti?" mi dal v glavo predlog, ki meri kot Princeton Review imajo dvomljivo veljavnost. Raziskovalci so preučili dejanske podatke o porabi alkohola v desetletju za eno samo srednjo univerzo v zahodnem New Yorku in jo primerjali z različnimi uvrstitvami v Princeton Review. Lestvico so našli v Princeton Review nima sistematične korelacije z nobenim podatkom o uporabi alkohola, ki so ga preučili. Ugotovili so namreč, da so podatki o uživanju alkohola korelirali z objavljenimi lestvicami po objavi - kar kaže na samoizpolnjujočo se prerokbo.
Raziskovalci so ugotovili, da bi bilo treba raziskavo ponoviti na drugih visokih šolah in univerzah, preden so na podlagi ugotovitev posplošili. A ugotovitve je vseeno zanimivo omeniti.
Referenca:
Clark, C.D. et. al. (2008). Samoizpolnjujoča se prerokba in Princeton Review: opisi ali recepti za pitje na fakulteti? Plakat, predstavljen na 20. letni konvenciji Združenja za psihološke znanosti, Chicago IL, 24. maja.
