Mehanski Turk za reševanje psiholoških raziskav?
Kar je resnična težava, saj, kot sem že avgusta 2010 ugotovil, obstaja dobesedno na tisoče študij psihologije, ki temeljijo le na kopici študentov iz enega kampusa na univerzi v ZDA, medtem ko lahko mladi odrasli, ki obiskujejo kolidž, res nam pomagajo razumeti nekatere vidike človeškega vedenja, ne morete samo domnevati, da vedenje, ki ste ga opazili v teh študijah, velja tudi za 60-letne ženske in moške.
Na pomoč poiščite storitev Amazon.com Mechanical Turk. Ali lahko tehnologija pomaga rešiti težavo pri iskanju dovolj ljudi, ki so bolj reprezentativni za prebivalstvo, in to na stroškovno učinkovit način?
Za začetek nam lahko pomaga razumeti, kaj je mehanični turk. To je spletna tržnica, ki prodajalcem omogoča nakup človeške delovne sile za zelo poceni stroške za nekakšno spletno nalogo. "Spletno mesto se ponaša z veliko raznoliko delovno silo, ki jo sestavlja več kot 100.000 uporabnikov iz več kot 100 držav, ki dnevno opravijo več deset tisoč nalog," ugotavljajo raziskovalci. Ti delavci dobijo plačilo po delih za vsako nalogo, včasih tudi do 1 centa. Naloge se razlikujejo in lahko naredijo karkoli, od brskanja po spletnem mestu, ki išče napake, do izpolnjevanja anket.
Ah ja, izpolnjevanje anket. Veliko psiholoških raziskav temelji na tem, da ljudje izpolnjujejo ankete. Ali ne bi bilo lepo, če bi ljudi - ljudi, ki niso bili študentje - prisilili, da to storijo z manj kot 10 USD na anketo ... Recimo, 10 centov?
Buhrmester in sod. (2011) naj bi ugotovili, ali bi takšni mehanični Turki ankete izpolnjevali na način, ki je skladen z ljudmi, za katere bi morda zahtevali, da naredijo kaj podobnega iz oči v oči.
Najprej so raziskovalci raziskali demografske podatke o 3.006 udeležencih Mechanical Turk in jih primerjali z velikim internetnim vzorcem, ki ga niso dobili od Mechanical Turk. Ugotovili so, da so bili udeleženci Mechanical Turk (MTurk) bolj raznoliki kot internetni vzorec in standardni vzorec študentske populacije.
Nato so preverili različne cenovne točke (2, 10 in 50 centov), da so izpolnili nabor raziskav, ki so trajale različno dolgo (5, 10 in 30 minut). Kar so ugotovili, ne bi smelo presenetiti nikogar, ki uporablja MTurk:
Te analize kažejo, da je udeležence mogoče hitro in poceni zaposliti. Stopnje udeležbe so občutljive na zneske odškodnin in časovne obveznosti, vendar naše ugotovitve kažejo, da je mogoče z MTurkom za zgolj dolarje zbrati primerne vzorce. Tudi če smo ponudili le 2 centa za 30-minutno nalogo, smo nabrali 25 udeležencev (v približno 5 urah objavljanja). Poleg tega smo z le nekoliko povečanjem nadomestila (npr. Na 50 centov) uspeli pridobiti enako število udeležencev v manj kot 2 urah napotitve.
Kakšna korist pa je poceni delovna sila, če ni dobre kakovosti in ne ustreza psihometričnim standardom, ki jih potrebujejo raziskovalci psihologije?
Raziskovalci so ugotovili, da tudi pri najnižji ravni odškodnine, ki znaša 2 centa, ravni plačil ne vplivajo na kakovost podatkov. Raziskovalci lahko plačajo cent za izpolnitev raziskav in zanesljivo dobijo kakovostne podatke.
Raziskovalci so izračunali povprečne ocene zanesljivosti alfa na vseh stopnjah kompenzacije za šest osebnostnih vprašalnikov, ki so jih opravili v spletu. Ugotovili so, da so ocene alfa MTurk znotraj dveh stotink točke od tradicionalnih vzorcev alf. Preizkusili so tudi rezultate zanesljivosti preskusov in ponovnega preizkusa ter ugotovili, da je povprečna vrednost r = 0,88 s 60-odstotno stopnjo zaključka ponovnega preizkusa. Vse to so zelo dobre številke in so primerljive s tradicionalnimi metodami.
Rezultat te raziskave kaže, da je Mechanical Turk zanesljiva alternativa uporabi populacije študentov za pridobivanje podatkov iz raziskav - in je morda celo boljša alternativa kot tradicionalne internetne raziskave. Za samo peni bodo ljudje izpolnili še dolge vprašalnike, da bi drugim pomagali s svojimi projekti in raziskavami. Čeprav je treba za potrditev teh ugotovitev opraviti več raziskav, se zdi, da je MTurk trg, o katerem bi morali razmisliti raziskovalci psihologije, ko pripravljajo svojo naslednjo študijo.
Referenca
Buhrmester, M., Kwang, T. in Gosling, S.D. (2011). Amazonov mehanični turk: nov vir poceni, a vseeno kakovostnih podatkov? Perspektive psihološke znanosti, 6 (1), 3-5.
Ta članek vsebuje partnerske povezave do Amazon.com, kjer se Psych Central plača majhna provizija, če je knjiga kupljena. Zahvaljujemo se vam za podporo Psych Central!
