V ospredje znanosti: TweetPsych

Novo storitev, ki jo je ta teden odprl spletni razvijalec Dan Zarrella, imenovan TweetPsych. Zarrella je tudi vodja trženja podjetja HubSpot, spletnega trženja. Zarrella se imenuje "znanstvenik", ker se mi zdi bolj seksi kot "spletni razvijalec" ali "vodja marketinga", vendar ne navaja nobene akademske dokumentacije. (Ne bi omenil znanstvenega dela ali poverilnic, razen tega, da Zarrella podaja posebne znanstvene trditve o svoji novi službi.)

Zanimiva nova storitev se trži kot ponudba "psihološkega profiliranja" glede na to, kaj objavite na Twitterju. A v resnici gre le za storitev analize vsebin, ki uporablja dva psihološka slovarja in vaših zadnjih 1000 tweetov. Zarrella trdi, da ta analiza "gradi psihološki profil osebe." Pravo psihološko profiliranje je znanost in se običajno opravi z veliko več kot le enim delom človekovega življenja (na primer s tem, kar piše v storitvi za mikro blogiranje). TweetPsych nato poda nasprotujočo si trditev, da gre zgolj za „zabavne namene“. Kateri je?

Težave so z enim od slovarjev, ki jih Zarrella uporablja tudi pri analizi. En slovar - LIWC - je veljavna baza podatkov psihološke lingvistike. Toda drugi, angleški Regresivni slikovni slovar (RID), je veliko manj. RID je sestavljen iz približno 3200 besed in korenin, dodeljenih 43 kategorijam misli in razpoloženja. Primarna težava RID je v tem, da v bistvu nima nobene raziskovalne podpore (kljub Zarrelinemu citiranju spletnega mesta, ki se zdi, kot da). Razvil ga je en sam strokovnjak, ki je nato napisal kopico knjig o njem in drugih psihoanalitičnih procesih. Knjiga ni enaka članku recenzirane raziskovalne revije (kot vedo raziskovalci) in RID popolnoma nima nobene empirične podpore. To pomeni, da je polovica analize neveljavna, še preden sploh začnemo.

Drugi slovar, Lingvistična poizvedba in štetje besed (LIWC), temelji predvsem na pisni besedi - spisih ljudi - ali izgovorjeni besedi - kot terapevtska seja ali pogovor med dvema osebama. Ni bil razvit za analizo umetno kratkih vnosov s 140 znaki, kakršne najdemo na Twitterju. Ljudje pri tvitanju okrajšajo besede zaradi omejitve števila znakov in ni jasno, da bo preprosto zarezovanje natančno analiziralo vse besede, napisane z navadnimi nestandardnimi okrajšavami. Kaj pa ponovni tvitovi? Oseba, ki nekaj revitalizira, ni nujno "govoreča", temveč deluje kot ustnik za besede nekoga drugega. Ali se storitev razlikuje? Ne da bi vedeli, v kolikšni meri je težava, ne bi vedeli, ali je vaša analiza na nek način umetno pristranska (razen če tovrstnih vprašanj najprej niste posebej preučili). Te težave so naslovljive, vendar jih ta storitev ni obravnavala.

Zarrelina sposobnost, da v nekaj sekundah hitro analizira 1.000 tvitov in primerja vse besedilo v teh slovarjih, je čudovit podvig jezikovnega programiranja. Nato se izziv sooča: "Kako naj rezultate analize predstavim premišljeno, intuitivno in izvedljivo?" To je del, kjer TweetPsych preprosto ne uspe dostaviti.

Ker ima Zarrella očitno malo psihološkega ozadja, so rezultati psihologije precej nezadovoljivi. Prejeli boste seznam "lastnosti" (vaše osebnosti? Vašega tvita?), Ki vključujejo stvari, kot so "Poklic in delo". Zraven je koristen opis: "Veliko govoriš o službah in svojem delu" in rezultat.

Joj, hvala za velik vpogled.

Nimate pojma, kaj pomeni rezultat, ker zanj ni konteksta. Ali je 47,87 za delo dobro ali slabo? Kakšno je povprečje? Druge funkcije vključujejo »sedanjik«, »gibanje navzgor«, »pozitivna čustva«, »negativna čustva« in tri desetine drugih kategorij.

Ta del analize, ki temelji na LIWC, je prav tako dober kot osnovni slovar LIWC. Medtem ko so kategorije, kot so delo, dosežki in prosti čas, vse trenutne težave, ki jih lahko ugotovi LIWC, nima kategorije za kaj takega, kot je "skrb za odnose". Toda tega ne bi vedeli, če ne bi poznali LIWC. Morda bi to omenili ljudem, ki bodo opravili analizo. Druge priljubljene aktualne vsebine, o katerih redno pišejo, na primer politika, tehnologija in slavne osebe, prav tako niso del LIWC. Torej se spet ne bodo pojavili v analizi, četudi je to vse, o čemer govoriš. Informacije, ki jih lahko zagotovi LIWC - in s tem tudi TweetPsych - so omejene. (Nekatere od teh težav reši uporaba prilagojenega slovarja, vendar to ni slovar, ki ga ponuja TweetPsych.)

"Primordialna, konceptualna in čustvena vsebina" iz RID nima popolnoma nobenega opisa in spet ničesar, kar bi vaše rezultate postavilo v kakršen koli kontekst ali razumevanje. Ker pa za začetek ni znanstveni slovar, lahko rezultate vseeno precej prezrete. Lahko bi jih razvili naključno in ponudili prav toliko koristnih informacij.

Zadnji del trenutne analize je »Drugi, kot ste vi«, pogost sestavni del katere koli storitve družabnih omrežij. Zanimivo je, da ta komponenta manjka v prvi različici tega orodja. Na podlagi izključno tistega, kar objavljate na spletnem mestu, trdi, da "nekateri mislijo kot vi", nato pa vam posreduje seznam drugih, ki so obiskali TweetPsych in v svoje uporabniško ime vstopili za analizo.

Seveda je ne ljudje, ki mislijo kot vi - to so ljudje, ki tweetujejo kot vi. To je pomembno razlikovanje. Storitev, ki analizira majhen del tistega, kar pišete vsak dan, in temelji na analizi, ki je lahko napačna zaradi široke uporabe okrajšav svojih uporabnikov, zagotovo ne more trditi, da analizira, kaj ste pomisli.

Kako zanesljiv je TweetPsych? No, danes, ko sem pisal ta članek, sem opazil, da so se vsi rezultati Dan Zarrelle spremenili zaradi enega samega tvita (danes je tvitnil le enkrat). Ocena »poklic in delo« se mu je znižala za 20%, ocena »sedanji čas« pa za 16%. Njegov abstraktni miselni rezultat se je znižal za 16%. Kako bi se vse to lahko zgodilo iz samo enega tvita? En tvit - v primerjavi z njegovimi 999 drugimi tviti - ne bi smel toliko vplivati ​​na rezultat. Razen če se ne dogaja kaj drugega.(Primerjajte spodnji posnetek zaslona, ​​posnet ob 14.55 po srednjeevropskem času, z zgornjim posnetkom, posnet danes ob 9.00 zjutraj po srednjeevropskem času.)

Moji lastni rezultati pri analizi Zarrellinih zadnjih 1000 tweetov v programu LIWC2007 kažejo nekaj zelo drugačnega. Ne vem Zarreline metodologije (ker je ni delil), sem pa vzel besedilo njegovih preteklih 1000 tweetov in jih v LIWC obdelal v dveh oblikah - izvirni in "takšni kot so". Noben od njih ni dosegel ničesar blizu tistega, kar se pojavlja na TweetPsych. To je lahko posledica njegove uporabe starejše različice slovarja ali neke vrste spremenljivke preoblikovanja, ki jo doda v TweetPsych, ki je ni razkril. Rezultate te analize LIWC2007 si lahko ogledate tukaj. (Z rumenimi stvarmi sem poudaril TweetPsych, z zeleno pa druga področja, ki jih TweetPsych ne poudarja več; upoštevajte pomembno razliko v točkovanju.) Vendar se sprašujete, kaj se točno dogaja s storitvijo. Če sta psihometrična zanesljivost in veljavnost vprašljivi, kako koristna je?

TweetPsych dobiva veliko pozitivnega tiska, vržen je le kanček skepticizma. CNetov Josh Lowensohn je o storitvi pisal in le mimogrede opozoril: »Zaradi tega je manj o psihologiji in več o vašem osebnem leksikonu, vendar so rezultati še vedno precej zabavno. " Ja, zabavno! Ben Patterson pri Yahoo! Tech je dejal: "Na žalost psihološki profili, ki jih TweetPsych izdaja, niso skladna, pripovedna sorta, ki bi jo lahko slišali od rezidenčnega psihiatra na temo" Zakon in red: zločinska namera. "In vendar, ali koherentna pripoved ni veliko bolj uporabna kot nekatere nenavadne kategorije? Nobeden od poročevalcev niti izvirni članek o Mashable (kje, presenečenje !, prispeva Zarrella) opaža pomanjkanje psihološkega ozadja, ki ga Zarrella prinaša na mizo. Nobena ni povezala pik, zakaj so rezultati tako nezadovoljivi v njihovih interpretacijah. Očitno so tehnološki novinarji odlični v prerazporeditvi svojih pozitivnih sporočil za javnost, ne pa tudi v tem, da so dejanski novinarji, ki se poglobijo v zatrjevano znanost takšne storitve.

Seveda Zarrella sam priznava, da v službo ni vložil veliko misli, kot je povedal NY Post, "" Ljudje se radi primerjajo z drugimi in poskušajo "vstopiti" v glave drugih ljudi, "pravi Zarrella. "To je kot biti muha na steni na terapiji." "Terapija? Ali je res tako pronicljivo ugotoviti, da nekdo govori o "gibanju navzgor?" V hitenju, da bi spletno storitev objavili, Zarrella očitno nikoli ni postavil vprašanja: "Ali je katera od teh informacij dejansko koristna?" Storitev, kakršna obstaja danes, je nedokončana misel, ki jo bo le malokdo ponovno obiskal.

TweetPsych je kljub svojim omejitvam odprl vrata prihodnjim storitvam, ki dejansko zagotavljajo uporabne, uporabne in uporabne informacije, ki bi verjetno imele večjo veljavo. Predstavljajte si, da ne vzamete samo tweetov osebe, ampak tudi informacije, ki jih vsebuje njihov profil na Facebooku, blogu itd., In jih postavite v en ogromen analizni mehanizem ... Tak mehanizem ima lahko potem resničen psihološki vpogled v posameznika. glede na to, kaj pravijo na spletu.

Do takrat imamo napore novincev, kot je TweetPsych, ki bi se res moral imenovati "TweetFun!" Ker je sicer res zabavno igrati se, vendar daje malo psihološkega vpogleda - razen najbolj plitvega - v kogar koli.

(Dodatne pomisleke glede TweetPsych, ki jih je napisal Tyler Hayes, si lahko preberete tukaj.)