Čustvena okužba na Facebooku? Bolj kot slabe raziskovalne metode

Pred kratkim je bila objavljena študija (Kramer in sod., 2014), ki je nekaj pokazala presenetljivo - ljudje so spremenili svoja čustva in razpoloženje na podlagi prisotnosti ali odsotnosti pozitivnih (in negativnih) razpoloženj drugih ljudi, kot je izraženo v posodobitvah statusa na Facebooku. Raziskovalci so ta učinek poimenovali "čustvena okužba", ker naj bi pokazali, da so besede naših prijateljev na naši Facebook novici neposredno vplivale na naše razpoloženje.

Ne glede na to, da raziskovalci dejansko niso nikomur izmerili razpoloženja.

In ne glede na to, da ima študija usodno napako. Tistega, ki so ga tudi druge raziskave spregledale - zaradi česar so bile ugotovitve vseh teh raziskovalcev nekoliko sumljive.

Če odmislimo smešni jezik, ki se uporablja v tovrstnih študijah (res se čustva širijo kot "okužba"?), Te študije pogosto pridejo do svojih ugotovitev z izvajanjem jezikovna analiza na drobne koščke besedila. Na Twitterju so res majhne - manj kot 140 znakov. Posodobitve statusa Facebooka so le redko več kot nekaj stavkov. Raziskovalci dejansko ne merijo nikogaršnjega razpoloženja.

Torej, kako opraviti takšno jezikovno analizo, zlasti pri 689.003 posodobitvah stanja? Mnogi raziskovalci se za to obrnejo na avtomatizirano orodje, tako imenovano aplikacijo Lingvistično poizvedbo in štetje besed (LIWC 2007). Avtorji to programsko aplikacijo opisujejo kot:

Prva aplikacija LIWC je bila razvita v okviru raziskovalne študije jezika in razkritja (Francis, 1993; Pennebaker, 1993). Kot je opisano spodaj, je druga različica LIWC2007 posodobljena različica prvotne aplikacije.

Upoštevajte te datume. Že dolgo pred ustanovitvijo socialnih omrežij je bil LIWC ustvarjen za analizo večjih besedil - na primer knjige, članka, znanstvenega članka, eseja, napisanega v eksperimentalnem stanju, zapisov v blogu ali prepisa terapevtske seje. Upoštevajte eno skupno točko - so dolge in imajo najmanj 400 besed.

Zakaj bi raziskovalci uporabili orodje, ki ni zasnovano za kratke odrezke besedila, za ... analizo kratkih odrezkov besedila? Na žalost je to eno od redkih razpoložljivih orodij, ki lahko dokaj hitro obdela velike količine besedila.

Koga briga, kako dolgo naj besedilo meri?

Morda sedite tam in se praskate po glavi in ​​se sprašujete, zakaj je pomembno, kako dolgo besedilo poskušate analizirati s tem orodjem. En stavek, 140 znakov, 140 strani ... Zakaj bi bila dolžina pomembna?

Dolžina je pomembna, ker orodje pravzaprav ni ravno dobro pri analiziranju besedila na način, kot so mu naložili raziskovalci Twitterja in Facebooka. Ko ga prosite za analizo pozitivnega ali negativnega razpoloženja besedila, v preučenem besedilu preprosto šteje negativne in pozitivne besede. Za članek, esej ali prispevek v spletnem dnevniku je to v redu - podalo vam bo precej natančno splošno analizo povzetka članka, saj je večina člankov več kot 400 ali 500 besed.

Za tweet ali posodobitev stanja pa je to grozno orodje za analizo. To je zato, ker ni bil zasnovan za razlikovanje - in pravzaprav ne more razlikovati - negativna beseda v stavku.1

Oglejmo si dva hipotetična primera, zakaj je to pomembno. Tu sta dva vzorčna tvita (ali posodobitve stanja), ki nista redka:

"Nisem srečen."

"Nimam čudovitega dne."

Neodvisni ocenjevalec ali sodnik bi ta dva tvita ocenil kot negativna - očitno izražata negativno čustvo. To bi bilo +2 na negativni lestvici in 0 na pozitivni lestvici.

Toda orodje LIWC 2007 tega ne vidi tako. Namesto tega bi ta dva tvita ocenila z oceno +2 za pozitivno (zaradi besed "odlično" in "srečno") in +2 za negativno (zaradi besede "ne" v obeh besedilih).

To je velika razlika, če vas zanima nepristransko in natančno zbiranje in analiza podatkov.

In ker večina človeške komunikacije vključuje tankosti, kot je ta, ne da bi se sploh spuščali v sarkazem, kratke kratice, ki delujejo kot negativne besede, besedne zveze, ki zanikajo prejšnji stavek, emojije itd., Sploh ne morete povedati, kako natančne ali netočne so rezultatov analize teh raziskovalcev je. Ker LIWC 2007 ignorira te subtilne resničnosti neformalne človeške komunikacije, tako tudi raziskovalci.2

Morda zato, ker raziskovalci nimajo pojma, kako hud problem je pravzaprav. Ker preprosto pošiljajo vse te "velike podatke" v mehanizem za analizo jezika, ne da bi pravzaprav razumeli, kako je mehanizem za analizo pomanjkljiv. Ali 10 odstotkov vseh tvitov vključuje negativno besedo? Ali 50 odstotkov? Raziskovalci vam niso mogli povedati

Tudi če je res, raziskave kažejo majhne učinke iz resničnega sveta

Zato moram reči, da tudi če tej raziskavi kljub temu ogromnemu metodološkemu problemu verjamete na pamet, vam še vedno ostajajo raziskave, ki kažejo smešno majhne korelacije, ki za navadne uporabnike nimajo nobenega pomena.

Na primer, Kramer et al. (2014) ugotovili 0,07% - to ni 7 odstotkov, to je 1/15 odstotka !! - zmanjšanje negativnih besed v posodobitvah stanja ljudi, ko se je zmanjšalo število negativnih objav na njihovem viru novic na Facebooku. Ali veste, koliko besed bi morali prebrati ali napisati, preden bi zaradi tega učinka napisali eno manj negativno besedo? Verjetno na tisoče.

To ni toliko "učinek" kot statistični zamik, ki nima nobenega resničnega pomena. To priznavajo tudi sami raziskovalci, ki opozarjajo, da so bili njihovi učinki "majhni (tako majhni kot d = 0,001). " Nadaljujejo s tem, da je še vedno pomembno, ker lahko "majhni učinki imajo velike skupne posledice", navajajo pa Facebook raziskavo o motivaciji za politično glasovanje istih raziskovalcev in 22 let star argument iz psihološke revije.

Toda v prejšnjem stavku si nasprotujejo in nakazujejo, da je na čustva "težko vplivati ​​glede na vrsto dnevnih izkušenj, ki vplivajo na razpoloženje." Kateri je? Ali posodobitve statusa Facebooka bistveno vplivajo na čustva posameznika ali na čustva preprosto ne vplivamo s preprostim branjem posodobitev statusa drugih ??

Kljub vsem tem težavam in omejitvam nobena od njih na koncu raziskovalcev ne ustavi, da trdijo: "Ti rezultati kažejo, da čustva, ki jih izražajo drugi na Facebooku, vplivajo na naša lastna čustva in predstavljajo eksperimentalne dokaze za množično okužbo prek socialnih omrežij." Še enkrat, ne glede na to, da dejansko niso izmerili čustev ali stanja razpoloženja ene osebe, ampak so se pri tem zanašali na napačen ocenjevalni ukrep.

Po mojem mnenju raziskovalci Facebooka jasno kažejo, da preveč zaupajo orodjem, ki jih uporabljajo, ne da bi razumeli - in razpravljali - o pomembnih omejitvah orodja.

Referenca

Kramer, ADI, Guillory, JE, Hancock, JT. (2014). Eksperimentalni dokazi o obsežni čustveni okužbi prek družbenih omrežij. PNAS. www.pnas.org/cgi/doi/10.1073/pnas.1320040111

Opombe:

1. To je razvidno iz poizvedbe razvijalcem LIWC, ki so odgovorili: »LIWC trenutno ne preučuje, ali je v svojem točkovanju v bližini pozitivne ali negativne besede čustveni izraz izraz negacije in bi težko našli učinkovit algoritem za to vseeno. " [↩]
2. Nisem mogel omeniti omejitev uporabe LIWC kot orodja za analizo jezika za namene, ki jih v tej študiji ali drugih študijah, ki sem jih preučeval, nikoli ni bil zasnovan ali namenjen. [↩]
3. No, lahko bi vam povedali, ali so dejansko porabili čas za potrditev svoje metode s pilotno študijo za primerjavo z merjenjem dejanskega razpoloženja ljudi. Toda tem raziskovalcem to ni uspelo. [↩]
4. V študiji glasovanja na Facebooku je nekaj resnih težav, med katerimi je najmanj pripisovanje sprememb v glasovalnem vedenju eni korelacijski spremenljivki z dolgim ​​seznamom predpostavk, ki so jih raziskovalci podali (in s katerimi bi se morali strinjati). [↩]
5. Zahteva za pojasnilo in komentar avtorjev ni bila vrnjena. [↩]
6. To ni izkopavanje LIWC 2007, ki je lahko izvrstno raziskovalno orodje - kadar se uporablja za prave namene in v pravih rokah. [↩]