Povezava med legalizacijo marihuane in avtomobilskimi nesrečami? Neumnosti

Oktobra sta Inštitut za podatke o izgubah na avtocestah in Zavod za zavarovanje varnosti na cestah objavila samozaložbeno poročilo, ki nakazuje, da obstaja močna korelacijska povezava med stopnjami avtomobilskih nesreč in legalizacijo marihuane v državah. To bi bila grozljiva novica, če bi ugotovitev temeljila na močnih znanstvenih dokazih.

Na žalost za te inštitute pa so podatki o raziskavah v najboljšem primeru motni. In ker so te organizacije samo objavile poročilo, namesto da bi šle skozi postopek znanstvenega medsebojnega pregleda, je težko njihove ugotovitve jemati resno.

Preden začnemo pregledovati podatke, bi morali bralci razumeti, da čeprav sta Inštitut za podatke o izgubah na avtocestah (HLDI) in Zavod za zavarovanje varnosti na cestah (IIHS) ločeni pravno organizacije, imajo isto vodstvo, isti fizični naslov in verjetno veliko več. Sliši se, kot da gre za dve neodvisni, nepovezani organizaciji, ki sta našli podobne rezultate, ko sta združili svoje kolektivne misli, vendar ni tako.

Ta članek moram začeti tudi z običajnim znanstvenim opominom - korelacija ni enaka vzročnosti. Če opravim študijo o vplivu ljudi, ki odpirajo dežnike v mestnem središču mesta, bom ugotovil zelo močno pozitivno povezavo med tem dejanjem in prisotnostjo dežja. Vemo pa, da odpiranje dežnika ne povzroči dežja. Kljub temu bo znanost zlahka pokazala močno povezavo med obema - pri čemer bodo nekateri žalostni in nenamerni raziskovalci trdili, da zagotovo obstaja vzročna povezava.

Izberimo države nadzora

V novi študiji je raziskovalec preučil podatke o prometnih nesrečah za tri ciljne države, kjer je marihuana postala legalizirana izven medicinske uporabe (Monfort, 2018). Potem je primerjal stopnje nesreč teh držav s petimi državami nadzora (države, ki so na splošno mejile na države z legalizirano marihuano). Na primer, Colorado je bil združen s tremi zveznimi državami: Nebraska, Utah in Wyoming.

Že vidite težavo, kajne? Kolorado meji s šestimi državami, ne le s tremi: Arizono, Novo Mehiko in Kansasom. Podoben problem vidimo tudi pri drugih izbranih nadzornih stanjih. Nadreženi državi Oregona sta bila Idaho (primerna država primerjave) in Montana - država brez izhoda na morje, s katero ima malo skupnega in brez meje.

Raziskovalec je te odločitve utemeljil, ker je sestrska organizacija IIHS objavila prejšnje poročilo o izbiri teh držav. Ti neimenovani raziskovalci so države izbrali na podlagi korelacije - včasih ne zelo močne - podobnosti med stopnjami podatkov o zrušitvah. Ne demografski podatki, geografija (sukane gorske ceste v primerjavi z ravnimi polji) ali kakšen drug razlog.1 Sporno je, ali so "vzorci sezonskih nesreč pred letom 2014" legitimna znanstvena primerjalna spremenljivka za izbiro kontrolnih stanj, kadar se druge spremenljivke zdijo veliko bolj primerne.

V nadaljnjem e-sporočilu s predstavnikom IIHS je dejal, da želi raziskovalec "uporabiti dva različna niza podatkov in preveriti, ali bi bili rezultati podobni. Uporaba različnih kontrolnih stanj ne bi imela smisla. "

Kot že dolgoletni bralci vedo, lahko raziskovalci precej manipulirajo s svojimi podatki, analizami ali hipotezami, da dokažejo rezultate, ki jih želijo najti. To je eden od razlogov, da je veliko ljudi na splošno skeptično do raziskav. Obstaja toliko načinov, kako lahko raziskovalec manipulira s podatki - pogosto iz zelo legitimnih, tehtnih razlogov -, da je lahko težko zaznati uvedeno pristranskost.

Vendar s to študijo ni bilo tako. Mislim, da so pristranskosti po mojem mnenju precej jasno postavljene.

11 analiz, vendar le 3 pomembne

Drugi znak, da je to raziskovalno poročilo popolna neumnost, je, da tudi ko je bil krov kart zložen na način, ki ga je izbral sam raziskovalec, še vedno ni mogel najti velikega pomena v podatkih za večino statističnih analiz, ki jih je vodil. Prepričajte se sami:

Vidiš te tri zvezdice? To so edine tri analize, ki so bile statistično pomembne. Opazite, kako se v dejanski primerjavi med državami pojavi le ena od teh zvezdic - med Kolorado in Utahom. Vse druge analize med državami niso pokazale bistvene razlike med nadzorovano državo in marihuano-pravno državo.

V sedmih analizah med državami je bila le ena pomembna. To je precej pomembna ugotovitev, ki je bila v poročilu pokrita (in je IIHS sploh ne omenja). V mojih raziskovalnih krogih bi temu rekli "šibko".

Združimo podatke!

Šele ko je raziskovalec združil cel kup kontrolnih stanj, je našel še dve pomembni korelaciji.

Na splošno razumem, da se raziskovalci vzdržujejo združevanja podatkov iz različnih virov, razen če lahko utemeljijo svojo odločitev in zagotovijo, da so osnovne spremenljivke homogene (ali podobne).

Tako kot v sedanji raziskavi morate zagotoviti ne le skupino držav. Toda raziskovalec je podatke zbiral tudi več let.

Ni očitno, kakšno utemeljitev je raziskovalec uporabil za izbiro let, ki jih je opravil (2012–2016), razen da je rekel, da so bila leta v teh državah na voljo takšni podatki. Vendar pa sem pri bežnem iskanju vladnih spletnih mest vsake države na splošno ugotovil, da so podatki o zrušitvah zanesljivo na voljo že od leta 2005.

Vemo, da letni podatki o nesrečah niso homogeni - od leta do leta se lahko zelo razlikujejo. Na primer, v vseh zveznih državah so se stopnje zrušitev v letih 2014, 2015 in 2016 zvišale - ne glede na državo. Torej, kaj skuša raziskovalec izmeriti, ali se je 7,84-odstotni dvig Idaha v letu 2015 razlikoval od 7,09-odstotnega povečanja Oregona, ki je prijazen marjiuani. Ali pa se stopnja marihuane v Koloradu, ki se je leta 2014 povečala za 4,37-odstotno povečanje števila nesreč, bistveno razlikuje od 9,96-odstotnega povečanja Utaha ali 10,19-odstotnega povečanja Nove Mehike.

Poleg tega so različne države v obravnavanih mesecih dobile različne velikosti bazenov, odvisno od tega, kdaj je začela njihova maloprodajna prodaja marihuane veljati. To je pomenilo za Oregon, raziskovalec je leta 2012, 2013, 2014 in večino leta 2015 združil kot en nabor podatkov in 2016 + 2 meseca v letu 2015 kot drugi nabor podatkov (46 mesecev v primerjavi z 14 meseci). Toda Colorado je marihuano legaliziral januarja 2014, zato je imel le dve leti podatkov pred legalizacijo in tri leta po legalizaciji.

V pošteni in natančni znanstveni primerjavi bi morali biti vsi nabori podatkov podobne velikosti glede na časovno obdobje, preučeno pred in po spremenljivki, ki jo želite izmeriti v svoji analizi. Še posebej, če vemo, da ti podatki niso homogeni.

Kaj torej kažejo podatki?

Raziskovalec ni navedel običajnih podrobnosti, ki bi jih potrebovali za ponovitev svojega dela. Torej moramo preučiti neobdelane podatke in samo pogledati bolj očitna vprašanja.

Če pogledamo Kolorado, lahko primerjamo stopnjo nesreč skozi čas z dvema državama. Pred letom 2013 je Colorado medletno upadal v splošnem številu nesreč (vsi podatki s spletne strani posamezne države). Nato je leta 2013 država zabeležila 6,29-odstotni porast števila nesreč, ki se je nadaljevalo v letih 2014 (6,79 odstotka) in 2015 (4,37 odstotka). Leta 2016 je država zabeležila le 0,35-odstotno rast.

Primerjajte te številke z enim od kontrolnih zveznih držav, Utah, ki ga je vključil raziskovalec. Tudi v Utahu so se leta 2013 povečale število nesreč (9,05 odstotka), ki so se leta 2014 zmanjšale (-2,96 odstotka). Stopnje nesreč te države so se v letih 2015 in 2016 znova zvišale (9,96 odstotka oziroma 3,94 odstotka).

Zdaj pa primerjajmo te številke z enim od kontrolnih stanj, ki jih ni izbral raziskovalec, Nova Mehika. Leta 2013 se je število padcev znižalo (-4,78 odstotka), nato pa se je v letih 2014 in 2015 dvignilo dve leti (3,64 in 10,19 odstotka). Leta 2016 je Nova Mehika zabeležila padec za -0,53 odstotka.

Verjamem, da je bil razlog, da je bila Utah izbrana za Novo Mehiko, preprost. Število nesreč v letih 2014–2016 (ključna leta za primerjavo marihuane v Koloradu) je kumulativno povečalo le 10,94 odstotka. Če bi namesto tega inštituti uporabili Novo Mehiko, je bila stopnja padcev v istem obdobju 13,3 odstotka. V primerjavi s kumulativnimi 11,51 odstotka v Koloradu lahko vidite, da je Utah nižji - toda New Mexico (tudi sosednja država Kolorado) je skoraj 2 odstotni točki višje.

Vrzite vse v analizo, ki upošteva "državne značilnosti" (ki so vključevale le stopnjo brezposelnosti in vreme), in voila! Podatki, ki navidezno kažejo na prodajo marihuane, vplivajo na stopnje padcev.

Kaj to pomeni za marihuano?

Podatki, tudi iz sedanjih raziskav, v bistvu ne kažejo statističnega pomena med prodajo marihuane na drobno in številom avtomobilskih nesreč v državi. Če korelacija sploh obstaja, je zelo šibka in jo najdemo šele, ko je raziskovalec po mojem mnenju v študiji uporabil dvomljive analize. Nekatere države, ki mejijo na Kolorado - na primer Nova Mehika - niso bile vključene v analizo in so pokazale večje povečanje naraščanja števila nesreč v istem časovnem obdobju kot Kolorado.

Menim, da se tovrstno poročilo slabo odraža tako na IIHS kot na HLDI. Te organizacije, ki jih financirajo predvsem zavarovalnice, po mojem mnenju objavljajo strašljive ugotovitve, da bi uresničile politični in poslovni cilj. Te ugotovitve označujejo kot "raziskave", kljub temu da so včasih objavljene le na lastni spletni strani organizacije in očitno niso recenzirane, kot to počnejo tradicionalne znanstvene raziskave. (»Naša najnovejša raziskava o rekreacijski legalizaciji marihuane in policijskih nesrečah je bila objavljena v reviji Analiza in preprečevanje nesreč, "Ugotavlja tiskovni predstavnik IIHS.)

Tu imamo to, kar bi označil za „ponarejene raziskave“ - raziskovanje se razteza, da pokaže pomemben odnos, kjer očitno obstaja le velik vprašaj. Tudi če bi obstajal korelacijski pomen, ta raziskava nič ne podpira vzročne zveze. Za komentar smo se obrnili na organizacije, ki so nas v bistvu ravno napotile nazaj v študijo po odgovore. Tiskovni predstavnik IIHS je na primer izjavil: „Podatki o nesrečah iz držav marihuane v študiji IIHS niso združeni, ampak so bili posamezni rezultati vsake države združeni v metaanalizi, kar je sprejeta raziskovalna metoda. Posamezni rezultati za Colorado in Washington v analizi HLDI so statistično pomembni. "

Ko sem poudaril, da je sedanja študija pokazala pomen le za eno zvezno državo - Kolorado (in nato le za eno drugo državo, Utah), me je tiskovni predstavnik opozoril na prejšnjo študijo. Očitno se ne zaveda, da če novejši raziskave so v nasprotju s prejšnjimi raziskavami, ne morete kar naprej na to opozarjati, da so še veljavne. Nova študija podjetja IIHS kaže, da med marihuano in nesrečami v Washingtonu ni več pomembne povezave - ravno nasprotno od tiskovnega predstavnika.

IIHS je organizacija, ki poskuša izobraževati in obveščati oblikovalce politik, ko gre za varnost avtomobilov. Na žalost večina politikov in državljanov ne bo razumela ali se zavedala, da so bili prenapeti, in namesto tega verjamejo, da je tovrstna študija dejansko znanstvena.

Skratka, ni močnih podatkov, ki bi povezovali prodajo marihuane na drobno z naraščanjem števila avtomobilskih nesreč. Podatki, ki jih imamo, kažejo le zelo omejeno, šibko korelacijo - ne vzročnosti - s statističnimi triki.

Od zdaj naprej bom veliko bolj skeptičen do vsega, kar IIHS ali HLDI objavljata.

Opombe:

1. Natančneje, „Kontrolna stanja so bila izbrana na podlagi bližine stanja študije in podobnosti sezonskih vzorcev trkov pred letom 2014. Ta podobnost je temeljila na korelaciji med mesečnimi frekvencami v stanju študije in vsakim potencialnim kontrolnim stanjem med 24 mesecev 2012–13. Pearsonov korelacijski koeficient za Kolorado in Nebrasko je bil 0,85; za Wyoming, 0,79; in za Utah 0,60. Za Washington sta bili za nadzor izbrani zvezni državi Montana (0,67) in Idaho (0,63). Za Oregon sta bili uporabljeni zvezni državi Idaho (0,67) in Montana (0,83). " [↩]