Delati dobro znanost je izziv: umik pomembne študije ponovljivosti spodbuja samorefleksijo

Delati dobro znanost je izziv: umik pomembne študije ponovljivosti spodbuja samorefleksijo

Umik odmevnega časopisa 1, the Metode za izboljšanje veljavnosti znanstvenih študij testirano je poudarilo izzive takih raziskav "ponovljivosti". Med avtorji umaknjenega dokumenta je več Svetila na tem področju.

V študiji, objavljeni novembra lani v Nature Human Behavior, so avtorji opisali strog raziskovalni protokol s funkcijami, kot so velike velikosti vzorcev za zagotavljanje veljavnosti psiholoških poskusov. Avtorji so svoj protokol uporabili za več deset raziskovalnih projektov. Poročali so, da so bili v 86 % poskusov podvajanja pričakovani rezultati potrjeni – ena najvišjih "stopenj podvajanja", ki so jih kdajkoli zabeležili v tovrstnih študijah. Toda uredniki revije so 23. septembra članek umaknili, kar je v obvestilu o umiku navedlo 2, da »ne zaupajo več v zanesljivost rezultatov in zaključkov«.

Avtorji se strinjajo s pomisleki revije le v eni točki, ki jo pripisujejo nehotenemu spregledu. Eden od avtorjev, Jonathan Schooler, psiholog s kalifornijske univerze v Santa Barbari, je za Nature povedal, da raziskovalna skupina dela na novi različici rokopisa za ponovno predložitev.

Raziskovalci, ki spremljajo primer, pravijo, da je... Problemi načela odprte znanosti: predregistracija ki vključuje prakso pisne določitve podrobnosti študije, vključno s hipotezami in načrtovanimi analizami, preden jo izvedemo, da se prepreči manipulacija s podatki in selektivno poročanje o rezultatih.

"To kaže, da je dobra znanost težka, veliko težja, kot si večina ljudi misli," pravi Sam Schwarzkopf, vizualni nevroznanstvenik na Univerzi v Aucklandu na Novi Zelandiji. "Ljudje, ki se predhodno registrirajo, pogosto ugotovijo, da se njihovi dobro premišljeni načrti ne uresničijo, ko se soočijo s hladno in trdo realnostjo zbiranja podatkov."

Štiri ekipe in 64 poskusov replikacije

Članek opisuje zapleten in obsežen eksperiment: štiri raziskovalne skupine so izvedle registrirane pilotne študije na družboslovnih področjih. Ena od študij je na primer preučevala, ali časovni pritisk vpliva na odločanje 3. Če je pilotna študija odkrila učinek, je ekipa poskušala potrditi rezultate na vzorcu najmanj 1500 ljudi. Vse štiri ekipe so poskušale reproducirati izbrane poskuse, da bi ugotovile, ali bodo dosegle enake rezultate. Vsaka ekipa je poskušala ponoviti štiri svoje poskuse in štiri iz vsake od treh drugih ekip.

Od 64 poskusov replikacije je bilo 86 % uspešnih – to pomeni, da so dali pričakovane in statistično pomembne rezultate. Za primerjavo, druge študije replikacije na področjih družboslovja poročajo o povprečni stopnji replikacije 50 %.

Avtorji umaknjene študije so visoko stopnjo replikacije pripisali "strogim praksam", kot so velike velikosti vzorcev, Predprijava in Transparentnost glede metod nazaj. Sprejetje takšnih praks bi lahko pomagalo narediti študije bolj zanesljive, so zapisali avtorji.

Kmalu po objavi prispevka sta Joseph Bak-Coleman, družboslovec na Univerzi v Konstanzu v Nemčiji, in Berna Devezer, ki študira trženje na Univerzi Idaho v Moskvi, podvomila o njem v prednatisu. 4, ki je bil naložen na strežnik PsyArXiv, njegova veljavnost. Opozorili so, da avtorji niso predhodno registrirali nekaterih elementov prispevka, vključno z osrednjim vprašanjem: Ali bi avtorjev protokol povečal ponovljivost? Ločeno je Bak-Coleman poslal strani analize urednikom Nature Human Behavior, ki so sprožili preiskavo, ki je na koncu pripeljala do umika.

V komentarju 5, ki je spremljal umik, sta Bak-Coleman in Devezer zapisala, da "ponovljivost ni bila prvotni rezultat projekta in analize obnovljivosti niso bile vnaprej registrirane, kot je bilo navedeno." Obvestilo o vračilu Echo je vsebovalo te izjave. (Nature Human Behavior izdaja Springer Nature, ki izdaja tudi Nature. Novičarska ekipa Nature je uredniško neodvisna od založnika.)

Avtorsko priznanje

Na dan umika je šest avtorjev knjige Nature Human Behavior objavilo poročilo s svojimi pogledi 6. V njej priznavajo, da nekatere analize študije niso bile vnaprej registrirane. Vendar pa druge izjave v obvestilu o umiku imenujejo "netočne", kot je poznavanje avtorjev podatkov v času analiz, kot je določil Journal. Časopis se ne strinja, da obvestilo o odstopu vsebuje netočnosti.

Brian Nosek, izvršni direktor Centra za odprto znanost v Charlottesvillu v Virginiji in soavtor umaknjene študije, pravi, da je bilo šokantno izvedeti, da je bila napaka predregistracije vržena skozi njihove procese vodenja projektov. "Ne vem, kolikokrat sem prebral tisti papir s temi napačnimi izjavami o vsem, kar je vnaprej registrirano, in sem ga zamudil. To je bila samo napaka," pravi.

Nosek, ki velja za pionirja v predregistraciji, prav tako pravi, da je bil prvotni cilj projekta ponovljivost, kar je v nasprotju z Bak-Colemanom in Devezerjem.

Izzivi predregistracije

Saga kaže na pomanjkljivosti predregistracije, pravi Yoel Inbar, psiholog z Univerze v Torontu v Kanadi. »Videl sem veliko predregistracij, ki so bile nejasne, niso bile dosledno upoštevane ali kjer je bil končni dokument mešanica vnaprej registrirane in nepredregistrirane analize,« pravi.

V Inbarju so vse bolj prepričani, da je boljša možnost oblika predprijave registrirana poročila kjer raziskovalci predložijo svoj študijski protokol, vključno z njegovo utemeljitvijo in metodami, v revijo v pregled pred zbiranjem podatkov. Uredniki se odločijo, ali bodo študijo sprejeli na podlagi pomembnosti raziskovalnega vprašanja in strogosti metod ter se zavežejo, da bodo rezultate objavili, če bo delo opravljeno, kot je opisano.

Drugi pravijo, da je dnevnik del problema. Anne Scheel, metaznanstvenica z Univerze v Utrechtu na Nizozemskem, pravi, da bi morali uredniki opaziti pomanjkanje predregistracije, čeprav so avtorji naredili napake. Recenzenti ne preverijo vedno predregistracije in velike revije, kot je Nature Human Behavior, "potrebujejo postopke za dejansko preverjanje predregistracije," pravi.

Tiskovni predstavnik časopisa pravi, da raziskuje spremembe svojih praks. "Revija raziskuje načine za izboljšanje zahtev po preglednosti, standardizaciji in poročanju za predregistracijo v družbenih in vedenjskih vedah, kar bo okrepilo prizadevanja za spremljanje skladnosti predregistracije," dodaja tiskovni predstavnik.

Izguba časa za vse

Obsežne projekte, v katerih več raziskovalnih skupin izvaja iste poskuse, je težko upravljati, pojasnjuje Olavo Amaral, raziskovalec ponovljivosti na Universidade Federal do Rio de Janeiro v Braziliji. Govori iz izkušenj: vodi brazilski projekt ponovljivosti, poskus reproduciranja rezultatov več deset biomedicinskih študij, izvedenih v laboratorijih po vsej državi. "Vedno lahko najdemo napake," pravi.

Pravi, da je treba obravnavati kritiko umaknjenega dokumenta, vendar težave ne spremenijo njegovega mnenja o delu. "Rezultati se zdijo dokaj ponovljivi," pravi. "Mislim, da kritika predregistracije ne spremeni veliko mojega mnenja o časopisu."

1. Protzko, J. et al. Narava Hum. Vedenje 8, 311–319 (2023).

   člen
   PubMed
   
   Google Učenjak

2. Protzko, J. et al. Narava Hum. Vedenje https://doi.org/10.1038/s41562-024-01997-3 (2024).

   člen
   
   Google Učenjak

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   člen
   PubMed
   
   Google Učenjak

4. Bak-Coleman, J. & Devezer, B. Prednatis pri PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Vedenje https://doi.org/10.1038/s41562-024-01982-w (2024).

   člen
   
   Google Učenjak

6. Protzko, L. et al. Predtisk pri https://osf.io/2s94g (2024).

Prenesite reference