Raditi dobru znanost je izazovno: povlačenje važne studije ponovljivosti potiče samorefleksiju

Raditi dobru znanost je izazovno: povlačenje važne studije ponovljivosti potiče samorefleksiju

Povlačenje glasnog lista 1, the Metode za poboljšanje valjanosti znanstvenih istraživanja testiran istaknuo je izazove takvog istraživanja "ponovljivosti". Nekoliko je autora povučenog rada Luminari na ovom polju.

U studiji objavljenoj prošlog studenog u časopisu Nature Human Behavior, opisali su autori rigorozan istraživački protokol sa značajkama kao što su velika veličina uzorka kako bi se osigurala valjanost psiholoških eksperimenata. Autori su primijenili svoj protokol na desetke istraživačkih projekata. Izvijestili su da su u 86% pokušaja replikacije potvrđeni očekivani rezultati - jedna od najviših "stopa replikacije" ikada zabilježenih u takvim studijama. No urednici časopisa povukli su rad 23. rujna, navodeći u obavijesti o povlačenju 2, da “više nemaju povjerenja u pouzdanost rezultata i zaključaka”.

Autori se slažu sa zabrinutošću časopisa samo u jednoj točki, koju pripisuju nenamjernom previdu. Jedan od autora, Jonathan Schooler, psiholog sa kalifornijskog sveučilišta u Santa Barbari, rekao je za Nature da istraživačka skupina radi na novoj verziji rukopisa za ponovnu predaju.

Istraživači koji prate slučaj kažu da je... Problemi načela otvorene znanosti: predbilježba što uključuje praksu utvrđivanja detalja studije, uključujući hipoteze i planirane analize, u pisanom obliku prije njezina provođenja kako bi se spriječilo manipuliranje podacima i selektivno izvješćivanje o rezultatima.

"Ovo pokazuje da je dobra znanost teška, mnogo teža nego što većina ljudi misli", kaže Sam Schwarzkopf, vizualni neuroznanstvenik sa Sveučilišta u Aucklandu na Novom Zelandu. "Često ljudi koji se predregistriraju otkriju da njihovi dobro promišljeni planovi ne uspijevaju kad se suoče s hladnom, teškom stvarnošću prikupljanja podataka."

Četiri tima i 64 pokušaja ponavljanja

U radu se opisuje složen i opsežan eksperiment: četiri istraživačka tima provela su registrirana pilot istraživanja u područjima društvenih znanosti. Na primjer, jedna od studija ispitivala je utječe li vremenski pritisak na donošenje odluka 3. Ako je pilot studija otkrila učinak, tim je pokušao potvrditi rezultate na uzorku od najmanje 1500 ljudi. Sva četiri tima pokušala su reproducirati odabrane eksperimente kako bi vidjeli hoće li postići iste rezultate. Svaki je tim pokušao ponoviti četiri vlastita eksperimenta i četiri iz svakog od tri druga tima.

Od 64 pokušaja replikacije, 86% je bilo uspješno – odnosno dalo je očekivane i statistički značajne rezultate. Za usporedbu, druge studije replikacije u područjima društvenih znanosti pokazuju prosječne stope replikacije od 50%.

Autori povučene studije pripisali su visoku stopu replikacije "rigoroznim praksama" kao što su velika veličina uzorka, Predbilježba i Transparentnost o metodama nazad. Usvajanje takve prakse moglo bi pomoći da studije budu pouzdanije, napisali su autori.

Ubrzo nakon što je rad objavljen, Joseph Bak-Coleman, sociolog sa Sveučilišta Konstanz u Njemačkoj, i Berna Devezer, koja studira marketing na Sveučilištu Idaho u Moskvi, doveli su u pitanje to u pretisku 4, koji je postavljen na poslužitelj PsyArXiv, njegovu valjanost. Primijetili su da autori nisu unaprijed registrirali neke elemente rada, uključujući središnje pitanje: Hoće li autorov protokol povećati ponovljivost? Zasebno, Bak-Coleman je poslao stranice analize urednicima časopisa Nature Human Behavior, koji su pokrenuli istragu koja je na kraju dovela do povlačenja.

U komentaru 5, koji je pratio povlačenje, Bak-Coleman i Devezer napisali su da "reproduktivnost nije bila izvorni ishod projekta i analize reproduktivnosti nisu bile unaprijed registrirane kao što se tvrdilo." Obavijest o povratku Echo je imala ove izjave. (Nature Human Behavior izdaje Springer Nature, koji također izdaje Nature. Novinski tim Naturea urednički je neovisan o svom izdavaču.)

Autorsko priznanje

Na dan povlačenja, šest autora Nature Human Behavior objavilo je izvješće sa svojim stavovima 6. U njemu priznaju da neke od analiza studije nisu bile predregistrirane. Međutim, druge izjave u obavijesti o povlačenju nazivaju "netočnima", poput znanja autora o podacima u vrijeme analiza kako je utvrdio Časopis. Časopis se ne slaže da obavijest o povlačenju sadrži netočnosti.

Brian Nosek, izvršni direktor Centra za otvorenu znanost u Charlottesvilleu, Virginia, i koautor povučene studije, kaže da je bilo šokantno saznati da je pogreška predregistracije ubačena kroz njihove procese upravljanja projektom. "Ne znam koliko sam puta pročitao taj papir s tim pogrešnim izjavama o svemu što je predbilježeno i propustio. To je bila samo greška", kaže.

Nosek, koji se smatra pionirom u predregistraciji, također kaže da je izvorni cilj projekta bila ponovljivost, što je u suprotnosti s Bak-Colemanom i Devezerom.

Izazovi predbilježbe

Saga pokazuje nedostatke predregistracije, kaže Yoel Inbar, psiholog sa Sveučilišta u Torontu u Kanadi. "Vidio sam mnoge predregistracije koje su bile nejasne, nisu se striktno pratile ili gdje je završni rad bio mješavina analize predregistriranih i nepredregistriranih", kaže on.

Inbar je sve uvjereniji da je bolja opcija format predbilježbe registrirana izvješća je mjesto gdje istraživači podnose svoj protokol istraživanja, uključujući njegovo obrazloženje i metode, u časopis na pregled prije prikupljanja podataka. Urednici odlučuju hoće li prihvatiti studiju na temelju važnosti istraživačkog pitanja i strogosti metoda te se obvezuju na objavljivanje rezultata ako se rad provede kako je opisano.

Drugi kažu da je dnevnik dio problema. Anne Scheel, metaznanstvenica sa Sveučilišta Utrecht u Nizozemskoj, kaže da su, iako su autori pogriješili, urednici trebali primijetiti nedostatak predregistracije. Recenzenti ne provjeravaju uvijek predregistraciju, a veliki časopisi poput Nature Human Behavior "trebaju procese za provjeru predregistracije", kaže ona.

Glasnogovornik časopisa kaže da istražuje promjene u svojoj praksi. "Časopis istražuje načine poboljšanja transparentnosti, standardizacije i zahtjeva za izvješćivanje za predregistraciju u društvenim i bihevioralnim znanostima, što će ojačati napore u praćenju usklađenosti predregistracije", dodaje glasnogovornik.

Gubitak vremena za sve

Teško je upravljati projektima velikih razmjera u kojima više istraživačkih skupina provodi iste pokuse, objašnjava Olavo Amaral, istraživač reproduktivnosti na Universidade Federal do Rio de Janeiro u Brazilu. On govori iz iskustva: vodi Brazilian Reproducibility Project, pokušaj reproduciranja rezultata desetaka biomedicinskih studija provedenih u laboratorijima diljem zemlje. “Greške uvijek možemo pronaći”, kaže.

Kaže da se treba pozabaviti kritikama povučenog rada, ali problemi ne mijenjaju njegovo mišljenje o radu. "Čini se da se rezultati mogu prilično ponoviti", kaže on. "Mislim da kritika predregistracije ne mijenja mnogo moje mišljenje o novinama."

1. Protzko, J. i sur. Priroda Hum. Ponašanje 8, 311–319 (2023).

   Članak
   PubMed
   
   Google znalac

2. Protzko, J. i sur. Priroda Hum. Ponašanje https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Članak
   
   Google znalac

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Članak
   PubMed
   
   Google znalac

4. Bak-Coleman, J. & Devezer, B. Preprint na PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Priroda Hum. Ponašanje https://doi.org/10.1038/s41562-024-01982-w (2024).

   Članak
   
   Google znalac

6. Protzko, L. i sur. Pretisak na https://osf.io/2s94g (2024).

Preuzmite reference