Daryti gerą mokslą yra sudėtinga: svarbaus atkuriamumo tyrimo atšaukimas skatina savirefleksiją

Daryti gerą mokslą yra sudėtinga: svarbaus atkuriamumo tyrimo atšaukimas skatina savirefleksiją

Aukšto lygio dokumento atšaukimas 1, Mokslinių studijų pagrįstumo tobulinimo metodai išbandyta išryškino tokių „atkuriamumo“ tyrimų iššūkius. Atitraukto darbo autoriai apima keletą Šios srities šviestuvai.

Praėjusį lapkritį žurnale „Nature Human Behavior“ paskelbtame tyrime autoriai aprašė griežtas tyrimo protokolas su tokiomis savybėmis kaip dideli imčių dydžiai, siekiant užtikrinti psichologinių eksperimentų pagrįstumą. Autoriai savo protokolą taikė dešimtims tyrimų projektų. Jie pranešė, kad 86 % replikacijos bandymų buvo patvirtinti laukiami rezultatai – vienas didžiausių „replikacijos rodiklių“, kada nors užfiksuotų atliekant tokius tyrimus. Tačiau žurnalo redaktoriai atsiėmė laikraštį rugsėjo 23 d., nurodydami atsiėmimo pranešime 2, kad jie „nebetiki rezultatų ir išvadų patikimumu“.

Autoriai sutinka su žurnalo susirūpinimu tik vienu klausimu, kurį jie priskiria netyčia neapsižiūrėjus. Vienas iš autorių, Kalifornijos universiteto Santa Barbaroje psichologas Jonathanas Schooleris „Nature“ sakė, kad tyrimų grupė dirba prie naujos rankraščio versijos, kurią reikia pateikti pakartotinai.

Bylą sekantys tyrėjai teigia, kad jis... Atvirojo mokslo principo problemos: išankstinė registracija Tai apima praktiką prieš atliekant tyrimą raštu išdėstyti tyrimo detales, įskaitant hipotezes ir planuojamas analizes, kad būtų išvengta manipuliavimo duomenimis ir atrankinio rezultatų pranešimo.

„Tai rodo, kad geras mokslas yra sunkus, daug sunkesnis, nei dauguma galvoja“, – sako Oklando universiteto Naujojoje Zelandijoje regos neurologas Samas Schwarzkopfas. „Dažnai iš anksto užsiregistravę žmonės pastebi, kad jų gerai apgalvoti planai nepasiteisina, kai jie susiduria su šalta, sunkia duomenų rinkimo realybe.

Keturios komandos ir 64 replikacijos bandymai

Straipsnyje aprašomas sudėtingas ir platus eksperimentas: keturios tyrimų grupės atliko registruotus bandomuosius tyrimus socialinių mokslų srityse. Pavyzdžiui, viename iš tyrimų buvo nagrinėjama, ar laiko spaudimas turi įtakos sprendimų priėmimui 3. Jei bandomasis tyrimas aptiko poveikį, komanda bandė patvirtinti rezultatus bent 1500 žmonių imtyje. Visos keturios komandos bandė pakartoti pasirinktus eksperimentus, kad pamatytų, ar jie pasieks tuos pačius rezultatus. Kiekviena komanda bandė pakartoti keturis savo eksperimentus ir keturis iš kiekvienos iš trijų kitų komandų.

Iš 64 replikacijos bandymų 86% buvo sėkmingi, tai yra, jie davė laukiamus ir statistiškai reikšmingus rezultatus. Palyginimui, kiti socialinių mokslų sričių replikacijos tyrimai rodo, kad vidutinis replikacijos rodiklis yra 50%.

Atšaukto tyrimo autoriai aukštą replikacijos dažnį priskyrė „griežtai praktikai“, pvz., dideliam imties dydžiui, Išankstinė registracija ir Metodų skaidrumas atgal. Tokios praktikos taikymas gali padėti atlikti tyrimus patikimesnius, rašė autoriai.

Netrukus po to, kai buvo paskelbtas straipsnis, socialinis mokslininkas Josephas Bak-Colemanas iš Konstanco universiteto Vokietijoje ir Berna Devezer, studijuojanti rinkodarą Aidaho universitete Maskvoje, suabejojo ​​juo išankstiniame leidinyje. 4, kuris buvo įkeltas į PsyArXiv serverį, jo galiojimas. Jie pažymėjo, kad autoriai iš anksto neužregistravo kai kurių darbo elementų, įskaitant pagrindinį klausimą: ar autorių protokolas padidins atkuriamumą? Atskirai Bak-Coleman išsiuntė analizės puslapius „Nature Human Behavior“ redaktoriams, kurie pradėjo tyrimą, dėl kurio galiausiai buvo atsisakyta.

Komentare 5 Bak-Coleman ir Devezer rašė, kad „atkuriamumas nebuvo pirminis projekto rezultatas, o atkuriamumo analizės nebuvo iš anksto užregistruotos, kaip teigiama“. Pranešime apie grąžinimą Echo buvo šie teiginiai. („Nature Human Behaviour“ leidžia „Springer Nature“, kuri taip pat leidžia „Nature“. Gamtos naujienų komanda redakciniu požiūriu nepriklauso nuo savo leidėjo.)

Autorinis pripažinimas

Pasitraukimo dieną šeši „Nature Human Behavior“ autoriai paskelbė savo pažiūrų ataskaitą 6. Jame jie pripažįsta, kad kai kurios tyrimo analizės nebuvo iš anksto užregistruotos. Tačiau jie vadina kitus atsiėmimo pranešimo teiginius „netiksliais“, pavyzdžiui, autorių žinias apie duomenis analizės metu, kaip nustatė žurnalas. Žurnalas nesutinka, kad pranešime apie atsisakymą yra netikslumų.

Brianas Nosekas, Atvirojo mokslo centro Šarlotsvilyje, Virdžinijoje, vykdomasis direktorius ir atšaukto tyrimo bendraautoris, sako, kad buvo šokiruojantis sužinoti, kad išankstinės registracijos klaida buvo išmesta per jų projektų valdymo procesus. "Nežinau, kiek kartų skaičiau tą lapelį su šiais klaidingais teiginiais apie viską, kas iš anksto užregistruota, ir praleidau. Tai buvo tiesiog klaida", – sako jis.

Nosekas, laikomas išankstinės registracijos pradininku, taip pat sako, kad pradinis projekto tikslas buvo atkuriamumas, o tai prieštarauja Bak-Coleman ir Devezer.

Išankstinės registracijos iššūkiai

Saga parodo išankstinės registracijos trūkumus, sako Toronto universiteto Kanadoje psichologas Yoelis Inbaras. „Mačiau daug išankstinių registracijų, kurios buvo neaiškios, nebuvo griežtai laikomasi arba kai galutinis dokumentas buvo iš anksto registruotos ir neregistruotos analizės derinys“, – sako jis.

„Inbar“ vis labiau įsitikina, kad geresnis pasirinkimas yra išankstinės registracijos formatas registruotas ataskaitas Čia mokslininkai pateikia savo tyrimo protokolą, įskaitant jo pagrindimą ir metodus, žurnalui peržiūrėti prieš rinkdami duomenis. Redaktoriai nusprendžia, ar priimti tyrimą, atsižvelgdami į tyrimo klausimo svarbą ir metodų griežtumą, ir įsipareigoja paskelbti rezultatus, jei darbas bus atliktas taip, kaip aprašyta.

Kiti sako, kad žurnalas yra problemos dalis. Anne Scheel, Utrechto universiteto (Olandija) metamokslininkė, teigia, kad nors autoriai padarė klaidų, redaktoriai turėjo pastebėti išankstinės registracijos trūkumą. Recenzentai ne visada tikrina išankstinę registraciją, o tokiems dideliems žurnalams kaip „Nature Human Behavior“ „reikia procesų, kad iš tikrųjų patikrintų išankstinę registraciją“, – sako ji.

Žurnalo atstovas sako, kad jis tiria savo praktikos pokyčius. „Žurnalas tiria būdus, kaip pagerinti išankstinės registracijos skaidrumą, standartizavimą ir ataskaitų teikimo reikalavimus socialiniuose ir elgesio moksluose, o tai sustiprins pastangas stebėti išankstinės registracijos laikymąsi“, – priduria atstovas.

Laiko švaistymas visiems

Didelio masto projektus, kuriuose kelios tyrimų grupės atlieka tuos pačius eksperimentus, sunku valdyti, aiškina Olavo Amaral, atkuriamumo tyrėjas iš Rio de Žaneiro federalinės universiteto Brazilijoje. Jis kalba iš patirties: jis vadovauja Brazilijos atkuriamumo projektui – bandymui atkurti dešimčių biomedicininių tyrimų, atliktų laboratorijose visoje šalyje, rezultatus. „Visada galime rasti klaidų“, – sako jis.

Jis sako, kad į kritiką dėl atitraukto popieriaus reikia atkreipti dėmesį, tačiau problemos nekeičia jo nuomonės apie kūrinį. „Atrodo, kad rezultatai yra gana pakartojami“, - sako jis. „Nemanau, kad išankstinės registracijos kritika labai pakeičia mano nuomonę apie laikraštį.

1. Protzko, J. ir kt. Gamta Hum. Elgesys 8, 311–319 (2023).

   Straipsnis
   PubMed
   
   Google Scholar

2. Protzko, J. ir kt. Gamta Hum. Elgesys https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Straipsnis
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Straipsnis
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Elgesys https://doi.org/10.1038/s41562-024-01982-w (2024).

   Straipsnis
   
   Google Scholar

6. Protzko, L. ir kt. Išankstinis spausdinimas adresu https://osf.io/2s94g (2024).

Atsisiųskite nuorodas