Dělat dobrou vědu je náročné: Stažení důležité studie reprodukovatelnosti stimuluje sebereflexi

Dělat dobrou vědu je náročné: Stažení důležité studie reprodukovatelnosti stimuluje sebereflexi

Stažení vysoce kvalitního papíru 1, Metody pro zlepšení validity vědeckých studií testovaný poukázal na výzvy takového výzkumu „reprodukovatelnosti“. Mezi autory staženého příspěvku je několik Svítidla v tomto oboru.

Ve studii zveřejněné loni v listopadu v Nature Human Behavior autoři popsali přísný výzkumný protokol s funkcemi, jako jsou velké velikosti vzorků, aby byla zajištěna platnost psychologických experimentů. Autoři aplikovali svůj protokol na desítky výzkumných projektů. Uvedli, že v 86 % pokusů o replikaci byly potvrzeny očekávané výsledky – jedna z nejvyšších „množství replikace“, jaká kdy byla v takových studiích zaznamenána. Ale redaktoři časopisu stáhli noviny 23. září s uvedením v oznámení o stažení 2, že „již nemají důvěru ve spolehlivost výsledků a závěrů“.

Autoři souhlasí s obavami časopisu pouze v jednom bodě, který připisují neúmyslnému přehlédnutí. Jeden z autorů, Jonathan Schooler, psycholog z Kalifornské univerzity v Santa Barbaře, řekl Nature, že výzkumná skupina pracuje na nové verzi rukopisu k opětovnému předložení.

Vědci sledující případ tvrdí, že... Problémy principu otevřené vědy: předregistrace což zahrnuje praxi písemného stanovení podrobností studie, včetně hypotéz a plánovaných analýz, před jejím provedením, aby se zabránilo manipulaci s daty a selektivnímu vykazování výsledků.

"To ukazuje, že dobrá věda je těžká, mnohem těžší, než si většina lidí myslí," říká Sam Schwarzkopf, vizuální neurovědec z University of Auckland na Novém Zélandu. "Často lidé, kteří se předregistrují, zjistí, že jejich dobře promyšlené plány nevyjdou, když jsou konfrontováni s chladnou a tvrdou realitou sběru dat."

Čtyři týmy a 64 pokusů o replikaci

Článek popisuje složitý a rozsáhlý experiment: každý ze čtyř výzkumných týmů provedl registrované pilotní studie v oblastech společenských věd. Jedna ze studií například zkoumala, zda časový tlak ovlivňuje rozhodování 3. Pokud pilotní studie objevila účinek, tým se pokusil výsledky potvrdit na vzorku nejméně 1500 lidí. Všechny čtyři týmy se pokusily vybrané experimenty reprodukovat, aby zjistily, zda dosáhnou stejných výsledků. Každý tým se pokusil replikovat čtyři své vlastní experimenty a čtyři z každého ze tří dalších týmů.

Z 64 pokusů o replikaci bylo 86 % úspěšných – to znamená, že přinesly očekávané a statisticky významné výsledky. Pro srovnání, jiné replikační studie v oblastech společenských věd uvádějí průměrnou míru replikace 50 %.

Autoři stažené studie připisovali její vysokou míru replikace „přísným postupům“, jako jsou velké velikosti vzorků, Předběžná registrace a Transparentnost metod zadní. Přijetí takových postupů by mohlo pomoci učinit studie spolehlivějšími, napsali autoři.

Krátce poté, co byl článek publikován, Joseph Bak-Coleman, sociální vědec na univerzitě v Kostnici v Německu, a Berna Devezer, která studuje marketing na University of Idaho v Moskvě, jej zpochybnili v předtisku. 4, který byl nahrán na server PsyArXiv, jeho platnost. Poznamenali, že autoři předem nezaregistrovali některé prvky článku, včetně ústřední otázky: Zvýšil by protokol autorů reprodukovatelnost? Samostatně Bak-Coleman poslal stránky analýzy redaktorům Nature Human Behavior, kteří zahájili vyšetřování, které nakonec vedlo ke stažení.

V komentáři 5 Bak-Coleman a Devezer napsali, že „reprodukovatelnost nebyla původním výsledkem projektu a analýzy reprodukovatelnosti nebyly předběžně registrovány, jak se tvrdilo“. Oznámení Echo obsahovalo tato prohlášení. (Přírodu Human Behavior vydává Springer Nature, která také vydává Nature. Zpravodajský tým Nature je redakčně nezávislý na vydavateli.)

Autorské uznání

V den stažení zveřejnilo šest autorů Nature Human Behavior zprávu o svých názorech 6. V něm připouštějí, že některé analýzy studie nebyly předem registrovány. Ostatní prohlášení v oznámení o stažení však označují za „nepřesná“, jako je znalost autorů o datech v době analýz, jak určil časopis. Věstník nesouhlasí s tím, že oznámení o odstoupení obsahuje nepřesnosti.

Brian Nosek, výkonný ředitel Centra pro otevřenou vědu v Charlottesville ve Virginii a spoluautor stažené studie, říká, že bylo šokující zjistit, že chyba předběžné registrace byla způsobena jejich procesy projektového řízení. "Nevím, kolikrát jsem četl ten papír s těmito chybnými prohlášeními o všem, co bylo předem zaregistrováno, a nestihl jsem to. Byla to prostě chyba," říká.

Nosek, považovaný za průkopníka v předregistraci, také říká, že původním cílem projektu byla reprodukovatelnost, což je v rozporu s Bak-Colemanem a Devezerem.

Problémy s předběžnou registrací

Sága ukazuje nedostatky předběžné registrace, říká Yoel Inbar, psycholog z University of Toronto v Kanadě. „Viděl jsem mnoho předregistrací, které byly vágní, nebyly striktně dodržovány, nebo kde finální práce byla směsí předregistrované a nepředregistrované analýzy,“ říká.

Inbar je stále více přesvědčen, že lepší variantou je formát předběžné registrace registrovaných hlášení je místo, kde vědci předkládají svůj protokol studie, včetně jeho zdůvodnění a metod, do časopisu ke kontrole před sběrem dat. Editoři se rozhodnou, zda studii přijmou na základě důležitosti výzkumné otázky a přísnosti metod, a zavazují se zveřejnit výsledky, pokud bude práce provedena tak, jak je popsáno.

Jiní říkají, že deník je součástí problému. Anne Scheel, metavědkyně z Utrechtské univerzity v Nizozemsku, říká, že ačkoli autoři udělali chyby, redaktoři si měli všimnout chybějící předregistrace. Recenzenti ne vždy kontrolují předregistraci a velké časopisy, jako je Nature Human Behavior, „potřebují procesy, aby skutečně zkontrolovaly předregistraci,“ říká.

Mluvčí deníku říká, že zkoumá změny ve svých postupech. „Časopis zkoumá způsoby, jak zlepšit transparentnost, standardizaci a požadavky na podávání zpráv pro předregistraci v sociálních a behaviorálních vědách, což posílí úsilí o sledování souladu s předregistrací,“ dodává mluvčí.

Ztráta času pro všechny

Rozsáhlé projekty, ve kterých několik výzkumných skupin provádí stejné experimenty, je obtížné řídit, vysvětluje Olavo Amaral, výzkumník reprodukovatelnosti na Universidade Federal do Rio de Janeiro v Brazílii. Mluví z vlastní zkušenosti: Vede brazilský projekt reprodukovatelnosti, pokus reprodukovat výsledky desítek biomedicínských studií prováděných v laboratořích po celé zemi. "Vždycky můžeme najít chyby," říká.

Říká, že kritiku staženého příspěvku je třeba řešit, ale problémy jeho názor na dílo nemění. "Výsledky se zdají být docela replikovatelné," říká. "Nemyslím si, že kritika předběžné registrace příliš mění můj názor na noviny."

1. Protzko, J. a kol. Příroda Hum. Chování 8, 311–319 (2023).

   Článek
   PubMed
   
   Google Scholar

2. Protzko, J. a kol. Příroda Hum. Chování https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Článek
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Článek
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Chování https://doi.org/10.1038/s41562-024-01982-w (2024).

   Článek
   
   Google Scholar

6. Protzko, L. a kol. Předtisk v https://osf.io/2s94g (2024).

Stáhněte si reference