Robiť dobrú vedu je náročné: Stiahnutie dôležitej štúdie reprodukovateľnosti stimuluje sebareflexiu

Robiť dobrú vedu je náročné: Stiahnutie dôležitej štúdie reprodukovateľnosti stimuluje sebareflexiu

Stiahnutie vysokoprofilového papiera 1, Metódy na zlepšenie validity vedeckých štúdií testovaný poukázal na výzvy takéhoto výskumu „reprodukovateľnosti“. Autormi stiahnutého príspevku sú viacerí Svietidlá v tejto oblasti.

V štúdii publikovanej vlani v novembri v Nature Human Behavior autori opísali prísny výskumný protokol s funkciami, ako sú veľké veľkosti vzoriek, aby sa zabezpečila platnosť psychologických experimentov. Autori aplikovali svoj protokol na desiatky výskumných projektov. Uviedli, že v 86 % pokusov o replikáciu sa potvrdili očakávané výsledky – jedna z najvyšších „mierou replikácie“, aká bola kedy zaznamenaná v takýchto štúdiách. Ale redaktori časopisu stiahli noviny 23. septembra, pričom to uviedli v oznámení o stiahnutí 2, že „už nemajú dôveru v spoľahlivosť výsledkov a záverov“.

Autori súhlasia s obavami časopisu len v jednom bode, ktorý pripisujú neúmyselnému prehliadnutiu. Jeden z autorov, Jonathan Schooler, psychológ z Kalifornskej univerzity v Santa Barbare, pre Nature povedal, že výskumná skupina pracuje na novej verzii rukopisu na opätovné odovzdanie.

Vedci sledujúci prípad tvrdia, že... Problémy princípu otvorenej vedy: predregistrácia čo zahŕňa prax písomného stanovenia podrobností štúdie, vrátane hypotéz a plánovaných analýz, pred jej vykonaním, aby sa zabránilo manipulácii s údajmi a selektívnemu oznamovaniu výsledkov.

„Toto ukazuje, že dobrá veda je ťažká, oveľa ťažšia, ako si väčšina ľudí myslí,“ hovorí Sam Schwarzkopf, vizuálny neurológ z University of Auckland na Novom Zélande. "Často ľudia, ktorí sa predregistrujú, zistia, že ich dobre premyslené plány nevyjdú, keď sú konfrontovaní s chladnou a tvrdou realitou zhromažďovania údajov."

Štyri tímy a 64 pokusov o replikáciu

Článok popisuje komplexný a rozsiahly experiment: každý zo štyroch výskumných tímov vykonal registrované pilotné štúdie v oblastiach spoločenských vied. Jedna zo štúdií napríklad skúmala, či časový tlak ovplyvňuje rozhodovanie 3. Ak pilotná štúdia objavila účinok, tím sa pokúsil potvrdiť výsledky na vzorke najmenej 1500 ľudí. Všetky štyri tímy sa pokúsili reprodukovať vybrané experimenty, aby zistili, či dosiahnu rovnaké výsledky. Každý tím sa pokúsil replikovať štyri svoje vlastné experimenty a štyri z každého z troch ďalších tímov.

Zo 64 pokusov o replikáciu bolo 86 % úspešných – to znamená, že priniesli očakávané a štatisticky významné výsledky. Na porovnanie, iné replikačné štúdie v oblasti spoločenských vied uvádzajú priemernú mieru replikácie 50 %.

Autori stiahnutej štúdie pripisovali jej vysokú mieru replikácie „prísnym praktikám“, ako sú veľké veľkosti vzoriek, Predbežná registrácia a Transparentnosť metód späť. Prijatie takýchto praktík by mohlo pomôcť urobiť štúdie spoľahlivejšie, napísali autori.

Krátko po uverejnení tohto článku ho v predtlači spochybnili Joseph Bak-Coleman, sociálny vedec na univerzite v Kostnici v Nemecku, a Berna Devezer, ktorá študuje marketing na univerzite v Idahu v Moskve. 4, ktorý bol nahraný na server PsyArXiv, jeho platnosť. Poznamenali, že autori vopred nezaregistrovali niektoré prvky článku, vrátane ústrednej otázky: Zvýši protokol autorov reprodukovateľnosť? Samostatne Bak-Coleman poslal stránky analýzy redaktorom Nature Human Behavior, ktorí začali vyšetrovanie, ktoré nakoniec viedlo k stiahnutiu.

V komentári 5 Bak-Coleman a Devezer napísali, že „reprodukovateľnosť nebola pôvodným výsledkom projektu a analýzy reprodukovateľnosti neboli predregistrované, ako sa tvrdí“. Oznámenie Echo obsahovalo tieto vyhlásenia. (Nature Human Behavior vydáva Springer Nature, ktorá tiež vydáva Nature. Spravodajský tím Nature je redakčne nezávislý od vydavateľa.)

Autorské uznanie

V deň stiahnutia zverejnilo šesť autorov Nature Human Behavior správu o svojich názoroch 6. Pripúšťajú v ňom, že niektoré analýzy štúdie neboli vopred zaregistrované. Ostatné vyhlásenia v oznámení o stiahnutí však označujú za „nepresné“, ako napríklad znalosť údajov autorov v čase analýz, ako ich určil časopis. Vestník nesúhlasí s tým, že oznámenie o odstúpení obsahuje nepresnosti.

Brian Nosek, výkonný riaditeľ Centra pre otvorenú vedu v Charlottesville vo Virgínii a spoluautor stiahnutej štúdie, hovorí, že bolo šokujúce, keď sa dozvedeli, že chyba predregistrácie bola spôsobená ich procesmi riadenia projektov. "Neviem, koľkokrát som čítal ten papier s týmito chybnými vyjadreniami o všetkom, čo je vopred zaregistrované, a minul som to. Bola to len chyba," hovorí.

Nosek, považovaný za priekopníka v predregistrácii, tiež hovorí, že pôvodným cieľom projektu bola reprodukovateľnosť, čo je v rozpore s Bak-Colemanom a Devezerom.

Výzvy pri predbežnej registrácii

Sága ukazuje nedostatky predbežnej registrácie, hovorí Yoel Inbar, psychológ z University of Toronto v Kanade. „Videl som veľa predregistrácií, ktoré boli vágne, nedodržiavali sa striktne, alebo ktorých záverečná práca bola zmesou predregistrovanej a nepredregistrovanej analýzy,“ hovorí.

Inbar je čoraz viac presvedčený, že lepšou možnosťou je formát predbežnej registrácie registrovaných správ je miesto, kde výskumníci predložia svoj protokol štúdie vrátane jeho zdôvodnenia a metód do časopisu na posúdenie pred zberom údajov. Editori sa rozhodnú, či štúdiu prijmú na základe dôležitosti výskumnej otázky a prísnosti metód a zaviažu sa k publikovaniu výsledkov, ak sa práca vykoná tak, ako je opísané.

Iní tvrdia, že denník je súčasťou problému. Anne Scheel, metavedkyňa z Utrechtskej univerzity v Holandsku hovorí, že hoci sa autori dopustili chýb, redakcia si mala všimnúť chýbajúcu predregistráciu. Recenzenti nie vždy kontrolujú predregistráciu a veľké časopisy ako Nature Human Behavior „potrebujú procesy na skutočnú kontrolu predregistrácie,“ hovorí.

Hovorca časopisu Journal hovorí, že skúma zmeny vo svojich postupoch. „Časopis skúma spôsoby, ako zlepšiť transparentnosť, štandardizáciu a požiadavky na podávanie správ o predregistrácii v spoločenských a behaviorálnych vedách, čo posilní úsilie o monitorovanie súladu s predregistráciou,“ dodáva hovorca.

Strata času pre každého

Rozsiahle projekty, v ktorých viaceré výskumné skupiny vykonávajú rovnaké experimenty, je ťažké zvládnuť, vysvetľuje Olavo Amaral, výskumník reprodukovateľnosti na Universidade Federal do Rio de Janeiro v Brazílii. Hovorí zo skúseností: Vedie brazílsky projekt reprodukovateľnosti, pokus reprodukovať výsledky desiatok biomedicínskych štúdií vykonaných v laboratóriách po celej krajine. "Vždy môžeme nájsť chyby," hovorí.

Hovorí, že kritiku stiahnutého príspevku treba riešiť, ale problémy nemenia jeho názor na prácu. "Výsledky sa zdajú byť celkom reprodukovateľné," hovorí. "Nemyslím si, že kritika predregistrácie veľmi mení môj názor na noviny."

1. Protzko, J. a kol. Príroda Hum. Správanie 8, 311 – 319 (2023).

   Článok
   PubMed
   
   Študovňa Google

2. Protzko, J. a kol. Príroda Hum. Správanie https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Článok
   
   Študovňa Google

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584 – 1591 (2019).

   Článok
   PubMed
   
   Študovňa Google

4. Bak-Coleman, J. & Devezer, B. Predtlač v PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Správanie https://doi.org/10.1038/s41562-024-01982-w (2024).

   Článok
   
   Študovňa Google

6. Protzko, L. a kol. Predtlač o https://osf.io/2s94g (2024).

Stiahnite si referencie