Jó tudományt csinálni kihívás: egy fontos reprodukálhatósági tanulmány visszavonása serkenti az önreflexiót

Jó tudományt csinálni kihívás: egy fontos reprodukálhatósági tanulmány visszavonása serkenti az önreflexiót

Egy nagy horderejű lap visszavonása 1, a Módszerek a tudományos vizsgálatok validitásának javítására tesztelve rávilágított az ilyen „reprodukálhatósági” kutatás kihívásaira. A visszavont dolgozat szerzői között több is szerepel Világítótestek ezen a területen.

A Nature Human Behavior című folyóiratban tavaly novemberben megjelent tanulmányban a szerzők leírták szigorú kutatási protokoll olyan jellemzőkkel, mint a nagy mintaméret a pszichológiai kísérletek érvényességének biztosítása érdekében. A szerzők több tucat kutatási projekthez alkalmazták protokolljukat. Beszámoltak arról, hogy a replikációs kísérletek 86%-ában a várt eredmények beigazolódtak – ez az egyik legmagasabb "replikációs ráta", amelyet az ilyen vizsgálatok során valaha is feljegyeztek. A folyóirat szerkesztői azonban szeptember 23-án visszavonták a lapot, jelezve a visszavonási értesítésben 2, hogy „már nem bíznak az eredmények és a következtetések megbízhatóságában”.

A szerzők csak egy pontban értenek egyet a folyóirat aggályaival, amit egy véletlen mulasztásnak tulajdonítanak. Az egyik szerző, Jonathan Schooler, a Santa Barbara-i Kaliforniai Egyetem pszichológusa a Nature-nek elmondta, hogy a kutatócsoport a kézirat új verzióján dolgozik, hogy újra benyújtsák.

Az esetet nyomon követő kutatók szerint ő... A nyílt tudomány elvének problémái: előzetes regisztráció amely magában foglalja azt a gyakorlatot, hogy egy tanulmány részleteit, ideértve a hipotéziseket és a tervezett elemzéseket, írásban rögzítik annak lefolytatása előtt, hogy megakadályozzák az adatok manipulálását és az eredmények szelektív jelentését.

„Ez azt mutatja, hogy a jó tudomány kemény, sokkal nehezebb, mint azt a legtöbb ember gondolná” – mondja Sam Schwarzkopf, az új-zélandi Aucklandi Egyetem vizuális idegkutatója. „Az előzetesen regisztráló emberek gyakran azt tapasztalják, hogy jól átgondolt terveik nem válnak be, amikor szembesülnek az adatgyűjtés hideg, kemény valóságával.”

Négy csapat és 64 replikációs kísérlet

A cikk egy összetett és kiterjedt kísérletet ír le: négy-négy kutatócsoport végzett regisztrált kísérleti tanulmányokat a társadalomtudományi területeken. Például az egyik tanulmány azt vizsgálta, hogy az időnyomás befolyásolja-e a döntéshozatalt 3. Ha a kísérleti tanulmány hatást fedezett fel, a csapat megpróbálta megerősíteni az eredményeket egy legalább 1500 fős mintán. Mind a négy csapat megpróbálta reprodukálni a kiválasztott kísérleteket, hogy kiderüljön, ugyanazt az eredményt érik-e el. Mindegyik csapat megkísérelte megismételni négy saját kísérletét és négyet a másik három csapattól.

A 64 replikációs kísérlet 86%-a volt sikeres – vagyis a várt és statisztikailag szignifikáns eredményeket produkálták. Összehasonlításképpen a társadalomtudományi területeken végzett más replikációs tanulmányok átlagosan 50%-os replikációs rátáról számolnak be.

A visszavont tanulmány szerzői a magas replikációs rátát a "szigorú gyakorlatoknak" tulajdonították, mint például a nagy mintaméret, Előzetes regisztráció és Átláthatóság a módszerekről vissza. Az ilyen gyakorlatok alkalmazása segíthet a tanulmányok megbízhatóbbá tételében, írták a szerzők.

Nem sokkal a cikk megjelenése után Joseph Bak-Coleman, a németországi Konstanzi Egyetem társadalomtudósa és Berna Devezer, aki marketinget tanul a moszkvai Idaho Egyetemen, megkérdőjelezte egy preprintben. 4, amely a PsyArXiv szerverre került fel, érvényessége. Megjegyezték, hogy a szerzők nem regisztrálták előre a dolgozat egyes elemeit, köztük a központi kérdést: Növeli-e a szerzői protokoll a reprodukálhatóságot? Bak-Coleman külön oldalakat küldött elemzésből a Nature Human Behavior szerkesztőinek, akik vizsgálatot indítottak, amely végül a visszavonáshoz vezetett.

Egy megjegyzésben 5 Bak-Coleman és Devezer azt írta, hogy „a reprodukálhatóság nem a projekt eredeti eredménye, és a reprodukálhatósági elemzéseket nem regisztrálták előre, ahogyan azt állítják”. A visszaküldési értesítés Echo ezeket a kijelentéseket tartalmazza. (A Nature Human Behaviort a Nature-t is kiadó Springer Nature adja ki. A Nature hírcsapata szerkesztőileg független a kiadójától.)

Szerzői elismerés

A visszavonás napján a Nature Human Behavior szerzői közül hatan tettek közzé nézeteiket 6. Ebben elismerik, hogy a tanulmány egyes elemzései nem voltak előzetesen regisztrálva. A visszavonási közleményben szereplő egyéb állításokat azonban „pontatlannak” nevezik, például a szerzők az elemzések időpontjában a Journal által meghatározott adatok ismereteit. A Napló nem ért egyet azzal, hogy a visszavonási nyilatkozat pontatlanságokat tartalmaz.

Brian Nosek, a virginiai charlottesville-i Open Science Center ügyvezető igazgatója és a visszavont tanulmány társszerzője azt mondja, megdöbbentő volt megtudni, hogy az előzetes regisztrációs hiba a projektmenedzsment folyamatokon keresztül történt. "Nem tudom, hányszor olvastam azt az újságot, amelyen ezekkel a hibás állításokkal minden előre regisztrált dologról lemaradtam. Csak hiba volt" - mondja.

Az előzetes regisztráció úttörőjeként számon tartott Nosek azt is elmondja, hogy a projekt eredeti célja a reprodukálhatóság volt, ami ellentmond Bak-Colemannek és Devezernek.

Az előzetes regisztráció kihívásai

A saga megmutatja az előzetes regisztráció hibáit – mondja Yoel Inbar, a kanadai Torontói Egyetem pszichológusa. „Sok előregisztrációt láttam, amelyek homályosak voltak, nem követték szigorúan, vagy ahol a végső papír az előregisztrált és a nem előregisztrált elemzés keveréke volt” – mondja.

Az Inbar egyre inkább meg van győződve arról, hogy jobb megoldás az előzetes regisztrációs formátum regisztrált jelentések Ez az a hely, ahol a kutatók vizsgálati protokolljukat, annak indokait és módszereit is beküldik egy folyóiratba áttekintésre az adatgyűjtés előtt. A szerkesztők a kutatási kérdés fontossága és a módszerek szigorúsága alapján döntenek arról, hogy elfogadják-e a tanulmányt, és kötelezettséget vállalnak az eredmények közzétételére, ha a munka a leírtak szerint történik.

Mások szerint a folyóirat a probléma része. Anne Scheel, a holland Utrechti Egyetem metatudósa szerint bár a szerzők hibáztak, a szerkesztőknek észre kellett volna venniük az előzetes regisztráció hiányát. A bírálók nem mindig ellenőrzik az előzetes regisztrációt, és az olyan nagy folyóiratoknak, mint a Nature Human Behavior, „eljárásokra van szükségük az előzetes regisztráció tényleges ellenőrzéséhez” – mondja.

A Journal szóvivője azt mondta, hogy vizsgálják a gyakorlat megváltoztatását. "A folyóirat azt vizsgálja, hogyan javítható az átláthatóság, a szabványosítás és a jelentéstételi követelmények az előzetes regisztrációval kapcsolatban a társadalom- és viselkedéstudományokban, ami megerősíti az előzetes regisztráció megfelelőségének ellenőrzésére irányuló erőfeszítéseket" - teszi hozzá a szóvivő.

Időpocsékolás mindenkinek

A nagyszabású projekteket, amelyekben több kutatócsoport végez ugyanazokat a kísérleteket, nehéz kezelni – magyarázza Olavo Amaral, a brazil Universidade Federal do Rio de Janeiro reprodukálhatósági kutatója. Tapasztalatból beszél: Ő vezeti a Brazil Reprodukálhatósági Projektet, amely az ország laboratóriumaiban végzett több tucat orvosbiológiai vizsgálat eredményeit próbálja reprodukálni. „Mindig találhatunk hibákat” – mondja.

Szerinte foglalkozni kell a visszavont papírral kapcsolatos kritikákkal, de a problémák nem változtatnak a műről alkotott véleményén. „Az eredmények meglehetősen megismételhetőnek tűnnek” – mondja. „Nem hiszem, hogy az előzetes regisztrációval kapcsolatos kritika sokat változtatna a lapról alkotott véleményemen.”

1. Protzko, J. et al. Természet Hum. Behavior 8, 311–319 (2023).

   Cikk
   PubMed
   
   Google Tudós

2. Protzko, J. et al. Természet Hum. Viselkedés https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Cikk
   
   Google Tudós

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Cikk
   PubMed
   
   Google Tudós

4. Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Viselkedés https://doi.org/10.1038/s41562-024-01982-w (2024).

   Cikk
   
   Google Tudós

6. Protzko, L. et al. Előnyomtatás at https://osf.io/2s94g (2024).

Referenciák letöltése