Hea teaduse tegemine on keeruline: olulise reprodutseeritavuse uuringu tühistamine stimuleerib eneserefleksiooni

Hea teaduse tegemine on keeruline: olulise reprodutseeritavuse uuringu tühistamine stimuleerib eneserefleksiooni

Kõrgetasemelise paberi tagasivõtmine 1, Teadusuuringute valiidsuse parandamise meetodid testitud on toonud esile selliste "reprodutseeritavuse" uuringute väljakutsed. Tagasitõmmatud artikli autorite hulgas on mitu Valgustid selles valdkonnas.

Möödunud aasta novembris ajakirjas Nature Human Behavior avaldatud uuringus kirjeldasid autorid range uurimisprotokoll selliste funktsioonidega nagu suured valimimahud, et tagada psühholoogiliste katsete kehtivus. Autorid rakendasid oma protokolli kümnete uurimisprojektide jaoks. Nad teatasid, et 86% replikatsioonikatsetest said oodatud tulemused kinnitust – see on üks kõrgemaid "replikatsioonimäärasid", mis sellistes uuringutes kunagi registreeritud. Kuid ajakirja toimetajad võtsid paberi 23. septembril tagasi, märkides tagasivõtmise teates 2, et nad "ei usalda enam tulemuste ja järelduste usaldusväärsust".

Autorid nõustuvad ajakirja murega ainult ühes punktis, mille nad omistavad tahtmatule möödalaskmisele. Üks autoritest, Santa Barbara California ülikooli psühholoog Jonathan Schooler ütles Nature'ile, et uurimisrühm töötab käsikirja uue versiooni kallal uuesti esitamiseks.

Juhtumit jälginud teadlased ütlevad, et ta... Avatud teaduse põhimõtte probleemid: eelregistreerimine mis hõlmab uuringu üksikasjade, sealhulgas hüpoteeside ja kavandatud analüüside kirjalikku esitamist enne uuringu läbiviimist, et vältida andmete manipuleerimist ja tulemuste selektiivset aruandlust.

"See näitab, et hea teadus on raske, palju raskem, kui enamik inimesi arvab," ütleb Uus-Meremaa Aucklandi ülikooli nägemisneuroteadlane Sam Schwarzkopf. "Sageli avastavad eelregistreeruvad inimesed, et nende hästi läbimõeldud plaanid ei lähe läbi, kui nad seisavad silmitsi andmete kogumise külma ja karmi reaalsusega."

Neli meeskonda ja 64 replikatsioonikatset

Artiklis kirjeldatakse keerulist ja ulatuslikku eksperimenti: neli uurimisrühma viis igaüks läbi registreeritud pilootuuringud sotsiaalteaduste valdkondades. Näiteks uuriti ühes uuringus, kas ajaline surve mõjutab otsuste tegemist 3. Kui pilootuuring avastas mõju, püüdis meeskond tulemusi kinnitada vähemalt 1500 inimesest koosnevas valimis. Kõik neli meeskonda püüdsid valitud katseid reprodutseerida, et näha, kas need saavutavad samad tulemused. Iga meeskond üritas korrata nelja oma katset ja nelja kõigist kolmest teisest meeskonnast.

64 replikatsioonikatsest olid 86% edukad – see tähendab, et need andsid oodatud ja statistiliselt olulisi tulemusi. Võrdluseks, teised sotsiaalteaduste valdkondade replikatsiooniuuringud näitavad, et keskmine replikatsioonimäär on 50%.

Tagasivõetud uuringu autorid omistasid selle kõrge replikatsioonimäära "rangetele tavadele", nagu suur valimi suurus, Eelregistreerimine ja Meetodite läbipaistvus tagasi. Autorid kirjutasid, et selliste tavade kasutuselevõtt võib aidata muuta uuringud usaldusväärsemaks.

Vahetult pärast artikli avaldamist seadsid Saksamaal Konstanzi ülikooli sotsiaalteadlane Joseph Bak-Coleman ja Moskvas Idaho ülikoolis turundust õppiv Berna Devezer selle eeltrükis kahtluse alla. 4, mis laaditi üles PsyArXiv serverisse, selle kehtivus. Nad märkisid, et autorid ei olnud eelregistreerinud mõnda dokumendi elementi, sealhulgas keskmist küsimust: kas autorite protokoll suurendab reprodutseeritavust? Eraldi saatis Bak-Coleman analüüsilehekülgi ajakirja Nature Human Behavior toimetusele, kes algatas uurimise, mis lõpuks viis tagasivõtmiseni.

Kommentaaris 5 Bak-Coleman ja Devezer kirjutasid, et "projekti algne tulemus ei olnud reprodutseeritavus ja reprodutseeritavuse analüüse ei eelregistreeritud, nagu väideti." Tagastusteatises Kajas olid need avaldused. (Nature Human Behavior’i annab välja Springer Nature, kes annab välja ka Nature’i. Looduse uudistetiim on toimetuse poolest oma väljaandjast sõltumatu.)

Autori tunnustus

Väljaastumise päeval avaldasid kuus ajakirja Nature Human Behavior autorit raporti oma seisukohtadest 6. Selles tunnistavad nad, et mõned uuringu analüüsid ei olnud eelregistreeritud. Siiski nimetavad nad teisi tagasivõtmise teates olevaid väiteid "ebatäpseteks", näiteks autorite teadmised andmetest analüüside ajal, nagu on kindlaks määranud Journal. Ajakiri ei nõustu sellega, et taganemisteates on ebatäpsusi.

Brian Nosek, Virginia osariigi Charlottesville'is asuva avatud teaduse keskuse tegevdirektor ja tühistatud uuringu kaasautor, ütleb, et oli šokeeriv teada saada, et eelregistreerimise viga tekkis nende projektijuhtimisprotsesside kaudu. "Ma ei tea, mitu korda ma olen seda paberit nende ekslike väidetega kõige eelregistreeritu kohta lugenud ja vahele jätnud. See oli lihtsalt viga," ütleb ta.

Eelregistreerimise pioneeriks peetud Nosek ütleb samuti, et projekti algne eesmärk oli reprodutseeritavus, mis on vastuolus Bak-Colemani ja Devezeriga.

Eelregistreerimise väljakutsed

Saaga näitab eelregistreerimise vigu, ütleb Kanada Toronto ülikooli psühholoog Yoel Inbar. "Olen näinud palju eelregistreerimisi, mis olid ebamäärased, mida ei järgitud rangelt või kus lõpptöö oli eelregistreeritud ja eelregistreerimata analüüsi segu," ütleb ta.

Inbar on üha enam veendunud, et parem valik on eelregistreerimise formaat registreeritud aruanded on koht, kus teadlased esitavad enne andmete kogumist oma uuringuprotokolli, sealhulgas selle põhjenduse ja meetodid, ajakirjale ülevaatamiseks. Toimetajad otsustavad, kas uuringuga nõustuda, lähtudes uurimisküsimuse olulisusest ja meetodite rangusest ning kohustuvad avaldama tulemused, kui töö on kirjeldatud viisil.

Teised ütlevad, et ajakiri on osa probleemist. Hollandi Utrechti ülikooli metateadlane Anne Scheel ütleb, et kuigi autorid tegid vigu, oleks toimetus pidanud tähele panema eelregistreerimise puudumist. Ülevaatajad ei kontrolli alati eelregistreerimist ja sellised suured ajakirjad nagu Nature Human Behavior "vajavad eelregistreerimise tegelikuks kontrollimiseks protsesse," ütleb ta.

Ajakirja pressiesindaja sõnul uurib ta oma tavade muutmist. "Ajakiri uurib võimalusi, kuidas parandada sotsiaal- ja käitumisteaduste eelregistreerimise läbipaistvust, standardimist ja aruandlusnõudeid, mis tugevdavad jõupingutusi eelregistreerimise järgimise jälgimiseks," lisab pressiesindaja.

Ajaraiskamine kõigile

Suuremahulisi projekte, milles mitu uurimisrühma viivad läbi samu katseid, on raske hallata, selgitab Olavo Amaral, Brasiilia Universidade Federal do Rio de Janeiro reprodutseeritavuse uurija. Ta räägib oma kogemusest: ta juhib Brasiilia reprodutseeritavuse projekti, mille eesmärk on reprodutseerida kümnete kogu riigi laborites läbi viidud biomeditsiiniliste uuringute tulemusi. "Me võime alati vigu leida," ütleb ta.

Ta ütleb, et kriitikat tagasitõmbunud paberi kohta tuleb käsitleda, kuid probleemid ei muuda tema arvamust teosest. "Tulemused näivad olevat üsna korratavad, " ütleb ta. "Ma arvan, et eelregistreerimise kriitika ei muuda minu arvamust lehest palju."

1. Protzko, J. et al. Loodus Hum. Käitumine 8, 311–319 (2023).

   Artikkel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Loodus Hum. Käitumine https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikkel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikkel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Käitumine https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikkel
   
   Google Scholar

6. Protzko, L. et al. Eeltrükk kl https://osf.io/2s94g (2024).

Laadige alla viited