Hyvän tieteen tekeminen on haastavaa: tärkeän uusittavuustutkimuksen poistaminen stimuloi itsereflektiota

Hyvän tieteen tekeminen on haastavaa: tärkeän uusittavuustutkimuksen poistaminen stimuloi itsereflektiota

Korkean profiilin paperin poistaminen 1, Menetelmät tieteellisten tutkimusten validiteetin parantamiseksi testattu on tuonut esiin tällaisen "toistettavuustutkimuksen" haasteet. Vedetyn paperin tekijöihin kuuluu useita Valaisimet tällä alalla.

Viime marraskuussa Nature Human Behavior -lehdessä julkaistussa tutkimuksessa kirjoittajat kuvailivat tiukka tutkimusprotokolla, jossa on ominaisuuksia, kuten suuri otoskoko psykologisten kokeiden oikeellisuuden varmistamiseksi. Kirjoittajat sovelsivat protokollansa kymmeniin tutkimusprojekteihin. He raportoivat, että 86 prosentissa replikaatioyrityksistä odotetut tulokset vahvistettiin - yksi korkeimmista "replikaatiomääristä", jotka on koskaan kirjattu tällaisissa tutkimuksissa. Mutta lehden toimittajat peruuttivat paperin 23. syyskuuta ilmoittamalla peruuttamisilmoituksessa 2, että he "eivät enää luota tulosten ja johtopäätösten luotettavuuteen".

Kirjoittajat ovat samaa mieltä lehden huolenaiheista vain yhdestä asiasta, jonka he katsovat johtuvan tahattomasta laiminlyönnistä. Yksi kirjoittajista, psykologi Jonathan Schooler Kalifornian yliopistosta Santa Barbarassa, kertoi Naturelle, että tutkimusryhmä työskentelee käsikirjoituksen uuden version parissa lähetettäväksi uudelleen.

Tapausta seuraavien tutkijoiden mukaan hän... Avoimen tieteen periaatteen ongelmat: ennakkorekisteröinti johon sisältyy käytäntö esittää tutkimuksen yksityiskohdat, mukaan lukien hypoteesit ja suunnitellut analyysit, kirjallisesti ennen sen suorittamista tietojen manipuloinnin ja tulosten valikoivan raportoinnin estämiseksi.

"Tämä osoittaa, että hyvä tiede on kovaa, paljon vaikeampaa kuin useimmat ihmiset ajattelevat", sanoo Sam Schwarzkopf, visuaalinen neurotieteilijä Aucklandin yliopistosta Uudesta-Seelannista. "Usein ennakkorekisteröijät huomaavat, että heidän hyvin harkitut suunnitelmansa eivät toteudu, kun he kohtaavat tiedonkeruun kylmän ja kovan todellisuuden."

Neljä tiimiä ja 64 replikointiyritystä

Artikkelissa kuvataan monimutkaista ja laajaa kokeilua: neljä tutkimusryhmää teki kukin rekisteröityjä pilottitutkimuksia yhteiskuntatieteiden aloilla. Esimerkiksi yhdessä tutkimuksessa selvitettiin, vaikuttaako aikapaine päätöksentekoon 3. Jos pilottitutkimuksessa havaittiin vaikutus, tiimi yritti vahvistaa tulokset vähintään 1500 ihmisen otoksella. Kaikki neljä ryhmää yrittivät toistaa valitut kokeet nähdäkseen, saavuttaisivatko ne samat tulokset. Jokainen joukkue yritti toistaa neljä omaa koettaan ja neljä jokaisesta kolmesta muusta ryhmästä.

64 replikointiyrityksestä 86 % onnistui – eli ne tuottivat odotetut ja tilastollisesti merkitsevät tulokset. Vertailun vuoksi muut yhteiskuntatieteiden alojen replikaatiotutkimukset raportoivat keskimääräisistä replikaatioasteista 50 %.

Peruutetun tutkimuksen kirjoittajat katsoivat sen suuren replikaationopeuden johtuvan "tiukoista käytännöistä", kuten suurista otoskooista, Ennakkoilmoittautuminen ja Avoimuus menetelmistä takaisin. Tällaisten käytäntöjen käyttöönotto voisi auttaa tekemään tutkimuksista luotettavampia, kirjoittajat kirjoittivat.

Pian artikkelin julkaisemisen jälkeen Joseph Bak-Coleman, yhteiskuntatieteilijä Konstanzin yliopistosta Saksasta, ja Berna Devezer, joka opiskelee markkinointia Idahon yliopistossa Moskovassa, kyseenalaistivat sen preprintissä. 4, joka ladattiin PsyArXiv-palvelimelle, sen voimassaolo. He totesivat, että kirjoittajat eivät olleet ennakkorekisteröineet joitain artikkelin osia, mukaan lukien keskeinen kysymys: Lisääkö kirjoittajien protokolla toistettavuutta? Bak-Coleman lähetti erikseen analyysisivuja Nature Human Behavior -lehden toimittajille, jotka käynnistivät tutkimuksen, joka lopulta johti peruuttamiseen.

Kommentissa 5 Bak-Coleman ja Devezer kirjoittivat, että "toistettavuus ei ollut hankkeen alkuperäinen tulos, eikä uusittavuusanalyysejä ollut esirekisteröity väitetyllä tavalla". Palautusilmoituksessa Echossa oli nämä lausunnot. (Nature Human Behavior -julkaisun julkaisee Springer Nature, joka myös julkaisee Naturea. Naturen uutistiimi on toimituksellisesti riippumaton kustantajastaan.)

Tekijän tunnustus

Peruuttamispäivänä kuusi Nature Human Behavior -julkaisun kirjoittajaa julkaisi raportin näkemyksistään 6. Siinä he myöntävät, että osa tutkimuksen analyyseistä ei ollut ennakkorekisteröity. He kutsuvat kuitenkin muita peruutusilmoituksessa olevia lausuntoja "epätarkiksi", kuten tekijöiden tietoisuus tiedoista analyysien aikana, sellaisena kuin lehti on määrittänyt. Lehti on eri mieltä siitä, että peruuttamisilmoituksessa olisi epätarkkuuksia.

Brian Nosek, Charlottesvillessä, Virginiassa sijaitsevan avoimen tieteen keskuksen toiminnanjohtaja ja perutun tutkimuksen toinen kirjoittaja, sanoo, että oli järkyttävää kuulla, että esirekisteröintivirhe joutui heidän projektinhallintaprosessiensa kautta. "En tiedä kuinka monta kertaa olen lukenut sen lehden, jossa on nämä virheelliset lausunnot kaikesta, mikä on ennakkoon rekisteröity, ja missannut sen. Se oli vain virhe", hän sanoo.

Nosek, jota pidetään ennakkorekisteröinnin edelläkävijänä, sanoo myös, että projektin alkuperäinen tavoite oli toistettavuus, mikä on ristiriidassa Bak-Colemanin ja Devezerin kanssa.

Ennakkoilmoittautumisen haasteita

Saaga osoittaa ennakkorekisteröinnin puutteet, sanoo psykologi Yoel Inbar Toronton yliopistosta Kanadassa. "Olen nähnyt monia esirekisteröintejä, jotka olivat epämääräisiä, joita ei noudatettu tiukasti tai joissa lopullinen paperi oli sekoitus esirekisteröityä ja ei-esirekisteröityä analyysiä", hän sanoo.

Inbar on yhä vakuuttuneempi siitä, että parempi vaihtoehto on ennakkorekisteröintimuoto rekisteröidyt raportit on paikka, jossa tutkijat jättävät tutkimusprotokollansa, mukaan lukien sen perustelut ja menetelmät, päiväkirjaan tarkistettavaksi ennen tiedonkeruuta. Toimittajat päättävät tutkimuksen hyväksymisestä tutkimuskysymyksen tärkeyden ja menetelmien tarkkuuden perusteella ja sitoutuvat julkaisemaan tulokset, jos työ suoritetaan kuvatulla tavalla.

Toiset sanovat, että lehti on osa ongelmaa. Anne Scheel, metatieteilijä Utrechtin yliopistosta Hollannista, sanoo, että vaikka kirjoittajat tekivät virheitä, toimittajien olisi pitänyt huomata ennakkorekisteröinnin puute. Arvostelijat eivät aina tarkista ennakkorekisteröintiä, ja suuret lehdet, kuten Nature Human Behavior, "tarvitsivat prosesseja tarkistaakseen ennakkorekisteröinnin", hän sanoo.

Lehden tiedottaja kertoo tutkivansa muutoksia käytäntöihinsä. "Lehti tutkii tapoja parantaa esirekisteröinnin läpinäkyvyyttä, standardointia ja raportointivaatimuksia yhteiskunta- ja käyttäytymistieteissä, mikä vahvistaa ponnisteluja ennakkorekisteröinnin noudattamisen valvomiseksi", tiedottaja lisää.

Ajanhukkaa kaikille

Laajamittainen hankkeita, joissa useat tutkimusryhmät tekevät samoja kokeita, on vaikea hallita, selittää Olavo Amaral, uusittavuustutkija Universidade Federal do Rio de Janeirosta Brasiliassa. Hän puhuu kokemuksesta: Hän johtaa Brazilian Reproducibility Projectia, yritystä toistaa kymmenien biolääketieteellisten tutkimusten tulokset, jotka on suoritettu laboratorioissa eri puolilla maata. "Aina löydämme virheitä", hän sanoo.

Hän sanoo, että vedettyä paperia koskevaan kritiikkiin on puututtava, mutta ongelmat eivät muuta hänen mielipidettään teoksesta. "Tulokset näyttävät olevan melko toistettavissa", hän sanoo. "En usko, että ennakkorekisteröinnin kritiikki muuta käsitystäni lehdestä paljon."

1. Protzko, J. et ai. Luonto Hum. Behavior 8, 311–319 (2023).

   Artikla
   PubMed
   
   Google Scholar

2. Protzko, J. et ai. Luonto Hum. Käyttäytyminen https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikla
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikla
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Käyttäytyminen https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikla
   
   Google Scholar

6. Protzko, L. et ai. Preprint klo https://osf.io/2s94g (2024).

Lataa viitteitä