Att göra god vetenskap är utmanande: Att dra tillbaka en viktig reproducerbarhetsstudie stimulerar självreflektion

Att göra god vetenskap är utmanande: Att dra tillbaka en viktig reproducerbarhetsstudie stimulerar självreflektion

Återkallandet av ett högprofilerat papper 1, den Metoder för att förbättra validiteten i vetenskapliga studier testade har belyst utmaningarna med sådan forskning om "reproducerbarhet". Författarna till den tillbakadragna uppsatsen inkluderar flera Armaturer inom detta område.

I studien som publicerades i november förra året i Nature Human Behavior, beskrev författarna ett rigoröst forskningsprotokoll med funktioner som stora urvalsstorlekar för att säkerställa giltigheten av psykologiska experiment. Författarna tillämpade sitt protokoll på dussintals forskningsprojekt. De rapporterade att i 86 % av replikationsförsöken bekräftades de förväntade resultaten - en av de högsta "replikationsfrekvenserna" som någonsin registrerats i sådana studier. Men tidskriftens redaktörer drog tillbaka tidningen den 23 september och angav i meddelandet om återkallelse 2, att de "inte längre har förtroende för resultatens och slutsatsernas tillförlitlighet".

Författarna håller med tidskriftens oro på endast en punkt, som de tillskriver en oavsiktlig förbiseende. En av författarna, Jonathan Schooler, psykolog vid University of California, Santa Barbara, berättade för Nature att forskargruppen arbetar på en ny version av manuskriptet för återinlämning.

Forskare som följer fallet säger att han... Problem med en princip om öppen vetenskap: förregistrering vilket innebär att man anger detaljerna i en studie, inklusive hypoteser och planerade analyser, skriftligen innan den genomförs för att förhindra datamanipulation och selektiv rapportering av resultat.

"Vad detta visar är att god vetenskap är svår, mycket svårare än de flesta tror", säger Sam Schwarzkopf, en visuell neuroforskare vid University of Auckland i Nya Zeeland. "Ofta upptäcker människor som förregistrerar sig att deras genomtänkta planer inte slår ut när de konfronteras med den kalla, hårda verkligheten med datainsamling."

Fyra team och 64 replikeringsförsök

Uppsatsen beskriver ett komplext och omfattande experiment: fyra forskarlag genomförde vardera registrerade pilotstudier inom de samhällsvetenskapliga områdena. Till exempel undersökte en av studierna om tidspress påverkar beslutsfattandet 3. Om pilotstudien upptäckte en effekt försökte teamet bekräfta resultaten i ett urval på minst 1 500 personer. Alla fyra team försökte reproducera de utvalda experimenten för att se om de skulle uppnå samma resultat. Varje lag försökte replikera fyra av sina egna experiment och fyra från vart och ett av de tre andra teamen.

Av de 64 replikeringsförsöken var 86 % framgångsrika – det vill säga de gav förväntade och statistiskt signifikanta resultat. Som jämförelse rapporterar andra replikationsstudier inom de samhällsvetenskapliga områdena genomsnittliga replikationsfrekvenser på 50 %.

Författarna till den tillbakadragna studien tillskrev dess höga replikeringsfrekvens till "stränga metoder" som stora provstorlekar, Föranmälan och Transparens om metoder tillbaka. Att anta sådana metoder kan bidra till att göra studier mer tillförlitliga, skrev författarna.

Kort efter att tidningen publicerats ifrågasatte Joseph Bak-Coleman, samhällsvetare vid universitetet i Konstanz i Tyskland, och Berna Devezer, som studerar marknadsföring vid universitetet i Idaho i Moskva, det i ett förtryck. 4, som laddades upp till PsyArXiv-servern, dess giltighet. De noterade att författarna inte hade förregistrerat vissa delar av uppsatsen, inklusive den centrala frågan: Skulle författarnas protokoll öka reproducerbarheten? Separat skickade Bak-Coleman sidor med analys till redaktörerna för Nature Human Behavior, som startade en utredning som i slutändan ledde till tillbakadragandet.

I en kommentar 5, som åtföljde tillbakadragandet, skrev Bak-Coleman och Devezer att "reproducerbarhet inte var det ursprungliga resultatet av projektet och analyser av reproducerbarhet var inte förregistrerade som påstås." Returmeddelandet Echo hade dessa uttalanden. (Nature Human Behavior publiceras av Springer Nature, som också ger ut Nature. Natures nyhetsteam är redaktionellt oberoende av sin utgivare.)

Ett författares erkännande

På dagen för tillbakadragandet publicerade sex av författarna till Nature Human Behavior en rapport om sina åsikter 6. I den medger de att en del av studiens analyser inte var förregistrerade. De kallar dock andra påståenden i meddelandet om återkallelse för "felaktiga", såsom författarnas kunskap om data vid tidpunkten för analyserna enligt tidskriften. Tidningen håller inte med om att meddelandet om tillbakadragande innehåller felaktigheter.

Brian Nosek, verkställande direktör för Center for Open Science i Charlottesville, Virginia, och medförfattare till den tillbakadragna studien, säger att det var chockerande att höra att förregistreringsfelet kastades genom deras projektledningsprocesser. "Jag vet inte hur många gånger jag har läst den där tidningen med de här felaktiga påståendena om allt som är förhandsregistrerat och missat det. Det var bara ett misstag", säger han.

Nosek, som anses vara en pionjär inom förregistrering, säger också att det ursprungliga målet med projektet var reproducerbarhet, vilket motsäger Bak-Coleman och Devezer.

Utmaningar med föranmälan

Sagan visar bristerna i förhandsregistreringen, säger Yoel Inbar, psykolog vid University of Toronto i Kanada. "Jag har sett många förregistreringar som var vaga, inte strikt följt, eller där slutrapporten var en blandning av den förregistrerade och icke förregistrerade analysen", säger han.

Inbar är allt mer övertygad om att ett bättre alternativ är förhandsregistreringsformatet registrerade rapporter är där forskare skickar in sitt studieprotokoll, inklusive dess motivering och metoder, till en tidskrift för granskning innan datainsamling. Redaktionen beslutar om de ska acceptera studien utifrån forskningsfrågans betydelse och metodernas rigoritet och förbinder sig att publicera resultaten om arbetet utförs enligt beskrivningen.

Andra säger att tidskriften är en del av problemet. Anne Scheel, en metaforskare vid Utrecht University i Nederländerna, säger att även om författarna gjorde misstag borde redaktionen ha märkt bristen på förhandsregistrering. Granskare kontrollerar inte alltid förregistrering, och stora tidskrifter som Nature Human Behavior "behöver processer för att faktiskt kontrollera förregistrering", säger hon.

En talesman för tidningen säger att de undersöker förändringar i sina metoder. "Tidskriften undersöker sätt att förbättra transparens, standardisering och rapporteringskrav för förregistrering inom samhälls- och beteendevetenskap, vilket kommer att stärka ansträngningarna för att övervaka efterlevnaden av förregistrering," tillägger talesmannen.

Slöseri med tid för alla

Storskaliga projekt där flera forskargrupper genomför samma experiment är svåra att hantera, förklarar Olavo Amaral, reproducerbarhetsforskare vid Universidade Federal do Rio de Janeiro i Brasilien. Han talar av erfarenhet: Han leder det brasilianska reproducerbarhetsprojektet, ett försök att reproducera resultaten från dussintals biomedicinska studier som utförts i laboratorier över hela landet. "Vi kan alltid hitta misstag", säger han.

Han säger att kritiken mot det indragna papperet måste åtgärdas, men problemen ändrar inte hans uppfattning om arbetet. "Resultaten verkar vara ganska replikerbara", säger han. "Jag tror inte att kritiken mot förregistrering förändrar min uppfattning om tidningen mycket."

1. Protzko, J. et al. Natur Hum. Beteende 8, 311–319 (2023).

   Artikel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Natur Hum. Beteende https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint på PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Beteende https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikel
   
   Google Scholar

6. Protzko, L. et al. Förtryck kl https://osf.io/2s94g (2024).

Ladda ner referenser