Å gjøre god vitenskap er utfordrende: Tilbaketrekking av en viktig reproduserbarhetsstudie stimulerer selvrefleksjon

Å gjøre god vitenskap er utfordrende: Tilbaketrekking av en viktig reproduserbarhetsstudie stimulerer selvrefleksjon

Tilbaketrekking av et høyprofilert papir 1, den Metoder for å forbedre validiteten til vitenskapelige studier testet har fremhevet utfordringene med slik "reproduserbarhet"-forskning. Forfatterne av det tilbaketrukne papiret inkluderer flere Armaturer i dette feltet.

I studien publisert i november i Nature Human Behavior, beskrev forfatterne en streng forskningsprotokoll med funksjoner som store utvalgsstørrelser for å sikre gyldigheten av psykologiske eksperimenter. Forfatterne brukte protokollen sin på dusinvis av forskningsprosjekter. De rapporterte at i 86 % av replikasjonsforsøkene ble de forventede resultatene bekreftet – en av de høyeste «replikasjonsratene» som noen gang er registrert i slike studier. Men tidsskriftets redaktører trakk avisen tilbake 23. september, og sa i tilbaketrekningsvarselet 2, at de «ikke lenger har tillit til påliteligheten til resultatene og konklusjonene».

Forfatterne er enige i tidsskriftets bekymringer på bare ett punkt, som de tilskriver en utilsiktet forglemmelse. En av forfatterne, Jonathan Schooler, en psykolog ved University of California, Santa Barbara, fortalte Nature at forskningsgruppen jobber med en ny versjon av manuskriptet for gjeninnlevering.

Forskere som følger saken sier han... Problemer med et prinsipp om åpen vitenskap: forhåndsregistrering som innebærer praksis med å angi detaljene i en studie, inkludert hypoteser og planlagte analyser, skriftlig før den gjennomføres for å forhindre datamanipulasjon og selektiv rapportering av resultater.

"Det dette viser er at god vitenskap er vanskelig, mye vanskeligere enn folk flest tror," sier Sam Schwarzkopf, en visuell nevroforsker ved University of Auckland i New Zealand. "Ofte finner folk som forhåndsregistrerer seg at deres gjennomtenkte planer ikke slår ut når de blir konfrontert med den kalde, harde virkeligheten med datainnsamling."

Fire team og 64 replikeringsforsøk

Artikkelen beskriver et komplekst og omfattende eksperiment: fire forskerteam gjennomførte hver registrerte pilotstudier innen de samfunnsvitenskapelige områdene. For eksempel undersøkte en av studiene om tidspress påvirker beslutningstaking 3. Hvis pilotstudien oppdaget en effekt, prøvde teamet å bekrefte resultatene i et utvalg på minst 1500 personer. Alle fire teamene prøvde å reprodusere de utvalgte eksperimentene for å se om de ville oppnå de samme resultatene. Hvert lag forsøkte å gjenskape fire av sine egne eksperimenter og fire fra hvert av de tre andre lagene.

Av de 64 replikeringsforsøkene var 86 % vellykkede – det vil si at de ga de forventede og statistisk signifikante resultatene. Til sammenligning rapporterer andre replikasjonsstudier i de samfunnsvitenskapelige feltene gjennomsnittlige replikasjonsrater på 50 %.

Forfatterne av den tilbaketrukne studien tilskrev den høye replikasjonsfrekvensen til "streng praksis" som store prøvestørrelser, Forhåndsregistrering og Åpenhet om metoder tilbake. Å ta i bruk slik praksis kan bidra til å gjøre studier mer pålitelige, skrev forfatterne.

Kort tid etter at papiret ble publisert stilte Joseph Bak-Coleman, en samfunnsviter ved University of Konstanz i Tyskland, og Berna Devezer, som studerer markedsføring ved University of Idaho i Moskva, spørsmålstegn ved det i et forhåndstrykk. 4, som ble lastet opp til PsyArXiv-serveren, dens gyldighet. De bemerket at forfatterne ikke hadde forhåndsregistrert enkelte elementer i artikkelen, inkludert det sentrale spørsmålet: Ville forfatternes protokoll øke reproduserbarheten? Separat sendte Bak-Coleman sider med analyse til redaktørene av Nature Human Behavior, som startet en etterforskning som til slutt førte til tilbaketrekkingen.

I en kommentar 5, som fulgte med tilbaketrekningen, skrev Bak-Coleman og Devezer at "reproduserbarhet ikke var det opprinnelige resultatet av prosjektet og analyser av reproduserbarhet ble ikke forhåndsregistrert som hevdet." Returvarselet Echo hadde disse uttalelsene. (Nature Human Behavior er utgitt av Springer Nature, som også publiserer Nature. Natures nyhetsteam er redaksjonelt uavhengig av utgiveren.)

En forfatter anerkjennelse

På dagen for tilbaketrekningen publiserte seks av forfatterne av Nature Human Behavior en rapport om deres synspunkter 6. I den innrømmer de at noen av studiens analyser ikke var forhåndsregistrert. Imidlertid kaller de andre utsagn i tilbaketrekningsmeldingen "unøyaktige", for eksempel forfatternes kunnskap om dataene på tidspunktet for analysene som bestemt av tidsskriftet. Journalen er uenig i at tilbaketrekningsvarselet inneholder unøyaktigheter.

Brian Nosek, administrerende direktør for Center for Open Science i Charlottesville, Virginia, og medforfatter av den tilbaketrukne studien, sier det var sjokkerende å høre at forhåndsregistreringsfeilen ble kastet gjennom prosjektledelsesprosessene deres. "Jeg vet ikke hvor mange ganger jeg har lest den avisen med disse feilaktige uttalelsene om alt som er forhåndsregistrert og savnet det. Det var bare en feil," sier han.

Nosek, ansett som en pioner innen forhåndsregistrering, sier også at det opprinnelige målet med prosjektet var reproduserbarhet, i motsetning til Bak-Coleman og Devezer.

Utfordringer med forhåndsregistrering

Sagaen viser feilene ved forhåndsregistrering, sier Yoel Inbar, psykolog ved University of Toronto i Canada. "Jeg har sett mange forhåndsregistreringer som var vage, ikke strengt fulgt, eller hvor den endelige artikkelen var en blanding av den forhåndsregistrerte og ikke-forhåndsregistrerte analysen," sier han.

Inbar er stadig mer overbevist om at et bedre alternativ er forhåndsregistreringsformatet registrerte rapporter er der forskere sender studieprotokollen sin, inkludert begrunnelsen og metodene, til et tidsskrift for gjennomgang før datainnsamling. Redaksjonen avgjør om de skal godta studien basert på viktigheten av forskningsspørsmålet og strengheten til metodene og forplikter seg til å publisere resultatene dersom arbeidet utføres som beskrevet.

Andre sier at journalen er en del av problemet. Anne Scheel, en metavitenskapsmann ved Utrecht University i Nederland, sier at selv om forfatterne gjorde feil, burde redaktørene ha lagt merke til mangelen på forhåndsregistrering. Anmeldere sjekker ikke alltid forhåndsregistrering, og store tidsskrifter som Nature Human Behavior "trenger prosesser for å faktisk sjekke forhåndsregistrering," sier hun.

En talsmann for Journal sier at den undersøker endringer i praksisen. "Tidsskriftet utforsker måter å forbedre åpenhet, standardisering og rapporteringskrav for forhåndsregistrering i samfunns- og atferdsvitenskap, noe som vil styrke arbeidet med å overvåke overholdelse av forhåndsregistrering," legger talspersonen til.

Bortkastet tid for alle

Storskalaprosjekter der flere forskergrupper utfører de samme eksperimentene er vanskelige å administrere, forklarer Olavo Amaral, en reproduserbarhetsforsker ved Universidade Federal do Rio de Janeiro i Brasil. Han snakker av erfaring: Han leder Brazilian Reproducibility Project, et forsøk på å reprodusere resultatene fra dusinvis av biomedisinske studier utført i laboratorier over hele landet. "Vi kan alltid finne feil," sier han.

Han sier kritikken av det tilbaketrukne papiret må adresseres, men problemene endrer ikke hans oppfatning av arbeidet. "Resultatene ser ut til å være ganske replikerbare," sier han. "Jeg tror ikke kritikken av forhåndsregistrering endrer min oppfatning av avisen mye."

1. Protzko, J. et al. Natur Hum. Atferd 8, 311–319 (2023).

   Artikkel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Natur Hum. Atferd https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikkel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).

   Artikkel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint ved PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Atferd https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikkel
   
   Google Scholar

6. Protzko, L. et al. Fortrykk kl https://osf.io/2s94g (2024).

Last ned referanser