At lave god videnskab er udfordrende: Tilbagetrækning af en vigtig reproducerbarhedsundersøgelse stimulerer selvrefleksion

At lave god videnskab er udfordrende: Tilbagetrækning af en vigtig reproducerbarhedsundersøgelse stimulerer selvrefleksion

Tilbagetrækningen af ​​et højprofileret papir 1, den Metoder til at forbedre validiteten af ​​videnskabelige undersøgelser testet har fremhævet udfordringerne ved en sådan "reproducerbarheds"-forskning. Forfatterne til det tilbagetrukne papir omfatter flere Armaturer inden for dette felt.

I undersøgelsen offentliggjort i november sidste år i Nature Human Behavior, beskrev forfatterne en streng forskningsprotokol med funktioner såsom store stikprøvestørrelser for at sikre validiteten af ​​psykologiske eksperimenter. Forfatterne anvendte deres protokol på snesevis af forskningsprojekter. De rapporterede, at i 86 % af replikationsforsøgene blev de forventede resultater bekræftet - en af ​​de højeste "replikationsrater" nogensinde registreret i sådanne undersøgelser. Men tidsskriftets redaktører trak avisen tilbage den 23. september og anførte i tilbagetrækningsmeddelelsen 2, at de "ikke længere har tillid til resultaternes og konklusionernes pålidelighed".

Forfatterne er kun enige i tidsskriftets bekymringer på ét punkt, som de tilskriver en utilsigtet forglemmelse. En af forfatterne, Jonathan Schooler, en psykolog ved University of California, Santa Barbara, fortalte Nature, at forskergruppen arbejder på en ny version af manuskriptet til genindsendelse.

Forskere, der følger sagen, siger, at han... Problemer med et princip om åben videnskab: forhåndsregistrering som indebærer praksis med at opstille detaljerne i en undersøgelse, herunder hypoteser og planlagte analyser, skriftligt, før den udføres for at forhindre datamanipulation og selektiv rapportering af resultater.

"Det, dette viser, er, at god videnskab er svær, meget sværere end de fleste tror," siger Sam Schwarzkopf, en visuel neuroforsker ved University of Auckland i New Zealand. "Ofte oplever folk, der forhåndsregistrerer sig, at deres gennemtænkte planer ikke slår ud, når de bliver konfronteret med den kolde, hårde virkelighed med dataindsamling."

Fire hold og 64 replikeringsforsøg

Papiret beskriver et komplekst og omfattende eksperiment: Fire forskerhold gennemførte hver især registrerede pilotstudier inden for de samfundsvidenskabelige områder. For eksempel undersøgte et af studierne, om tidspres påvirker beslutningstagningen 3. Hvis pilotundersøgelsen opdagede en effekt, forsøgte holdet at bekræfte resultaterne i en prøve på mindst 1.500 personer. Alle fire hold forsøgte at gengive de udvalgte eksperimenter for at se, om de ville opnå de samme resultater. Hvert hold forsøgte at replikere fire af deres egne eksperimenter og fire fra hvert af de tre andre hold.

Af de 64 replikationsforsøg lykkedes det 86 % – det vil sige, at de gav de forventede og statistisk signifikante resultater. Til sammenligning rapporterer andre replikationsundersøgelser inden for de samfundsvidenskabelige felter gennemsnitlige replikationsrater på 50 %.

Forfatterne af den tilbagetrukne undersøgelse tilskrev dens høje replikationsrate til "strenge praksisser" såsom store stikprøvestørrelser, Forhåndstilmelding og Gennemsigtighed omkring metoder tilbage. Vedtagelse af sådan praksis kan hjælpe med at gøre undersøgelser mere pålidelige, skrev forfatterne.

Kort efter avisens udgivelse stillede Joseph Bak-Coleman, en samfundsforsker ved University of Konstanz i Tyskland, og Berna Devezer, som studerer marketing ved University of Idaho i Moskva, spørgsmålstegn ved det i et fortryk 4, som blev uploadet til PsyArXiv-serveren, dens gyldighed. De bemærkede, at forfatterne ikke havde præregistreret nogle elementer af papiret, herunder det centrale spørgsmål: Ville forfatternes protokol øge reproducerbarheden? Separat sendte Bak-Coleman sider med analyse til redaktørerne af Nature Human Behavior, som iværksatte en undersøgelse, der i sidste ende førte til tilbagetrækningen.

I en kommentar 5, som fulgte med tilbagetrækningen, skrev Bak-Coleman og Devezer, at "reproducerbarhed ikke var det oprindelige resultat af projektet, og analyser af reproducerbarhed var ikke forhåndsregistreret som hævdet." Returmeddelelsen Echo havde disse erklæringer. (Nature Human Behavior er udgivet af Springer Nature, som også udgiver Nature. Natures nyhedshold er redaktionelt uafhængig af sin udgiver.)

En forfatteranerkendelse

På dagen for tilbagetrækningen offentliggjorde seks af forfatterne af Nature Human Behavior en rapport om deres synspunkter 6. Heri indrømmer de, at nogle af undersøgelsens analyser ikke var præregistrerede. De kalder dog andre udsagn i tilbagetrækningsmeddelelsen for "unøjagtige", såsom forfatternes viden om dataene på tidspunktet for analyserne som bestemt af tidsskriftet. Journalen er uenig i, at fortrydelsesmeddelelsen indeholder unøjagtigheder.

Brian Nosek, den administrerende direktør for Center for Open Science i Charlottesville, Virginia, og medforfatter af den tilbagetrukne undersøgelse, siger, at det var chokerende at erfare, at præregistreringsfejlen blev kastet gennem deres projektstyringsprocesser. "Jeg ved ikke, hvor mange gange jeg har læst det papir med de her fejlagtige udsagn om alt, hvad der er forhåndsregistreret og misset det. Det var bare en fejl," siger han.

Nosek, der betragtes som en pioner inden for præregistrering, siger også, at det oprindelige mål med projektet var reproducerbarhed, hvilket modsiger Bak-Coleman og Devezer.

Udfordringer ved forhåndsregistrering

Sagaen viser fejlene ved forhåndsregistrering, siger Yoel Inbar, psykolog ved University of Toronto i Canada. "Jeg har set mange præregistreringer, der var vage, ikke strengt fulgt, eller hvor det endelige papir var en blanding af den præregistrerede og ikke-præregistrerede analyse," siger han.

Inbar er i stigende grad overbevist om, at en bedre mulighed er forhåndsregistreringsformatet registrerede rapporter er der, hvor forskere indsender deres undersøgelsesprotokol, inklusive dens begrundelse og metoder, til et tidsskrift til gennemgang før dataindsamling. Redaktionen beslutter sig for at acceptere undersøgelsen ud fra vigtigheden af ​​forskningsspørgsmålet og metodernes stringens og forpligter sig til at offentliggøre resultaterne, hvis arbejdet udføres som beskrevet.

Andre siger, at journalen er en del af problemet. Anne Scheel, en metavidenskabsmand ved Utrecht University i Holland, siger, at selvom forfatterne begik fejl, burde redaktørerne have bemærket manglen på forhåndsregistrering. Anmeldere tjekker ikke altid forhåndsregistrering, og store tidsskrifter som Nature Human Behavior "har brug for processer for rent faktisk at kontrollere præregistrering," siger hun.

En talsmand for Journal siger, at det undersøger ændringer i sin praksis. "Tidskriftet udforsker måder at forbedre gennemsigtighed, standardisering og rapporteringskrav til præregistrering i samfunds- og adfærdsvidenskaberne, hvilket vil styrke indsatsen for at overvåge overholdelse af præregistrering," tilføjer talsmanden.

Spild af tid for alle

Storskalaprojekter, hvor flere forskergrupper udfører de samme eksperimenter, er svære at styre, forklarer Olavo Amaral, en reproducerbarhedsforsker ved Universidade Federal do Rio de Janeiro i Brasilien. Han taler af erfaring: Han leder Brazilian Reproducibility Project, et forsøg på at reproducere resultaterne af snesevis af biomedicinske undersøgelser udført i laboratorier over hele landet. "Vi kan altid finde fejl," siger han.

Han siger, at kritikken af ​​det tilbagetrukne papir skal tages op, men problemerne ændrer ikke på hans opfattelse af arbejdet. "Resultaterne ser ud til at være ret replikerbare," siger han. "Jeg tror ikke, at kritikken af ​​forhåndsregistrering ændrer min mening om avisen meget."

1. Protzko, J. et al. Natur Hum. Adfærd 8, 311-319 (2023).

   Artikel
   PubMed
   
   Google Scholar

2. Protzko, J. et al. Natur Hum. Adfærd https://doi.org/10.1038/s41562-024-01997-3 (2024).

   Artikel
   
   Google Scholar

3. Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584-1591 (2019).

   Artikel
   PubMed
   
   Google Scholar

4. Bak-Coleman, J. & Devezer, B. Preprint hos PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).

5. Bak-Coleman, J. & Devezer, B. Nature Hum. Adfærd https://doi.org/10.1038/s41562-024-01982-w (2024).

   Artikel
   
   Google Scholar

6. Protzko, L. et al. Fortryk kl https://osf.io/2s94g (2024).

Download referencer