Suche
Mein Konto
Goede wetenschap doen is een uitdaging: Het terugtrekken van een belangrijk reproduceerbaarheidsonderzoek stimuleert zelfreflectie
Het terugtrekken van een significant reproduceerbaarheidsonderzoek roept vragen op over de wetenschappelijke integriteit en de uitdagingen van goed onderzoek.
Goede wetenschap doen is een uitdaging: Het terugtrekken van een belangrijk reproduceerbaarheidsonderzoek stimuleert zelfreflectie
De terugtrekking van een spraakmakend artikel 1, de Methoden om de validiteit van wetenschappelijke studies te verbeteren getest heeft de uitdagingen van dergelijk “reproduceerbaarheidsonderzoek” benadrukt. Onder de auteurs van het ingetrokken artikel bevinden zich verschillende auteurs Lichtsterren op dit gebied.
In de studie die afgelopen november in Nature Human Behavior werd gepubliceerd, beschrijven de auteurs een rigoureus onderzoeksprotocol met kenmerken zoals grote steekproefomvang om de validiteit van psychologische experimenten te garanderen. De auteurs pasten hun protocol toe op tientallen onderzoeksprojecten. Ze meldden dat bij 86% van de replicatiepogingen de verwachte resultaten werden bevestigd – een van de hoogste ‘replicatiepercentages’ die ooit in dergelijke onderzoeken zijn gemeten. Maar de redactie van het tijdschrift trok het artikel op 23 september in en vermeldde dit in het intrekkingsbericht 2, dat ze “geen vertrouwen meer hebben in de betrouwbaarheid van de resultaten en conclusies”.
De auteurs zijn het slechts op één punt eens met de zorgen van het tijdschrift, dat zij toeschrijven aan een onbedoelde vergissing. Een van de auteurs, Jonathan Schooler, een psycholoog aan de Universiteit van Californië, Santa Barbara, vertelde Nature dat de onderzoeksgroep werkt aan een nieuwe versie van het manuscript voor herindiening.
Onderzoekers die de zaak volgen, zeggen dat hij... Problemen van een principe van open science: preregistratie Dit houdt de praktijk in van het schriftelijk vastleggen van de details van een onderzoek, inclusief hypothesen en geplande analyses, voordat het wordt uitgevoerd, om gegevensmanipulatie en selectieve rapportage van resultaten te voorkomen.
“Wat dit laat zien is dat goede wetenschap moeilijk is, veel moeilijker dan de meeste mensen denken”, zegt Sam Schwarzkopf, een visuele neurowetenschapper aan de Universiteit van Auckland in Nieuw-Zeeland. “Mensen die zich vooraf registreren, merken vaak dat hun goed doordachte plannen niet uitkomen als ze worden geconfronteerd met de koude, harde realiteit van het verzamelen van gegevens.”
Vier teams en 64 replicatiepogingen
Het artikel beschrijft een complex en uitgebreid experiment: vier onderzoeksteams voerden elk geregistreerde pilotstudies uit op sociaalwetenschappelijk gebied. In één van de onderzoeken werd bijvoorbeeld onderzocht of tijdsdruk de besluitvorming beïnvloedt 3. Als de pilotstudie een effect ontdekte, probeerde het team de resultaten te bevestigen in een steekproef van minstens 1.500 mensen. Alle vier de teams probeerden de geselecteerde experimenten te reproduceren om te zien of ze dezelfde resultaten zouden bereiken. Elk team probeerde vier van hun eigen experimenten en vier van elk van de drie andere teams te repliceren.
Van de 64 replicatiepogingen was 86% succesvol, dat wil zeggen dat ze de verwachte en statistisch significante resultaten opleverden. Ter vergelijking: andere replicatiestudies op het gebied van de sociale wetenschappen rapporteren gemiddelde replicatiepercentages van 50%.
De auteurs van het ingetrokken onderzoek schreven het hoge replicatiepercentage toe aan ‘rigoureuze praktijken’, zoals grote steekproeven, Pre-registratie En Transparantie over methoden rug. Het adopteren van dergelijke praktijken zou ertoe kunnen bijdragen dat onderzoeken betrouwbaarder worden, schreven de auteurs.
Kort nadat het artikel was gepubliceerd, stelden Joseph Bak-Coleman, een sociaal wetenschapper aan de Universiteit van Konstanz in Duitsland, en Berna Devezer, die marketing studeert aan de Universiteit van Idaho in Moskou, het in een voordruk in twijfel. 4, die naar de PsyArXiv-server is geüpload, de geldigheid ervan. Ze merkten op dat de auteurs sommige elementen van het artikel niet vooraf hadden geregistreerd, waaronder de centrale vraag: zou het auteursprotocol de reproduceerbaarheid vergroten? Daarnaast stuurde Bak-Coleman pagina's met analyses naar de redactie van Nature Human Behavior, die een onderzoek startte dat uiteindelijk tot de intrekking leidde.
In een reactie 5, die met de terugtrekking gepaard ging, schreven Bak-Coleman en Devezer dat “reproduceerbaarheid niet het oorspronkelijke resultaat van het project was en dat analyses van reproduceerbaarheid niet vooraf waren geregistreerd zoals beweerd.” Het retourbericht van Echo bevatte deze verklaringen. (Nature Human Behavior wordt uitgegeven door Springer Nature, die ook Nature publiceert. Het nieuwsteam van Nature is redactioneel onafhankelijk van de uitgever.)
Een gezaghebbende erkenning
Op de dag van de terugtrekking publiceerden zes auteurs van Nature Human Behavior een rapport met hun standpunten 6. Daarin geven ze toe dat sommige analyses van het onderzoek niet vooraf waren geregistreerd. Andere uitspraken in het intrekkingsbericht noemen ze echter ‘onnauwkeurig’, zoals de kennis van de auteurs over de gegevens ten tijde van de analyses, zoals bepaald door het Journal. Het Journal is het er niet mee eens dat het intrekkingsbericht onjuistheden bevat.
Brian Nosek, uitvoerend directeur van het Center for Open Science in Charlottesville, Virginia, en co-auteur van het ingetrokken onderzoek, zegt dat het schokkend was om te horen dat de preregistratiefout door hun projectmanagementprocessen werd veroorzaakt. "Ik weet niet hoe vaak ik dat artikel heb gelezen met deze foutieve uitspraken over alles wat vooraf is geregistreerd en het heb gemist. Het was gewoon een vergissing", zegt hij.
Nosek, die wordt beschouwd als een pionier op het gebied van preregistratie, zegt ook dat het oorspronkelijke doel van het project reproduceerbaarheid was, wat in tegenspraak is met Bak-Coleman en Devezer.
Uitdagingen bij pre-registratie
De saga laat de tekortkomingen van preregistratie zien, zegt Yoel Inbar, een psycholoog aan de Universiteit van Toronto in Canada. “Ik heb veel preregistraties gezien die vaag waren, niet strikt werden gevolgd, of waarbij het uiteindelijke artikel een mix was van vooraf geregistreerde en niet-gepreregistreerde analyses”, zegt hij.
Inbar is er steeds meer van overtuigd dat een betere optie het pre-registratieformaat is geregistreerde meldingen is waar onderzoekers hun onderzoeksprotocol, inclusief de grondgedachte en methoden, ter beoordeling indienen bij een tijdschrift voordat de gegevens worden verzameld. De redactie besluit of zij het onderzoek accepteert op basis van het belang van de onderzoeksvraag en de nauwkeurigheid van de methoden en verbindt zich ertoe de resultaten te publiceren als het werk wordt uitgevoerd zoals beschreven.
Anderen zeggen dat het tijdschrift een deel van het probleem is. Anne Scheel, een metaswetenschapper aan de Universiteit Utrecht, zegt dat hoewel de auteurs fouten hebben gemaakt, de redactie het gebrek aan preregistratie had moeten opmerken. Recensenten controleren de preregistratie niet altijd, en grote tijdschriften als Nature Human Behavior "hebben processen nodig om de preregistratie daadwerkelijk te controleren", zegt ze.
Een woordvoerder van de Journal zegt dat het veranderingen in zijn praktijken onderzoekt. “Het tijdschrift onderzoekt manieren om de transparantie, standaardisatie en rapportagevereisten voor preregistratie in de sociale en gedragswetenschappen te verbeteren, wat de inspanningen zal versterken om de naleving van preregistratie te controleren”, voegt de woordvoerder toe.
Tijdverspilling voor iedereen
Grootschalige projecten waarin meerdere onderzoeksgroepen dezelfde experimenten uitvoeren, zijn moeilijk te beheren, legt Olavo Amaral uit, een reproduceerbaarheidsonderzoeker aan de Universidade Federal do Rio de Janeiro in Brazilië. Hij spreekt uit ervaring: hij leidt het Brazilian Reproducibility Project, een poging om de resultaten te reproduceren van tientallen biomedische onderzoeken die zijn uitgevoerd in laboratoria in het hele land. “We kunnen altijd fouten vinden”, zegt hij.
Hij zegt dat de kritiek op het ingetrokken artikel moet worden aangepakt, maar dat de problemen zijn mening over het werk niet veranderen. "De resultaten lijken redelijk repliceerbaar", zegt hij. “Ik denk niet dat de kritiek op de voorregistratie mijn mening over de krant veel verandert.”
-
Protzko, J. et al. Natuur Hum. Gedrag 8, 311–319 (2023).
-
Protzko, J. et al. Natuur Hum. Gedrag https://doi.org/10.1038/s41562-024-01997-3 (2024).
-
Protzko, J., Zedelius, CM & Schooler, JW Psychol. Wetenschap 30, 1584–1591 (2019).
-
Bak-Coleman, J. & Devezer, B. Preprint bij PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).
-
Bak-Coleman, J. & Devezer, B. Nature Hum. Gedrag https://doi.org/10.1038/s41562-024-01982-w (2024).
-
Protzko, L. et al. Voordruk op https://osf.io/2s94g (2024).