Die Rücknahme eines hochkarätigen Papiers1, das Methoden zur Verbesserung der Validität wissenschaftlicher Studien testete, hat die Herausforderungen solcher „Reproduzierbarkeit“ Forschung hervorgehoben. Zu den Autoren des zurückgezogenen Papiers gehören einige Koryphäen auf diesem Gebiet.
In der im letzten November in Nature Human Behaviour veröffentlichten Studie beschrieben die Autoren ein strenges Forschungsprotokoll mit Merkmalen wie großen Stichprobengrößen, um die Validität psychologischer Experimente zu gewährleisten. Die Autoren wendeten ihr Protokoll auf Dutzende von Forschungsprojekten an. Sie berichteten, dass in 86% der Replikationsversuche die erwarteten Ergebnisse bestätigt wurden – eine der höchsten „Replikationsraten“, die je in solchen Studien aufgezeichnet wurden. Doch die Herausgeber des Journals zogen das Papier am 23. September zurück und erklärten im Rücknahmehinweis2, dass sie „kein Vertrauen mehr in die Zuverlässigkeit der Ergebnisse und Schlussfolgerungen haben“.
Die Autoren stimmen nur in einem Punkt mit den Bedenken des Journals überein, den sie auf ein unbeabsichtigtes Versehen zurückführen. Einer der Autoren, Jonathan Schooler, ein Psychologe an der University of California, Santa Barbara, teilte Nature mit, dass die Forschungsgruppe an einer neuen Version des Manuskripts zur Wiedereinreichung arbeitet.
Forschende, die den Fall verfolgen, sagen, dass er die Probleme eines Grundsatzes der offenen Wissenschaft: der Preregisterierung aufzeigt, der die Praxis umfasst, die Einzelheiten einer Studie, darunter Hypothesen und geplante Analysen, vor der Durchführung schriftlich festzulegen, um Datenmanipulation und selektive Ergebnisberichterstattung zu verhindern.
„Was dies zeigt, ist, dass gute Wissenschaft schwierig ist, viel schwieriger, als die meisten Menschen denken“, sagt Sam Schwarzkopf, ein visueller Neurowissenschaftler an der Universität Auckland in Neuseeland. „Häufig machen Leute bei der Preregisterierung die Erfahrung, dass ihre durchdachten Pläne sich nicht bewähren, wenn sie mit der kalten, harten Realität der Datensammlung konfrontiert werden.“
Vier Teams und 64 Replikationsversuche
Das Paper beschreibt einen komplexen und umfangreichen Versuch: Vier Forschungsteams führten jeweils registrierte Pilotstudien in den sozialwissenschaftlichen Bereichen durch. Eine der Studien untersuchte beispielsweise, ob Zeitdruck die Entscheidungsfindung beeinflusst3. Wenn die Pilotstudie einen Effekt entdeckte, versuchte das Team, die Ergebnisse in einer Stichprobe von mindestens 1.500 Personen zu bestätigen. Alle vier Teams versuchten, die ausgewählten Experimente zu reproduzieren, um zu sehen, ob sie die gleichen Ergebnisse erzielen würden. Jedes Team versuchte, vier eigene Experimente und vier von jedem der drei anderen Teams zu replizieren.
Von den 64 Replikationsversuchen waren 86% erfolgreich – das heißt, sie lieferten die erwarteten und statistisch signifikanten Ergebnisse. Im Vergleich dazu berichten andere Replikationsstudien in den sozialwissenschaftlichen Bereichen von durchschnittlichen Replikationsraten von 50%.
Die Autoren der zurückgezogenen Studie führten ihre hohe Replikationsrate auf „rigoröse Praktiken“ wie große Stichprobengrößen, Preregisterierung und Transparenz über Methoden zurück. Die Übernahme solcher Praktiken könnte dazu beitragen, Studien zuverlässiger zu machen, schrieben die Autoren.
Kurz nach der Veröffentlichung des Papiers hinterfragten Joseph Bak-Coleman, ein Sozialwissenschaftler an der Universität Konstanz in Deutschland, und Berna Devezer, die Marketing an der University of Idaho in Moskau studiert, in einem Preprint4, das auf dem PsyArXiv-Server hochgeladen wurde, dessen Validität. Sie bemerkten, dass die Autoren einige Elemente des Papiers, darunter die zentrale Frage: Würde das Protokoll der Autoren die Reproduzierbarkeit erhöhen?, nicht preregistriert hatten. Separat schickte Bak-Coleman Seiten mit Analysen an die Herausgeber von Nature Human Behaviour, die eine Untersuchung einleiteten, die schließlich zur Rücknahme führte.
In einem Kommentar5, der die Rücknahme begleitete, schrieben Bak-Coleman und Devezer, dass „die Reproduzierbarkeit nicht das ursprüngliche Outcome des Projekts war und Analysen zur Reproduzierbarkeit nicht wie behauptet preregistriert wurden“. Der Rücknahmehinweis Echo hatte diese Aussagen. (Nature Human Behaviour wird von Springer Nature veröffentlicht, das auch Nature veröffentlicht. Das Nachrichtenteam von Nature ist redaktionell unabhängig von seinem Verlag.)
Eine autorenschaftliche Anerkennung
Am Tag der Rücknahme veröffentlichten sechs der Autoren von Nature Human Behaviour einen Bericht ihrer Sichtweise6. Darin gestehen sie ein, dass einige der Analysen der Studie nicht preregistriert sind. Sie nennen jedoch andere Aussagen im Rücknahmehinweis „un genau“, wie das vom Journal festgestellte Wissen der Autoren über die Daten zum Zeitpunkt der Analysen. Das Journal widerspricht der Auffassung, dass der Rücknahmehinweis Ungenauigkeiten enthält.
Brian Nosek, der Geschäftsführer des Center for Open Science in Charlottesville, Virginia und Mitautor der zurückgezogenen Studie, sagt, dass es schockierend war zu erfahren, dass der Fehler bei der Preregisterierung durch ihre Projektmanagementprozesse geworfen wurde. „Ich weiß nicht, wie oft ich dieses Papier mit diesen fehlerhaften Aussagen über alles, was preregistriert ist, gelesen habe und es übersehen habe. Es war einfach ein Fehler“, sagt er.
Nosek, der als Pionier in der Preregisterierung gilt, sagt außerdem, dass das ursprüngliche Ziel des Projekts die Reproduzierbarkeit war und damit im Widerspruch zu Bak-Coleman und Devezer steht.
Herausforderungen der Preregisterierung
Die Saga zeigt die Mängel der Preregisterierung, sagt Yoel Inbar, ein Psychologe an der Universität Toronto in Kanada. „Ich habe viele Preregisterierungen gesehen, die vage waren, nicht genau eingehalten wurden oder bei denen das endgültige Papier eine Mischung aus der preregistrierten und nicht preregistrierten Analyse war“, sagt er.
Inbar ist zunehmend überzeugt davon, dass eine bessere Option das Preregisterierungsformat von registrierten Berichten ist, bei dem Forscher ihr Studienprotokoll, einschließlich ihrer Begründung und Methoden, vor der Datenerhebung zur Begutachtung an ein Journal einreichen. Die Herausgeber entscheiden, ob sie die Studie basierend auf der Wichtigkeit der Forschungsfrage und der Rigorosität der Methoden annehmen und verpflichten sich zur Veröffentlichung der Ergebnisse, wenn die Arbeit wie beschrieben durchgeführt wird.
Andere sagen, dass das Journal Teil des Problems ist. Anne Scheel, eine Metawissenschaftlerin an der Universiteit Utrecht in den Niederlanden, sagt, dass, obwohl die Autoren Fehler gemacht haben, die Herausgeber das fehlende Preregistering hätten bemerken müssen. Gutachter überprüfen nicht immer die Preregisterierung, und große Journale wie Nature Human Behaviour „benötigen Prozesse, um die Preregisterierung tatsächlich zu überprüfen“, sagt sie.
Ein Sprecher des Journals sagt, dass es Änderungen seiner Praktiken untersucht. „Das Journal prüft Möglichkeiten zur Verbesserung der Transparenz, Standardisierung und Berichterstattungsanforderungen für die Preregisterierung in den Sozial- und Verhaltenswissenschaften, was die Bemühungen zur Überwachung der Einhaltung der Preregisterierung stärken wird“, fügt der Sprecher hinzu.
Zeitverschwendung für alle
Umfangreiche Projekte, bei denen mehrere Forschungsgruppen dieselben Experimente durchführen, sind schwer zu managen, erklärt Olavo Amaral, ein Reproduzierbarkeitsforscher an der Universidade Federal do Rio de Janeiro in Brasilien. Er spricht aus Erfahrung: Er leitet das Brazilian Reproducibility Project, einen Versuch, die Ergebnisse von Dutzenden biomedizinischer Studien, die in Laboren des Landes durchgeführt wurden, zu reproduzieren. „Wir können immer wieder Fehler finden“, sagt er.
Er sagt, dass die Kritik am zurückgezogenen Papier angegangen werden muss, aber die Probleme ändern nichts an seiner Meinung über die Arbeit. „Die Ergebnisse scheinen ziemlich replizierbar zu sein“, sagt er. „Ich glaube nicht, dass die Kritik an der Preregisterierung meine Meinung über das Papier stark ändert.“
-
Protzko, J. et al. Nature Hum. Behav. 8, 311–319 (2023).
-
Protzko, J. et al. Nature Hum. Behav. https://doi.org/10.1038/s41562-024-01997-3 (2024).
-
Protzko, J., Zedelius, C. M. & Schooler, J. W. Psychol. Sci. 30, 1584–1591 (2019).
-
Bak-Coleman, J. & Devezer, B. Preprint at PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).
-
Bak-Coleman, J. & Devezer, B. Nature Hum. Behav. https://doi.org/10.1038/s41562-024-01982-w (2024).
-
Protzko, L. et al. Preprint at https://osf.io/2s94g (2024).
