Suche
Mein Konto
Faire de la bonne science est un véritable défi : le retrait d’une importante étude de reproductibilité stimule l’autoréflexion
Le retrait d’une étude de reproductibilité significative soulève des questions sur l’intégrité scientifique et les défis d’une bonne recherche.
Faire de la bonne science est un véritable défi : le retrait d’une importante étude de reproductibilité stimule l’autoréflexion
Le retrait d’un journal très médiatisé 1, le Méthodes pour améliorer la validité des études scientifiques testées a mis en évidence les défis d’une telle recherche de « reproductibilité ». Les auteurs de l'article rétracté comprennent plusieurs Luminaires dans ce domaine.
Dans l'étude publiée en novembre dernier dans Nature Human Behaviour, les auteurs décrivent un protocole de recherche rigoureux avec des caractéristiques telles que des échantillons de grande taille pour garantir la validité des expériences psychologiques. Les auteurs ont appliqué leur protocole à des dizaines de projets de recherche. Ils ont rapporté que dans 86 % des tentatives de réplication, les résultats attendus ont été confirmés – l’un des « taux de réplication » les plus élevés jamais enregistrés dans de telles études. Mais les éditeurs du journal ont rétracté l'article le 23 septembre, déclarant dans l'avis de rétractation 2, qu’ils « n’ont plus confiance dans la fiabilité des résultats et des conclusions ».
Les auteurs partagent les inquiétudes de la revue sur un seul point, qu'ils attribuent à un oubli involontaire. L'un des auteurs, Jonathan Schooler, psychologue à l'Université de Californie à Santa Barbara, a déclaré à Nature que le groupe de recherche travaillait sur une nouvelle version du manuscrit en vue d'une nouvelle soumission.
Les chercheurs qui suivent l'affaire disent qu'il... Problèmes d’un principe de science ouverte : la préinscription qui implique la pratique consistant à exposer par écrit les détails d’une étude, y compris les hypothèses et les analyses prévues, avant de la mener afin d’éviter la manipulation des données et la communication sélective des résultats.
"Cela montre que la bonne science est difficile, beaucoup plus difficile que la plupart des gens ne le pensent", déclare Sam Schwarzkopf, neuroscientifique visuel à l'Université d'Auckland en Nouvelle-Zélande. « Souvent, les personnes qui s’inscrivent à l’avance découvrent que leurs projets bien pensés ne se concrétisent pas lorsqu’elles sont confrontées à la dure et froide réalité de la collecte de données. »
Quatre équipes et 64 tentatives de réplication
L'article décrit une expérience complexe et vaste : quatre équipes de recherche ont chacune mené des études pilotes enregistrées dans les domaines des sciences sociales. Par exemple, l'une des études a examiné si la pression du temps affectait la prise de décision. 3. Si l'étude pilote révélait un effet, l'équipe tentait de confirmer les résultats sur un échantillon d'au moins 1 500 personnes. Les quatre équipes ont essayé de reproduire les expériences sélectionnées pour voir si elles aboutiraient aux mêmes résultats. Chaque équipe a tenté de reproduire quatre de ses propres expériences et quatre de chacune des trois autres équipes.
Sur les 64 tentatives de réplication, 86 % ont réussi, c’est-à-dire qu’elles ont produit les résultats attendus et statistiquement significatifs. En comparaison, d’autres études de réplication dans les domaines des sciences sociales font état de taux de réplication moyens de 50 %.
Les auteurs de l'étude rétractée ont attribué son taux de réplication élevé à des « pratiques rigoureuses » telles que des échantillons de grande taille, Pré-inscription et Transparence sur les méthodes dos. L'adoption de telles pratiques pourrait contribuer à rendre les études plus fiables, ont écrit les auteurs.
Peu de temps après la publication de l'article, Joseph Bak-Coleman, spécialiste des sciences sociales à l'Université de Constance en Allemagne, et Berna Devezer, qui étudie le marketing à l'Université de l'Idaho à Moscou, l'ont remis en question dans une prépublication. 4, qui a été téléchargé sur le serveur PsyArXiv, sa validité. Ils ont noté que les auteurs n'avaient pas préenregistré certains éléments de l'article, notamment la question centrale : le protocole des auteurs augmenterait-il la reproductibilité ? Par ailleurs, Bak-Coleman a envoyé des pages d'analyse aux éditeurs de Nature Human Behaviour, qui ont lancé une enquête qui a finalement conduit à la rétractation.
Dans un commentaire 5, qui accompagnait le retrait, Bak-Coleman et Devezer ont écrit que « la reproductibilité n'était pas le résultat initial du projet et les analyses de reproductibilité n'étaient pas préenregistrées comme on le prétendait ». L'avis de retour Echo contenait ces déclarations. (Nature Human Behaviour est publié par Springer Nature, qui publie également Nature. L'équipe de presse de Nature est éditorialement indépendante de son éditeur.)
Une reconnaissance d'auteur
Le jour du retrait, six des auteurs de Nature Human Behaviour ont publié un rapport sur leurs opinions. 6. Ils y admettent que certaines analyses de l'étude n'étaient pas préenregistrées. Cependant, ils qualifient d’autres déclarations contenues dans l’avis de rétractation d’« inexactes », comme la connaissance des auteurs des données au moment des analyses, telle que déterminée par le Journal. Le Journal conteste le fait que l'avis de retrait contienne des inexactitudes.
Brian Nosek, directeur exécutif du Center for Open Science de Charlottesville, en Virginie, et co-auteur de l'étude rétractée, a déclaré qu'il était choquant d'apprendre que l'erreur de pré-enregistrement avait été commise dans leurs processus de gestion de projet. "Je ne sais pas combien de fois j'ai lu ce journal contenant des déclarations erronées sur tout ce qui était pré-enregistré et je l'ai manqué. C'était juste une erreur", dit-il.
Nosek, considéré comme un pionnier du préenregistrement, affirme également que l'objectif initial du projet était la reproductibilité, contredisant Bak-Coleman et Devezer.
Les défis de la pré-inscription
La saga montre les failles de la pré-inscription, estime Yoel Inbar, psychologue à l'Université de Toronto au Canada. « J'ai vu de nombreux préenregistrements qui étaient vagues, pas strictement suivis, ou dans lesquels le document final était un mélange d'analyses préenregistrées et non préenregistrées », dit-il.
Inbar est de plus en plus convaincu qu'une meilleure option est le format de pré-inscription rapports enregistrés C'est là que les chercheurs soumettent leur protocole d'étude, y compris sa justification et ses méthodes, à une revue pour examen avant la collecte de données. Les éditeurs décident d'accepter ou non l'étude en fonction de l'importance de la question de recherche et de la rigueur des méthodes et s'engagent à publier les résultats si le travail est réalisé tel que décrit.
D'autres disent que le journal fait partie du problème. Anne Scheel, métascientifique à l'Université d'Utrecht aux Pays-Bas, affirme que même si les auteurs ont commis des erreurs, les éditeurs auraient dû remarquer le manque de préinscription. Les évaluateurs ne vérifient pas toujours la pré-inscription, et les grandes revues comme Nature Human Behaviour « ont besoin de processus pour vérifier réellement la pré-inscription », dit-elle.
Un porte-parole du Journal affirme qu'il étudie la possibilité de modifier ses pratiques. "La revue étudie les moyens d'améliorer la transparence, la normalisation et les exigences en matière de reporting pour le pré-enregistrement dans les sciences sociales et comportementales, ce qui renforcera les efforts visant à contrôler la conformité du pré-enregistrement", ajoute le porte-parole.
Une perte de temps pour tout le monde
Les projets à grande échelle dans lesquels plusieurs groupes de recherche mènent les mêmes expériences sont difficiles à gérer, explique Olavo Amaral, chercheur en reproductibilité à l'Universidade Federal do Rio de Janeiro au Brésil. Il parle d'expérience : il dirige le projet brésilien de reproductibilité, une tentative de reproduire les résultats de dizaines d'études biomédicales menées dans des laboratoires à travers le pays. « On peut toujours trouver des erreurs », dit-il.
Il affirme que les critiques formulées à l'égard du document rétracté doivent être prises en compte, mais que les problèmes ne changent pas son opinion sur le travail. « Les résultats semblent assez reproductibles », dit-il. "Je ne pense pas que les critiques sur la préinscription changent beaucoup mon opinion sur le journal."
-
Protzko, J. et al. Nature Hum. Comportement 8, 311-319 (2023).
-
Protzko, J. et al. Nature Hum. Comportement https://doi.org/10.1038/s41562-024-01997-3 (2024).
-
Protzko, J., Zedelius, CM et Schooler, JW Psychol. Sci. 30, 1584-1591 (2019).
-
Bak-Coleman, J. & Devezer, B. Préimpression sur PsyArXiv https://doi.org/10.31234/osf.io/5u3kj (2024).
-
Bak-Coleman, J. et Devezer, B. Nature Hum. Comportement https://doi.org/10.1038/s41562-024-01982-w (2024).
-
Protzko, L. et coll. Préimpression à https://osf.io/2s94g (2024).