Revues avec une forte proportion d'articles suspects signalés par des startups d'intégrité scientifique

Revues avec une forte proportion d'articles suspects signalés par des startups d'intégrité scientifique

Quels éditeurs et revues universitaires ont été les plus touchés par des recherches frauduleuses ou douteuses – et lesquels ont le moins fait pour assainir leur portefeuille ? Une start-up technologique fondée pour aider les éditeurs à identifier les articles potentiellement problématiques a quelques réponses et a partagé ses premières conclusions avec Nature.

Le site Web sur l'intégrité des connaissances Argos, lancé en septembre par Scitility, une entreprise technologique basée à Sparks, dans le Nevada, attribue des notes de risque aux articles en fonction des dates de publication des auteurs et du fait que l'article fasse fortement référence à des recherches déjà rétractées. Un article classé comme « à haut risque » peut avoir plusieurs auteurs dont les autres études ont été retirées en raison d'une mauvaise conduite. Un score élevé ne prouve pas qu'un article est de mauvaise qualité, mais cela indique qu'il vaut peut-être la peine d'être examiné.

Argos fait partie d'un nombre croissant d'outils de vérification de l'intégrité de la recherche qui recherchent des signaux d'alarme dans les articles. Ceux-ci incluent ceci Alarme usine de papier, développé par Clear Skies et Signals par Research Signals, tous deux de Londres. Étant donné que les développeurs de tels logiciels vendent leurs outils de sélection de manuscrits aux éditeurs, ils sont généralement prudents lorsqu'ils nomment les revues concernées. Cependant, Argos, qui offre des comptes gratuits aux particuliers et un accès plus large aux auditeurs d'intégrité et aux journalistes, est le premier à fournir un aperçu public.

«Nous voulions développer une technologie capable de détecter des modèles cachés et d'apporter de la transparence au secteur», explique Erik de Boer, co-fondateur de Scitility, basé à Roosendaal, aux Pays-Bas.

Début octobre, Argos avait signalé plus de 40 000 articles à haut risque et 180 000 articles à risque moyen. Il a également indexé plus de 50 000 articles rétractés.

Évaluation des risques des éditeurs

L'analyse d'Argos montre que Hindawi, une filiale aujourd'hui disparue de l'éditeur londonien Wiley, possède le plus grand nombre et la plus forte proportion d'articles déjà retirés (voir « Éditeurs à risque »). Ce n'est pas surprenant parce que Wiley a a rétracté plus de 10 000 articles publiés par Hindawi au cours des deux dernières années, en réponse aux préoccupations soulevées par les éditeurs et les critiques ; cela représente plus de 4% du portefeuille total de la marque au cours de la dernière décennie. L’une de ses revues, Evidence-based Complementary and Alternative Medicine, a retiré 741 articles, ce qui représente plus de 7 % de sa production.

Les évaluations des risques Argos indiquent que plus d'un millier d'articles hindawi restants – soit 0,65 % supplémentaires – continuent de présenter un « risque élevé ». Cela suggère que même si Wiley a fait beaucoup pour nettoyer son portefeuille, le problème n’est peut-être pas encore complètement résolu. L'éditeur a déclaré à Nature qu'il accueillait Argos et des outils similaires et qu'il s'efforçait de résoudre les problèmes avec Hindawi.

D'autres éditeurs semblent devoir mener une enquête beaucoup plus approfondie, car le nombre de rétractations est faible par rapport au nombre d'articles à haut risque signalés par Argos (les éditeurs ont peut-être déjà enquêté sur certains de ces articles et décidé qu'aucune mesure n'était nécessaire).

L'éditeur Elsevier, basé à Amsterdam, compte environ 5 000 rétractations mais plus de 11 400 articles à haut risque, selon l'analyse d'Argos réalisée par Nature – bien que l'ensemble de ceux-ci représentent un peu plus de 0,2 % de la production de l'éditeur au cours de la dernière décennie. L'éditeur MDPI a retiré 311 articles mais compte plus de 3 000 articles à haut risque, soit environ 0,24 % de sa production. Springer Nature compte plus de 6 000 rétractations et plus de 6 000 articles à haut risque ; environ 0,3% de sa production. (L'équipe de presse de Nature est indépendante de son éditeur.)

En réponse aux questions, toutes les divisions d'édition identifiées comme les plus grands fournisseurs d'articles à haut risque déclarent qu'elles travaillent dur sur l'intégrité de la recherche, utilisent la technologie pour examiner les articles soumis et que leurs rétractations démontrent leur engagement à nettoyer les contenus problématiques.

Springer Nature a indiqué avoir lancé deux outils en juin qui ont depuis permis de détecter des centaines de fausses soumissions de manuscrits ; plusieurs éditeurs ont élevé leur collaboration en un seul centre d'intégrité commun qui propose un logiciel capable de signaler les éléments suspects. Jisuk Kang, responsable de la publication chez MDPI à Bâle, en Suisse, affirme que des produits comme Argos donnent des indications générales sur les problèmes potentiels, mais note que l'éditeur ne peut pas vérifier l'exactitude ou la fiabilité des chiffres sur le site Web. Elle ajoute que les plus grands éditeurs et magazines publieront inévitablement un nombre plus élevé d’articles à haut risque, la part de production constitue donc un meilleur indicateur.

Les marques d'édition avec les proportions les plus élevées d'articles à haut risque dans leurs portefeuilles, selon les données Argos, sont Impact Journals (0,82 %), Spandidos (0,77 %) et Ivyspring (0,67 %). Impact Journals explique à Nature que même si ses revues ont connu des problèmes dans le passé, elles ont désormais amélioré leur intégrité. L'éditeur déclare avoir paru dans la revue Oncotarget au cours des deux dernières années. "0% d'irrégularités" en raison de l'introduction d'outils de vérification d'images tels qu'Image Twin, qui ne sont devenus disponibles que ces dernières années. Portland Press, qui compte 0,41 % d'articles à haut risque dans son portefeuille, affirme avoir pris les mesures appropriées pour améliorer la rigueur des examens.

Évaluations des risques dans les magazines

Argos propose également des numéros pour des magazines individuels. Il n’est pas surprenant que les titres hindawis se démarquent à la fois par le nombre et la proportion d’articles retirés, tandis que d’autres revues présentent de nombreux articles identifiés par Argos comme étant à haut risque (voir « Journaux à risque »). En volume, la méga-revue Scientific Reports de Springer Nature est en tête avec 450 articles à haut risque et 231 rétractations, qui représentent ensemble environ 0,3 % de sa production. Le 16 octobre, un groupe de critiques a écrit un lettre ouverte à Springer Nature, qui a soulevé des inquiétudes concernant des articles problématiques dans la revue.

En réponse, Chris Graf, responsable de l'intégrité de la recherche chez Springer Nature, a déclaré que la revue étudiait chaque problème soulevé. Il ajoute que la proportion de contenus mis en avant est relativement faible par rapport à leur taille.

Les revues présentant des écarts particulièrement importants entre le nombre d'articles rétractés et les articles potentiellement suspects comprennent le Sustainability Journal de MDPI (20 rétractations et 312 articles à haut risque ; 0,4 % de la production) et Materials Today Proceedings d'Elsevier (28 rétractations et 308 articles à haut risque ; 0,8 % de la production). Le secteur Biomédecine et Pharmacothérapie d'Elsevier possède la plus forte proportion d'articles à haut risque – 1,61 % de sa production.

« Le volume de matériel frauduleux augmente de manière significative, soutenu par des manipulations systématiques telles que les « usines à papier » qui produisent du contenu frauduleux à des fins commerciales et le contenu généré par l’IA », a déclaré un porte-parole d’Elsevier, ajoutant qu’en réponse « nous augmentons nos investissements dans la surveillance humaine, l’expertise et la technologie ».

Données ouvertes

Les développeurs d'Argos soulignent que le site est basé sur des données ouvertes collectées par d'autres. Les sources incluent le site Web Retraction Watch, qui maintient une base de données d'articles rétractés – gratuitement grâce à un accord avec l'association à but non lucratif CrossRef – qui inclut les raisons d'une rétractation afin que les outils qui examinent les données des auteurs puissent se concentrer sur les rétractations qui mentionnent une mauvaise conduite. L’analyse s’appuie également sur Enregistrements d'articles faisant fortement référence à des ouvrages rétractés, compilés par Guillaume Cabanac, informaticien à l'Université de Toulouse en France.

Bien qu'Argos suive également les analystes qui Réseaux d’auteurs ayant des antécédents de mauvaise conduite Focus, d'autres outils de vérification de l'intégrité signalent également les articles basés sur un contenu suspect, comme des similitudes textuelles étroites avec des œuvres contrefaites ou des « phrases perturbées », un terme inventé par Cabanac lorsque les auteurs faire d'étranges choix de mots pour éviter d’activer les systèmes de détection de plagiat.

« Les deux approches ont du mérite, mais il pourrait s’avérer plus utile d’identifier des réseaux de chercheurs se livrant à des comportements répréhensibles », déclare James Butcher, ancien éditeur de Nature et Lancet, qui dirige aujourd’hui le cabinet de conseil Journalology à Liverpool, au Royaume-Uni. « En effet, des outils d’écriture assistés par l’IA pourraient être utilisés pour aider les fraudeurs à éviter des indices textuels évidents », ajoute-t-il. Butcher ajoute que de nombreux grands éditeurs ont développé ou acheté leurs propres outils d'intégrité pour vérifier divers signaux d'alarme dans les manuscrits.

L'un des problèmes les plus délicats pour les outils d'intégrité qui s'appuient principalement sur les enregistrements de rétractation des auteurs est de distinguer correctement les auteurs portant des noms similaires – un problème qui pourrait fausser les chiffres d'Argos. "Le problème de la discrimination des auteurs est le plus gros problème de l'industrie", déclare Adam Day, fondateur de Clear Skies.

De Boer, qui travaillait auparavant chez Springer Nature, affirme que n'importe qui peut créer un compte pour utiliser Argos gratuitement, mais Scitility prévoit de vendre une version de l'outil aux principaux éditeurs et institutions qui pourraient l'intégrer directement dans leurs flux de travail de sélection de manuscrits.

Butcher loue la transparence de l'équipe Argos. « Il faut plus de visibilité pour les magazines et les éditeurs qui prennent des raccourcis et ne parviennent pas à apporter le soin approprié au travail qu'ils publient et monétisent », dit-il.