Welche wissenschaftlichen Verlage und Zeitschriften sind am stärksten von betrügerischen oder fragwürdigen Forschungsarbeiten betroffen — und welche haben am wenigsten unternommen, um ihre Portfolios zu bereinigen? Ein Technologie-Start-up, das gegründet wurde, um Verlagen zu helfen, potenziell problematische Artikel zu identifizieren, hat einige Antworten und hat seine ersten Erkenntnisse mit Nature geteilt.
Die Wissensintegritäts-Website Argos, die im September von Scitility, einem Technologieunternehmen mit Sitz in Sparks, Nevada, gestartet wurde, vergibt Risikobewertungen für Artikel basierend auf den Veröffentlichungsdaten der Autoren und darauf, ob der Artikel stark auf bereits zurückgezogene Forschungsarbeiten verweist. Ein als „hoch riskant“ eingestufter Artikel kann mehrere Autoren aufweisen, deren andere Studien aufgrund von Fehlverhalten zurückgezogen wurden. Eine hohe Punktzahl beweist nicht, dass ein Artikel von geringer Qualität ist, deutet aber darauf hin, dass eine Überprüfung sinnvoll sein könnte.
Argos gehört zu einer wachsenden Anzahl von Instrumenten zur Integritätsüberprüfung in der Forschung, die nach Warnsignalen in Artikeln suchen. Dazu gehören das Papermill Alarm, entwickelt von Clear Skies, und Signals von Research Signals, beide aus London. Da die Entwickler solcher Software ihre Manuskripte-Screening-Tools an Verlage verkaufen, sind sie im Allgemeinen zurückhaltend, wenn es um die Nennung betroffener Zeitschriften geht. Argos, das Individuen kostenlose Konten und umfasseren Zugang für Integritätsprüfer und Journalisten anbietet, ist jedoch das erste, das öffentliche Einblicke gewährt.
„Wir wollten eine Technologie entwickeln, die verborgene Muster erkennen und Transparenz für die Branche schaffen kann“, sagt Erik de Boer, Mitbegründer von Scitility, der in Roosendaal, Niederlande, ansässig ist.
Bis Anfang Oktober hatte Argos mehr als 40.000 hochriskante und 180.000 mittelrisikobehaftete Artikel markiert. Es hat auch mehr als 50.000 zurückgezogene Artikel indiziert.
Risikobewertung von Verlagen
Die Analyse von Argos zeigt, dass der Verlag Hindawi — eine mittlerweile geschlossene Tochtergesellschaft des Londoner Verlags Wiley — die höchste Anzahl und den höchsten Anteil an bereits zurückgezogenen Artikeln aufweist (siehe „Verlage im Risiko“). Das ist nicht überraschend, denn Wiley hat in den letzten zwei Jahren über 10.000 von Hindawi veröffentlichten Artikeln zurückgezogen, als Reaktion auf Bedenken, die von Redakteuren und Prüfern geäußert wurden; dies entspricht mehr als 4% des Gesamtportfolios der Marke im letzten Jahrzehnt. Eine seiner Zeitschriften, die Evidence-based Complementary and Alternative Medicine, hat 741 Artikel zurückgezogen, was mehr als 7% ihrer Produktion ausmacht.
Die Risikobewertungen von Argos markieren mehr als tausend verbleibende Hindawi-Artikel — weitere 0,65% — als weiterhin „hoch riskant“. Das deutet darauf hin, dass, obwohl Wiley viel unternommen hat, um sein Portfolio zu bereinigen, das Problem möglicherweise noch nicht vollständig gelöst ist. Der Verlag teilte Nature mit, dass er Argos und ähnliche Tools begrüße und daran arbeite, die Probleme mit Hindawi zu beheben.
Andere Verlage scheinen viel mehr Untersuchungen anstellen zu müssen, da die Anzahl der Rückzüge im Verhältnis zur Anzahl der von Argos gekennzeichneten hochriskanten Artikel gering ist (Verlage könnten einige dieser Artikel bereits untersucht und entschieden haben, dass keine Maßnahmen erforderlich sind).
Der Verlag Elsevier mit Sitz in Amsterdam hat etwa 5.000 Rückzüge, aber über 11.400 hochriskante Artikel, gemäß der Analyse von Argos durch Nature — obwohl all diese zusammen nur etwas mehr als 0,2% der Produktion des Verlags im letzten Jahrzehnt ausmachen. Der Verlag MDPI hat 311 Artikel zurückgezogen, verfügt jedoch über mehr als 3.000 hochriskante Artikel — etwa 0,24% seiner Produktion. Springer Nature hat mehr als 6.000 Rückzüge und mehr als 6.000 hochriskante Artikel; etwa 0,3% seiner Produktion. (Das Nachrichten-Team von Nature ist unabhängig von seinem Verlag.)
In Antworten auf Anfragen äußern alle Verlagsteile, die als die größten Anbieter von hochriskanten Artikeln gekennzeichnet sind, dass sie intensiv an der Forschungsintegrität arbeiten, Technologien nutzen, um eingereichte Artikel zu überprüfen, und dass ihre Rückzüge ihr Engagement zur Bereinigung problematischer Inhalte unter Beweis stellen.
Springer Nature berichtete, dass es im Juni zwei Tools eingeführt hat, die seitdem geholfen haben, Hunderte gefälschter eingereichter Manuskripte zu erkennen; mehrere Verlage hoben ihre Zusammenarbeit in einem gemeinsamen Integritätszentrum hervor, das Software anbietet, die verdächtige Artikel kennzeichnen kann. Jisuk Kang, eine Verlagsmanagerin bei MDPI in Basel, Schweiz, sagt, dass Produkte wie Argos breite Hinweise auf potenzielle Probleme geben, merkt jedoch an, dass der Verlag die Genauigkeit oder Zuverlässigkeit der Zahlen auf der Website nicht überprüfen könne. Sie fügt hinzu, dass die größten Verlage und Zeitschriften zwangsläufig eine höhere Anzahl an hochriskanten Artikeln aufweisen würden, sodass der Anteil an der Produktion eine bessere Kennzahl sei.
Die Verlagsmarken mit den höchsten Anteilen an hochriskanten Artikeln in ihren Portfolios sind laut Argos-Daten Impact Journals (0,82%), Spandidos (0,77%) und Ivyspring (0,67%). Impact Journals teilt Nature mit, dass, obwohl seine Zeitschriften in der Vergangenheit Probleme hatten, sie mittlerweile ihre Integrität verbessert haben. Der Verlag gibt an, dass es in der Zeitschrift Oncotarget in den letzten zwei Jahren „0% Unregelmäßigkeiten“ gegeben habe, was auf die Einführung von Bildprüfungsinstrumenten wie Image Twin zurückzuführen sei, die erst in den letzten Jahren verfügbar wurden. Portland Press, der 0,41% hochriskante Artikel in seinem Portfolio hat, gibt an, dass er korrekte Maßnahmen ergriffen habe, um die strengen Prüfungen zu verbessern.
Risikobewertungen von Zeitschriften
Argos bietet auch Zahlen für einzelne Zeitschriften an. Es ist nicht überraschend, dass Hindawi-Titel sowohl hinsichtlich der Anzahl als auch des Anteils der zurückgezogenen Arbeiten herausstechen, während andere Zeitschriften viele der von Argos als hochriskant identifizierten Arbeiten aufweisen (siehe „Zeitschriften im Risiko“). Nach Volumen führt die Mega-Zeitschrift Scientific Reports von Springer Nature mit 450 hochriskanten Artikeln und 231 Rückzügen, was zusammen etwa 0,3% ihrer Produktion ausmacht. Am 16. Oktober verfasste eine Gruppe von Prüfern einen offenen Brief an Springer Nature, in dem Bedenken über problematische Artikel in der Zeitschrift geäußert wurden.
In der Antwort sagt Chris Graf, Leiter der Forschungsintegrität bei Springer Nature, dass die Zeitschrift jede angesprochene Problematik untersucht. Er fügt hinzu, dass der Anteil der Inhalte, die hervorgehoben wurden, im Vergleich zu ihrer Größe relativ niedrig ist.
Zeitschriften mit besonders großen Diskrepanzen zwischen der Anzahl der zurückgezogenen Arbeiten und den potenziell verdächtigen Artikeln sind unter anderem die Nachhaltigkeitszeitschrift von MDPI (20 Rückzüge und 312 hochriskante Artikel; 0,4% der Produktion) und die Materials Today Proceedings von Elsevier (28 Rückzüge und 308 hochriskante Artikel; 0,8% der Produktion). Elseviers Biomedicine & Pharmacotherapy weist den höchsten Anteil an hochriskanten Artikeln auf — 1,61% seiner Produktion.
„Das Volumen an betrügerischen Materialien nimmt erheblich zu, unterstützt durch systematische Manipulationen wie ‚Papermills‘, die betrügerische Inhalte zu kommerziellen Zwecken produzieren, und KI-generierte Inhalte“, sagt ein Sprecher von Elsevier und fügt hinzu, dass als Reaktion darauf „wir unsere Investitionen in menschliche Aufsicht, Fachwissen und Technologie“ erhöhen.
Offene Daten
Die Entwickler von Argos betonen, dass die Website auf offenen Daten basiert, die von anderen gesammelt wurden. Zu den Quellen gehören die Website Retraction Watch, die eine Datenbank mit zurückgezogenen Artikeln führt — kostenlos über eine Vereinbarung mit der gemeinnützigen Organisation CrossRef — die die Gründe für einen Rückzug enthält, sodass Tools, die die Autorendaten überprüfen, sich auf Rückzüge konzentrieren können, die Fehlverhalten erwähnen. Die Analyse basiert auch auf Aufzeichnungen von Artikeln, die stark auf zurückgezogene Arbeiten verweisen, die von Guillaume Cabanac, einem Informatiker an der Universität Toulouse in Frankreich, zusammengestellt wurden.
Obwohl Argos auch Analysten verfolgt, die Netzwerke von Autoren mit einer Geschichte des Fehlverhaltens fokussieren, kennzeichnen andere Integritätsprüfungswerkzeuge auch Artikel anhand verdächtiger Inhalte, wie enge textliche Ähnlichkeiten mit gefälschten Arbeiten oder „gestörte Phrasen“, ein von Cabanac geprägter Begriff, wenn Autoren seltsame Wortwahl treffen, um zu vermeiden, dass Plagiaterkennungssysteme aktiviert werden.
„Beide Ansätze haben ihre Berechtigung, aber die Identifizierung von Netzwerken von Forschern, die sich an Fehlverhalten beteiligen, könnte wertvoller sein“, sagt James Butcher, ein ehemaliger Verleger von Nature-Zeitschriften und der Lancet, der jetzt die Beratungsgesellschaft Journalology in Liverpool, UK, leitet. „Das liegt daran, dass KI-unterstützte Schreibwerkzeuge verwendet werden könnten, um Betrüger dabei zu unterstützen, offensichtliche textliche Hinweise zu vermeiden“, ergänzt er. Butcher fügt hinzu, dass viele große Verlage eigene Integritätswerkzeuge entwickelt oder erworben haben, um verschiedene Warnsignale in Manuskripten zu prüfen.
Eines der kniffligsten Probleme für Integritätswerkzeuge, die hauptsächlich auf den Rückzugsaufzeichnungen von Autoren basieren, ist die korrekte Unterscheidung zwischen Autoren mit ähnlichen Namen — ein Problem, das Argos‘ Zahlen verzerren könnte. „Das Problem der Autorendiskriminierung ist das größte Problem, das die Branche hat“, sagt Adam Day, Gründer von Clear Skies.
De Boer, der zuvor bei Springer Nature arbeitete, sagt, dass jeder ein Konto erstellen kann, um Argos kostenlos zu nutzen, aber Scitility plant, eine Version des Tools an große Verlage und Institutionen zu verkaufen, die es direkt in ihre Manuskripte-Screening-Workflows integrieren könnten.
Butcher lobt die Transparenz des Argos-Teams. „Es muss mehr Sichtbarkeit für Zeitschriften und Verlage geben, die Abkürzungen nehmen und keine angemessene Sorgfalt bei den veröffentlichten und monetarisierten Arbeiten ausüben“, sagt er.
