Tijdschriften met een hoog percentage verdachte artikelen die zijn gemarkeerd door startups op het gebied van wetenschappelijke integriteit

Tijdschriften met een hoog percentage verdachte artikelen die zijn gemarkeerd door startups op het gebied van wetenschappelijke integriteit

Welke academische uitgevers en tijdschriften zijn het meest getroffen door frauduleus of twijfelachtig onderzoek – en welke hebben het minst gedaan om hun portefeuilles op te schonen? Een technologiestart-up die is opgericht om uitgevers te helpen potentieel problematische artikelen te identificeren, heeft enkele antwoorden en heeft haar eerste bevindingen met Nature gedeeld.

Kennisintegriteitswebsite Argos, gelanceerd in september door Scitility, een technologiebedrijf gevestigd in Sparks, Nevada, kent risicobeoordelingen toe aan artikelen op basis van de publicatiedata van de auteurs en of het artikel sterk verwijst naar onderzoek dat al is ingetrokken. Een artikel dat als ‘hoog risico’ is geclassificeerd, kan meerdere auteurs hebben waarvan de andere onderzoeken zijn ingetrokken vanwege wangedrag. Een hoge score bewijst niet dat een item van lage kwaliteit is, maar geeft wel aan dat het de moeite waard kan zijn om te beoordelen.

Argos is een van een groeiend aantal tools voor het controleren van de onderzoeksintegriteit die op zoek gaan naar waarschuwingssignalen in artikelen. Deze omvatten dit Alarm voor papierfabriek, ontwikkeld door Clear Skies, en Signals door Research Signals, beide uit Londen. Omdat ontwikkelaars van dergelijke software hun tools voor het screenen van manuscripten aan uitgevers verkopen, zijn ze over het algemeen voorzichtig met het noemen van de betrokken tijdschriften. Argos, dat gratis accounts aanbiedt aan individuen en bredere toegang voor integriteitsauditors en journalisten, is echter de eerste die publieke inzichten verschaft.

“We wilden een technologie ontwikkelen die verborgen patronen kon detecteren en transparantie in de sector kon brengen”, zegt Erik de Boer, medeoprichter van Scitility, gevestigd in Roosendaal, Nederland.

Begin oktober had Argos meer dan 40.000 items met een hoog risico en 180.000 items met een gemiddeld risico gemarkeerd. Het heeft ook meer dan 50.000 ingetrokken artikelen geïndexeerd.

Risicobeoordeling van uitgevers

Uit de analyse van Argos blijkt dat Hindawi, een inmiddels ter ziele gegane dochteronderneming van de Londense uitgever Wiley, het hoogste aantal en hoogste percentage artikelen al heeft ingetrokken (zie "Publishers at Risk"). Dat is niet verrassend, want Wiley heeft dat wel gedaan heeft meer dan 10.000 artikelen ingetrokken die de afgelopen twee jaar door Hindawi waren gepubliceerd, als reactie op de zorgen van redacteuren en recensenten; dit vertegenwoordigt meer dan 4% van de totale portfolio van het merk in de afgelopen tien jaar. Een van de tijdschriften, Evidence-based Complementary and Alternative Medicine, heeft 741 artikelen ingetrokken, goed voor meer dan 7% van de publicatie.

Volgens de risicobeoordelingen van Argos blijven meer dan duizend resterende Hindawi-artikelen – nog eens 0,65% – ‘hoog risico’. Dat suggereert dat Wiley weliswaar veel heeft gedaan om zijn portefeuille op te schonen, maar dat het probleem wellicht nog niet volledig is opgelost. De uitgever vertelde Nature dat het Argos en soortgelijke tools verwelkomt en eraan werkt om de problemen met Hindawi op te lossen.

Andere uitgevers lijken veel meer onderzoek te moeten doen, omdat het aantal intrekkingen klein is in verhouding tot het aantal door Argos gemarkeerde artikelen met een hoog risico (uitgevers hebben mogelijk al een aantal van deze artikelen onderzocht en besloten dat er geen actie nodig is).

De Amsterdamse uitgever Elsevier heeft ongeveer 5.000 intrekkingen, maar ruim 11.400 artikelen met een hoog risico, volgens Nature's analyse van Argos – hoewel deze samen goed zijn voor iets meer dan 0,2% van de output van de uitgever in de afgelopen tien jaar. Uitgever MDPI heeft 311 artikelen teruggetrokken, maar heeft meer dan 3.000 artikelen met een hoog risico – ongeveer 0,24% van de output. Springer Nature telt ruim 6.000 intrekkingen en ruim 6.000 risicovolle artikelen; ongeveer 0,3% van de productie. (Het nieuwsteam van Nature is onafhankelijk van de uitgever.)

In antwoorden op vragen zeggen alle uitgeversafdelingen die zijn geïdentificeerd als de grootste aanbieders van artikelen met een hoog risico dat ze hard werken aan de onderzoeksintegriteit, technologie gebruiken om ingediende artikelen te beoordelen en dat hun intrekkingen aantonen dat ze zich inzetten voor het opruimen van problematische inhoud.

Springer Nature meldde dat het in juni twee tools heeft gelanceerd die sindsdien hebben geholpen bij het opsporen van honderden valse manuscriptinzendingen; verschillende uitgeverijen hebben hun samenwerking in één verenigd gemeenschappelijk integriteitscentrum die software biedt die verdachte items kan markeren. Jisuk Kang, uitgeversmanager bij MDPI in Bazel, Zwitserland, zegt dat producten als Argos brede indicaties geven van potentiële problemen, maar merkt op dat de uitgever de nauwkeurigheid of betrouwbaarheid van de cijfers op de website niet kan verifiëren. Ze voegt eraan toe dat de grootste uitgevers en tijdschriften onvermijdelijk een groter aantal artikelen met een hoog risico zullen hebben, dus het productieaandeel is een betere maatstaf.

De uitgeversmerken met het hoogste percentage artikelen met een hoog risico in hun portefeuilles zijn volgens de gegevens van Argos Impact Journals (0,82%), Spandidos (0,77%) en Ivyspring (0,67%). Impact Journals vertelt Nature dat hoewel haar tijdschriften in het verleden problemen hebben gehad, ze nu hun integriteit hebben verbeterd. De uitgever stelt dat het de afgelopen twee jaar in het tijdschrift Oncotarget is verschenen “0% onregelmatigheden” door de introductie van beeldverificatietools zoals Image Twin, die pas de laatste jaren beschikbaar zijn gekomen. Portland Press, dat 0,41% artikelen met een hoog risico in zijn portefeuille heeft, zegt de juiste maatregelen te hebben genomen om strengere beoordelingen te verbeteren.

Risicobeoordelingen van tijdschriften

Argos biedt ook nummers voor individuele tijdschriften. Het is niet verrassend dat Hindawi-titels opvallen wat betreft zowel het aantal als het percentage ingetrokken artikelen, terwijl andere tijdschriften veel van de artikelen hebben die door Argos als hoog risico zijn aangemerkt (zie “Journals at Risk”). Qua volume is het megatijdschrift Scientific Reports van Springer Nature koploper met 450 artikelen met een hoog risico en 231 intrekkingen, die samen ongeveer 0,3% van de productie vertegenwoordigen. Op 16 oktober schreef een groep recensenten er een open brief aan Springer Nature, wat aanleiding gaf tot bezorgdheid over problematische artikelen in het tijdschrift.

In reactie hierop zei Chris Graf, hoofd onderzoeksintegriteit bij Springer Nature, dat het tijdschrift elke kwestie onderzoekt. Hij voegt eraan toe dat het aandeel van de gemarkeerde inhoud relatief laag is in vergelijking met de omvang ervan.

Tijdschriften met bijzonder grote verschillen tussen het aantal ingetrokken artikelen en potentieel verdachte artikelen zijn onder meer MDPI's Sustainability Journal (20 intrekkingen en 312 artikelen met een hoog risico; 0,4% van de productie) en Elsevier's Materials Today Proceedings (28 intrekkingen en 308 artikelen met een hoog risico; 0,8% van de productie). Elsevier's Biogeneeskunde en Farmacotherapie heeft het hoogste percentage items met een hoog risico: 1,61% van de productie.

“De hoeveelheid frauduleus materiaal neemt aanzienlijk toe, ondersteund door systematische manipulaties zoals ‘papierfabrieken’ die frauduleuze inhoud produceren voor commerciële doeleinden, en door AI gegenereerde inhoud”, zegt een woordvoerder van Elsevier, eraan toevoegend dat we in reactie hierop “onze investeringen in menselijk toezicht, expertise en technologie verhogen.”

Gegevens openen

De ontwikkelaars van Argos benadrukken dat de site gebaseerd is op open data verzameld door anderen. Bronnen zijn onder meer de website Retraction Watch, die een database bijhoudt van ingetrokken artikelen – gratis via een overeenkomst met de non-profitorganisatie CrossRef – waarin de redenen voor een intrekking zijn opgenomen, zodat tools die auteursgegevens beoordelen zich kunnen concentreren op intrekkingen waarin sprake is van wangedrag. De analyse is ook gebaseerd op Records van artikelen waarin veel wordt verwezen naar teruggetrokken werken, die zijn samengesteld door Guillaume Cabanac, een computerwetenschapper aan de Universiteit van Toulouse in Frankrijk.

Hoewel Argos ook analisten volgt die Netwerken van auteurs met een geschiedenis van wangedrag Focus: andere tools voor integriteitscontrole markeren ook artikelen die zijn gebaseerd op verdachte inhoud, zoals sterke tekstuele overeenkomsten met nepwerken of ‘verstoorde zinnen’, een term die door Cabanac is bedacht wanneer auteurs vreemde woordkeuze maken om te voorkomen dat plagiaatdetectiesystemen worden geactiveerd.

“Beide benaderingen hebben voordelen, maar het identificeren van netwerken van onderzoekers die zich schuldig maken aan wangedrag kan waardevoller zijn”, zegt James Butcher, een voormalige uitgever van Nature en Lancet die nu leiding geeft aan het adviesbureau Journalology in Liverpool, VK. “Dit komt omdat AI-ondersteunde schrijfhulpmiddelen kunnen worden gebruikt om fraudeurs te helpen duidelijke tekstuele aanwijzingen te vermijden”, voegt hij eraan toe. Butcher voegt eraan toe dat veel grote uitgevers hun eigen integriteitsinstrumenten hebben ontwikkeld of aangeschaft om te controleren op verschillende waarschuwingssignalen in manuscripten.

Een van de lastigste problemen voor integriteitstools die voornamelijk afhankelijk zijn van auteursintrekkingsrecords is het correct onderscheid maken tussen auteurs met vergelijkbare namen – een probleem dat de cijfers van Argos zou kunnen vertekenen. “Het probleem van auteursdiscriminatie is het grootste probleem dat de industrie kent”, zegt Adam Day, oprichter van Clear Skies.

De Boer, die eerder bij Springer Nature werkte, zegt dat iedereen een account kan aanmaken om Argos gratis te gebruiken, maar Scitility is van plan een versie van de tool te verkopen aan grote uitgevers en instellingen die deze rechtstreeks kunnen integreren in hun workflows voor het screenen van manuscripten.

Butcher prijst de transparantie van het Argos-team. “Er moet meer zichtbaarheid komen voor tijdschriften en uitgevers die de verkeerde weg bewandelen en niet de juiste zorgvuldigheid betrachten in het werk dat ze publiceren en waar ze inkomsten mee genereren”, zegt hij.