Tidsskrifter med høy andel mistenkelige artikler flagget av oppstart av vitenskapelig integritet

Tidsskrifter med høy andel mistenkelige artikler flagget av oppstart av vitenskapelig integritet

Hvilke akademiske utgivere og tidsskrifter har blitt mest berørt av uredelig eller tvilsom forskning - og hvilke har gjort minst for å rydde opp i porteføljene deres? Et teknologioppstart grunnlagt for å hjelpe utgivere med å identifisere potensielt problematiske artikler har noen svar og har delt sine første funn med Nature.

Kunnskapsintegritetsnettstedet Argos, lansert i september av Scitility, et teknologiselskap basert i Sparks, Nevada, tildeler risikovurderinger til artikler basert på forfatternes publiseringsdatoer og om artikkelen i stor grad refererer til forskning som allerede er trukket tilbake. En artikkel klassifisert som "høy risiko" kan ha flere forfattere hvis andre studier ble trukket tilbake på grunn av feil oppførsel. En høy poengsum beviser ikke at en vare er av lav kvalitet, men den indikerer at den kan være verdt å vurdere.

Argos er et av et økende antall forskningsintegritetskontrollverktøy som ser etter røde flagg i artikler. Disse inkluderer dette Alarm for papirfabrikk, utviklet av Clear Skies, og Signals by Research Signals, begge fra London. Fordi utviklere av slik programvare selger sine manuskriptscreeningsverktøy til utgivere, er de generelt forsiktige med å navngi berørte tidsskrifter. Argos, som tilbyr gratis kontoer til enkeltpersoner og bredere tilgang for integritetsrevisorer og journalister, er imidlertid den første som gir offentlig innsikt.

"Vi ønsket å utvikle en teknologi som kunne oppdage skjulte mønstre og bringe åpenhet til industrien," sier Erik de Boer, medgründer av Scitility, basert i Roosendaal, Nederland.

Fra begynnelsen av oktober hadde Argos flagget mer enn 40 000 høyrisiko- og 180 000 middels-risiko elementer. Den har også indeksert mer enn 50 000 tilbaketrukket artikler.

Risikovurdering av forlag

Argos' analyse viser at Hindawi, et nå nedlagt datterselskap av London-utgiveren Wiley, har det høyeste antallet og høyeste andelen av artikler som allerede er trukket tilbake (se «Publishers at risk»). Det er ikke overraskende fordi Wiley har trukket tilbake over 10 000 artikler publisert av Hindawi de siste to årene, som svar på bekymringer reist av redaktører og anmeldere; dette representerer mer enn 4 % av merkevarens totale portefølje det siste tiåret. Et av tidsskriftene, Evidence-based Complementary and Alternative Medicine, har trukket tilbake 741 artikler, som står for mer enn 7 % av produksjonen.

Argos risikovurderinger markerer at mer enn tusen gjenværende hindawiartikler – ytterligere 0,65 % – fortsetter å være "høyrisiko". Det tyder på at selv om Wiley har gjort mye for å rydde opp i porteføljen sin, er problemet kanskje ikke helt løst ennå. Utgiveren fortalte Nature at den ønsker Argos og lignende verktøy velkommen og jobber med å løse problemene med Hindawi.

Andre utgivere ser ut til å trenge mye mer etterforskning, siden antallet tilbaketrekkinger er lite i forhold til antallet høyrisikoartikler flagget av Argos (utgivere har kanskje allerede undersøkt noen av disse artiklene og besluttet at ingen handling er nødvendig).

Den Amsterdam-baserte utgiveren Elsevier har omtrent 5000 tilbaketrekkinger, men over 11 400 høyrisikoartikler, ifølge Natures analyse av Argos - selv om alle disse til sammen utgjør litt over 0,2% av utgiverens produksjon det siste tiåret. Utgiver MDPI har trukket tilbake 311 artikler, men har mer enn 3000 høyrisikoartikler - omtrent 0,24 % av produksjonen. Springer Nature har mer enn 6000 tilbaketrekkinger og mer enn 6000 høyrisikoartikler; 0,3 % av produksjonen. (Natures nyhetsteam er uavhengig av utgiveren.)

Som svar på forespørsler sier alle publiseringsavdelinger identifisert som de største leverandørene av høyrisikoartikler at de jobber hardt med forskningsintegritet, bruker teknologi for å vurdere innsendte artikler, og at tilbaketrekkingen deres viser deres forpliktelse til å rydde opp i problematisk innhold.

Springer Nature rapporterte at de lanserte to verktøy i juni som siden har hjulpet med å oppdage hundrevis av falske manuskriptinnleveringer; flere forlag løftet samarbeidet i ett felles integritetssenter som tilbyr programvare som kan flagge mistenkelige gjenstander. Jisuk Kang, en publiseringssjef ved MDPI i Basel, Sveits, sier at produkter som Argos gir brede indikasjoner på potensielle problemer, men bemerker at utgiveren ikke kan verifisere nøyaktigheten eller påliteligheten til tallene på nettstedet. Hun legger til at de største forlagene og magasinene uunngåelig vil ha et høyere antall høyrisikoartikler, så andel av produksjonen er en bedre beregning.

Publiseringsmerkene med høyest andel høyrisikoartikler i porteføljen, ifølge Argos-data, er Impact Journals (0,82 %), Spandidos (0,77 %) og Ivyspring (0,67 %). Impact Journals sier til Nature at selv om tidsskriftene har hatt problemer tidligere, har de nå forbedret sin integritet. Forlaget opplyser at det har dukket opp i tidsskriftet Oncotarget de siste to årene «0 % uregelmessigheter» på grunn av introduksjonen av bildeverifiseringsverktøy som Image Twin, som først har blitt tilgjengelig de siste årene. Portland Press, som har 0,41 % høyrisikoartikler i sin portefølje, sier at de har tatt riktige tiltak for å forbedre strenge anmeldelser.

Magasinrisikovurderinger

Argos tilbyr også tall for individuelle blader. Ikke overraskende skiller Hindawi-titler seg ut i både antall og andel av artikler som er trukket tilbake, mens andre tidsskrifter har mange av artikler identifisert av Argos som høyrisiko (se "Journals at Risk"). Etter volum leder Springer Natures megatidsskrift Scientific Reports med 450 høyrisikoartikler og 231 tilbaketrekkinger, som til sammen representerer omtrent 0,3 % av produksjonen. 16. oktober skrev en gruppe anmeldere en åpent brev til Springer Nature, som reiste bekymring for problematiske artikler i tidsskriftet.

Som svar sa Chris Graf, leder for forskningsintegritet ved Springer Nature, at tidsskriftet undersøker hvert problem som tas opp. Han legger til at andelen innhold som fremheves er relativt lav sammenlignet med størrelsen.

Tidsskrifter med spesielt store avvik mellom antall tilbaketrukket artikler og potensielt mistenkelige artikler inkluderer MDPIs Sustainability Journal (20 tilbaketrekkinger og 312 høyrisikoartikler; 0,4% av produksjonen) og Elsevier's Materials Today Proceedings (28 tilbaketrekkinger og 308 høyrisikoartikler av produksjonen; 08%). Elsevier's Biomedicine & Pharmacotherapy har den høyeste andelen høyrisikoprodukter - 1,61% av produksjonen.

"Mængden av uredelig materiale øker betydelig, støttet av systematiske manipulasjoner som "papirfabrikker" som produserer uredelig innhold for kommersielle formål, og AI-generert innhold," sier en talsperson for Elsevier, og legger til at som svar "øker vi investeringen vår i menneskelig tilsyn, ekspertise og teknologi."

Åpne data

Argos-utviklere understreker at siden er basert på åpne data som er samlet inn av andre. Kilder inkluderer nettstedet Retraction Watch, som vedlikeholder en database med tilbaketrukne artikler – gratis gjennom en avtale med den ideelle organisasjonen CrossRef – som inkluderer årsakene til en tilbaketrekking, slik at verktøy som gjennomgår forfatterdata kan fokusere på tilbaketrekninger som nevner feil oppførsel. Analysen er også basert på Registreringer av artikler som i stor grad refererer til tilbaketrukket verk, som ble satt sammen av Guillaume Cabanac, en dataforsker ved universitetet i Toulouse i Frankrike.

Selv om Argos også sporer analytikere som Nettverk av forfattere med en historie med uredelig oppførsel Fokus, andre integritetskontrollverktøy flagger også artikler basert på mistenkelig innhold, for eksempel nære tekstlige likheter med falske verk eller «forstyrrede fraser», et begrep laget av Cabanac når forfattere ta merkelige ordvalg for å unngå å aktivere plagiatdeteksjonssystemer.

"Begge tilnærminger har fordeler, men å identifisere nettverk av forskere som engasjerer seg i uredelig oppførsel kan være mer verdifullt," sier James Butcher, en tidligere Nature and Lancet-utgiver som nå driver konsulentselskapet Journalology i Liverpool, Storbritannia. "Dette er fordi AI-assisterte skriveverktøy kan brukes til å hjelpe svindlere med å unngå åpenbare tekstlige ledetråder," legger han til. Butcher legger til at mange store utgivere har utviklet eller kjøpt sine egne integritetsverktøy for å se etter ulike røde flagg i manuskripter.

Et av de vanskeligste problemene for integritetsverktøy som hovedsakelig er avhengige av tilbaketrekking av forfattere, er å skille riktig mellom forfattere med lignende navn - et problem som kan skjeve Argos tall. "Problemet med forfatterdiskriminering er det største problemet bransjen har," sier Adam Day, grunnlegger av Clear Skies.

De Boer, som tidligere jobbet i Springer Nature, sier at hvem som helst kan opprette en konto for å bruke Argos gratis, men Scitility planlegger å selge en versjon av verktøyet til store utgivere og institusjoner som kan integrere det direkte i arbeidsflytene for manuskriptscreening.

Butcher berømmer åpenheten til Argos-teamet. "Det må være mer synlighet for magasiner og utgivere som tar snarveier og ikke viser hensiktsmessig forsiktighet i arbeidet de publiserer og tjener penger på," sier han.