Tidsskrifter med en høj andel af mistænkelige artikler markeret af videnskabsintegritet-startups

Tidsskrifter med en høj andel af mistænkelige artikler markeret af videnskabsintegritet-startups

Hvilke akademiske forlag og tidsskrifter er blevet mest berørt af svigagtig eller tvivlsom forskning - og hvilke har gjort mindst for at rydde op i deres porteføljer? En teknologistart-up, der blev grundlagt for at hjælpe udgivere med at identificere potentielt problematiske artikler, har nogle svar og har delt sine første resultater med Nature.

Webstedet for videnintegritet Argos, lanceret i september af Scitility, et teknologifirma baseret i Sparks, Nevada, tildeler risikovurderinger til artikler baseret på forfatternes udgivelsesdatoer, og om artiklen i høj grad refererer til forskning, der allerede er trukket tilbage. En artikel klassificeret som "høj risiko" kan have flere forfattere, hvis andre undersøgelser blev trukket tilbage på grund af uredelighed. En høj score beviser ikke, at en vare er af lav kvalitet, men det indikerer, at den kan være værd at anmelde.

Argos er et af et voksende antal værktøjer til kontrol af forskningsintegritet, der leder efter røde flag i artikler. Disse omfatter dette Papirmøllealarm, udviklet af Clear Skies, og Signals af Research Signals, begge fra London. Fordi udviklere af sådan software sælger deres manuskriptscreeningsværktøjer til udgivere, er de generelt forsigtige med at navngive berørte tidsskrifter. Argos, som tilbyder gratis konti til enkeltpersoner og bredere adgang for integritetsrevisorer og journalister, er dog den første til at give offentlig indsigt.

"Vi ønskede at udvikle en teknologi, der kunne opdage skjulte mønstre og bringe gennemsigtighed til industrien," siger Erik de Boer, medstifter af Scitility, baseret i Roosendaal, Holland.

I begyndelsen af ​​oktober havde Argos markeret mere end 40.000 højrisiko- og 180.000 mellem-risiko genstande. Den har også indekseret mere end 50.000 tilbagetrukne artikler.

Risikovurdering af forlag

Argos' analyse viser, at Hindawi, et nu nedlagt datterselskab af London-udgiveren Wiley, har det højeste antal og den højeste andel af artikler, der allerede er trukket tilbage (se "Udgivere i fare"). Det er ikke overraskende, fordi Wiley har trukket over 10.000 artikler udgivet af Hindawi tilbage i de sidste to år, som svar på bekymringer rejst af redaktører og anmeldere; dette repræsenterer mere end 4% af brandets samlede portefølje i løbet af det sidste årti. Et af dets tidsskrifter, Evidence-based Complementary and Alternative Medicine, har trukket 741 artikler tilbage, hvilket tegner sig for mere end 7% af dets output.

Argos risikovurderinger markerer, at mere end tusind tilbageværende hindawi-artikler - yderligere 0,65% - fortsat er "højrisiko". Det tyder på, at selvom Wiley har gjort meget for at rydde op i sin portefølje, er problemet muligvis ikke helt løst endnu. Udgiveren fortalte Nature, at den hilser Argos og lignende værktøjer velkommen og arbejder på at løse problemerne med Hindawi.

Andre udgivere ser ud til at have behov for at foretage en meget mere undersøgelse, da antallet af tilbagetrækninger er lille i forhold til antallet af højrisikoartikler markeret af Argos (udgivere har muligvis allerede undersøgt nogle af disse artikler og besluttet, at ingen handling er nødvendig).

Det Amsterdam-baserede udgiver Elsevier har omkring 5.000 tilbagetrækninger, men over 11.400 højrisikoartikler, ifølge Natures analyse af Argos - selvom alle disse tilsammen tegner sig for lidt over 0,2% af udgiverens output i løbet af det sidste årti. Udgiveren MDPI har trukket 311 artikler tilbage, men har mere end 3.000 højrisikoartikler - omkring 0,24% af dens produktion. Springer Nature har mere end 6.000 tilbagetrækninger og mere end 6.000 højrisikoartikler; omkring 0,3% af sin produktion. (Natures nyhedsteam er uafhængigt af dets udgiver.)

Som svar på forespørgsler siger alle udgivelsesafdelinger, der er identificeret som de største udbydere af højrisikoartikler, at de arbejder hårdt på forskningsintegritet, bruger teknologi til at gennemgå indsendte artikler, og at deres tilbagetrækninger viser deres engagement i at rydde op i problematisk indhold.

Springer Nature rapporterede, at det lancerede to værktøjer i juni, som siden har hjulpet med at opdage hundredvis af falske manuskriptindsendelser; flere forlag hævede deres samarbejde i ét fælles integritetscenter som tilbyder software, der kan markere mistænkelige genstande. Jisuk Kang, en forlagschef hos MDPI i Basel, Schweiz, siger, at produkter som Argos giver brede indikationer af potentielle problemer, men bemærker, at udgiveren ikke kan verificere nøjagtigheden eller pålideligheden af ​​tallene på webstedet. Hun tilføjer, at de største forlag og magasiner uundgåeligt vil have et højere antal højrisikoartikler, så andel af produktionen er en bedre metrik.

De forlagsmærker med den højeste andel af højrisikoartikler i deres porteføljer, ifølge Argos data, er Impact Journals (0,82 %), Spandidos (0,77 %) og Ivyspring (0,67 %). Impact Journals fortæller til Nature, at selvom dets tidsskrifter tidligere har haft problemer, har de nu forbedret deres integritet. Forlaget oplyser, at det er udkommet i tidsskriftet Oncotarget i de sidste to år "0 % uregelmæssigheder" på grund af introduktionen af ​​billedverifikationsværktøjer såsom Image Twin, som først er blevet tilgængelige i de senere år. Portland Press, som har 0,41 % højrisikoartikler i sin portefølje, siger, at det har truffet korrekte foranstaltninger for at forbedre strenge anmeldelser.

Magasin risikovurderinger

Argos tilbyder også numre til individuelle magasiner. Ikke overraskende skiller hindawi-titler sig ud i både antallet og andelen af ​​artikler, der er trukket tilbage, mens andre tidsskrifter har mange af de artikler, som Argos har identificeret som højrisiko (se "Journals at Risk"). I volumen fører Springer Natures megatidsskrift Scientific Reports med 450 højrisikoartikler og 231 tilbagetrækninger, som tilsammen repræsenterer omkring 0,3 % af dets output. Den 16. oktober skrev en gruppe anmeldere en åbent brev til Springer Nature, hvilket gav anledning til bekymring over problematiske artikler i tidsskriftet.

Som svar sagde Chris Graf, leder af forskningsintegritet hos Springer Nature, at tidsskriftet undersøger alle spørgsmål, der rejses. Han tilføjer, at andelen af ​​fremhævet indhold er relativt lav i forhold til dets størrelse.

Tidsskrifter med særligt store uoverensstemmelser mellem antallet af tilbagetrukne artikler og potentielt mistænkelige artikler omfatter MDPI's Sustainability Journal (20 tilbagetrækninger og 312 højrisikoartikler; 0,4% af produktionen) og Elsevier's Materials Today Proceedings (28 tilbagetrækninger og 308 højrisikoartikler af produktionen; 0.8%). Elsevier's Biomedicine & Pharmacotherapy har den højeste andel af højrisikoprodukter — 1,61% af sin produktion.

"Mængden af ​​svigagtige materialer stiger markant, understøttet af systematiske manipulationer såsom 'papirmøller', der producerer svigagtigt indhold til kommercielle formål, og AI-genereret indhold," siger en talsmand for Elsevier og tilføjer, at "som svar "øger vi vores investering i menneskeligt tilsyn, ekspertise og teknologi."

Åbn data

Argos-udviklere understreger, at siden er baseret på åbne data indsamlet af andre. Kilder omfatter webstedet Retraction Watch, som vedligeholder en database med tilbagetrukne artikler - gratis gennem en aftale med nonprofitorganisationen CrossRef - der inkluderer årsagerne til en tilbagetrækning, så værktøjer, der gennemgår forfatterdata, kan fokusere på tilbagetrækninger, der nævner uredelighed. Analysen er også baseret på Registreringer af artikler, der i høj grad henviser til tilbagetrukne værker, som blev udarbejdet af Guillaume Cabanac, en datalog ved universitetet i Toulouse i Frankrig.

Selvom Argos også sporer analytikere, der Netværk af forfattere med en historie med uredelighed Fokus, andre integritetskontrolværktøjer markerer også artikler baseret på mistænkeligt indhold, såsom tætte tekstlige ligheder med falske værker eller "forstyrrede sætninger", et udtryk, som blev opfundet af Cabanac, når forfattere træffe mærkelige ordvalg for at undgå at aktivere plagiatregistreringssystemer.

"Begge tilgange har fordele, men at identificere netværk af forskere, der beskæftiger sig med uredelighed, kan være mere værdifuldt," siger James Butcher, en tidligere Nature and Lancet-udgiver, som nu driver konsulentfirmaet Journalology i Liverpool, Storbritannien. "Dette skyldes, at AI-assisterede skriveværktøjer kunne bruges til at hjælpe svindlere med at undgå åbenlyse tekstmæssige spor," tilføjer han. Butcher tilføjer, at mange store udgivere har udviklet eller købt deres egne integritetsværktøjer for at tjekke for forskellige røde flag i manuskripter.

Et af de vanskeligste problemer for integritetsværktøjer, der primært er afhængige af forfattertilbagetrækningsposter, er at skelne korrekt mellem forfattere med lignende navne - et problem, der kan skævvride Argos' tal. "Problemet med forfatterdiskrimination er det største problem, industrien har," siger Adam Day, grundlægger af Clear Skies.

De Boer, som tidligere har arbejdet hos Springer Nature, siger, at alle kan oprette en konto for at bruge Argos gratis, men Scitility planlægger at sælge en version af værktøjet til store udgivere og institutioner, der kunne integrere det direkte i deres manuskriptscreeningsworkflows.

Butcher roser Argos-holdets gennemsigtighed. "Der skal være mere synlighed for magasiner og udgivere, der tager genveje og undlader at udvise passende omhu i det arbejde, de udgiver og tjener penge på," siger han.