Tidskrifter med hög andel misstänkta artiklar flaggade av nystartade företag med vetenskapsintegritet

Tidskrifter med hög andel misstänkta artiklar flaggade av nystartade företag med vetenskapsintegritet

Vilka akademiska förlag och tidskrifter har drabbats mest av bedräglig eller tvivelaktig forskning – och vilka har gjort minst för att rensa upp sina portföljer? En teknikstart-up som grundades för att hjälpa utgivare att identifiera potentiellt problematiska artiklar har några svar och har delat sina första resultat med Nature.

Webbplatsen för kunskapsintegritet Argos, som lanserades i september av Scitility, ett teknikföretag baserat i Sparks, Nevada, tilldelar riskklassificeringar till artiklar baserat på författarnas publiceringsdatum och om artikeln hänvisar kraftigt till forskning som redan har dragits tillbaka. En artikel som klassificeras som "hög risk" kan ha flera författare vars andra studier drogs tillbaka på grund av tjänstefel. Ett högt betyg bevisar inte att ett föremål är av låg kvalitet, men det indikerar att det kan vara värt att granska.

Argos är ett av ett växande antal verktyg för kontroll av forskningsintegritet som letar efter röda flaggor i artiklar. Dessa inkluderar detta Larm för pappersbruk, utvecklad av Clear Skies, och Signals by Research Signals, båda från London. Eftersom utvecklare av sådan programvara säljer sina manuskriptscreeningsverktyg till förlag är de i allmänhet försiktiga med att namnge berörda tidskrifter. Argos, som erbjuder gratis konton till individer och bredare åtkomst för integritetsrevisorer och journalister, är dock den första som ger offentlig insikt.

"Vi ville utveckla en teknik som kunde upptäcka dolda mönster och ge transparens till branschen", säger Erik de Boer, medgrundare av Scitility, baserad i Roosendaal, Nederländerna.

I början av oktober hade Argos flaggat för mer än 40 000 högriskobjekt och 180 000 medelriskobjekt. Den har också indexerat mer än 50 000 återkallade artiklar.

Riskbedömning av förlag

Argos analys visar att Hindawi, ett numera nedlagt dotterbolag till London-förlaget Wiley, har det högsta antalet och den högsta andelen artiklar som redan tagits tillbaka (se "Publishers at Risk"). Det är inte förvånande eftersom Wiley har har tagit tillbaka över 10 000 artiklar publicerade av Hindawi under de senaste två åren, som svar på oro som tagits upp av redaktörer och recensenter; detta representerar mer än 4 % av varumärkets totala portfölj under det senaste decenniet. En av dess tidskrifter, Evidence-based Complementary and Alternative Medicine, har dragit tillbaka 741 artiklar, vilket står för mer än 7 % av dess produktion.

Argos riskbedömningar markerar att mer än tusen kvarvarande hindawiartiklar – ytterligare 0,65 % – fortsätter att vara "hög risk". Det tyder på att även om Wiley har gjort mycket för att rensa upp sin portfölj, kanske problemet inte är helt löst ännu. Utgivaren sa till Nature att den välkomnar Argos och liknande verktyg och arbetar för att lösa problemen med Hindawi.

Andra utgivare verkar behöva göra mycket mer undersökningar, eftersom antalet återkallningar är litet i förhållande till antalet högriskartiklar som flaggats av Argos (utgivare kan redan ha undersökt några av dessa artiklar och beslutat att ingen åtgärd är nödvändig).

Det Amsterdam-baserade förlaget Elsevier har cirka 5 000 retraktioner men över 11 400 högriskartiklar, enligt Natures analys av Argos - även om alla dessa tillsammans står för drygt 0,2% av förlagets produktion under det senaste decenniet. Utgivaren MDPI har dragit tillbaka 311 artiklar men har mer än 3 000 högriskartiklar — cirka 0,24 % av dess produktion. Springer Nature har mer än 6 000 indragningar och mer än 6 000 högriskartiklar; cirka 0,3 % av sin produktion. (Natures nyhetsteam är oberoende av sin utgivare.)

Som svar på frågor säger alla förlagsavdelningar som identifierats som de största leverantörerna av högriskartiklar att de arbetar hårt med forskningsintegritet, använder teknik för att granska inskickade artiklar och att deras återkallande visar deras engagemang för att rensa upp problematiskt innehåll.

Springer Nature rapporterade att de lanserade två verktyg i juni som sedan dess har hjälpt till att upptäcka hundratals falska manuskriptinlämningar; flera förlag lyfte sitt samarbete i ett gemensamt integritetscentrum som erbjuder programvara som kan flagga misstänkta föremål. Jisuk Kang, en publiceringschef på MDPI i Basel, Schweiz, säger att produkter som Argos ger breda indikationer på potentiella problem, men noterar att utgivaren inte kan verifiera riktigheten eller tillförlitligheten av siffrorna på webbplatsen. Hon tillägger att de största förlagen och tidskrifterna oundvikligen kommer att ha ett högre antal högriskartiklar, så andel av produktionen är ett bättre mått.

De publiceringsvarumärken med högst andel högriskartiklar i sina portföljer, enligt Argos data, är Impact Journals (0,82 %), Spandidos (0,77 %) och Ivyspring (0,67 %). Impact Journals säger till Nature att även om dess tidskrifter har haft problem tidigare har de nu förbättrat sin integritet. Förlaget uppger att det har förekommit i tidskriften Oncotarget de senaste två åren "0 % oegentligheter" på grund av införandet av bildverifieringsverktyg som Image Twin, som bara blivit tillgängliga på senare år. Portland Press, som har 0,41 % högriskartiklar i sin portfölj, säger att de har vidtagit korrekta åtgärder för att förbättra rigorösa recensioner.

Tidningsriskbedömningar

Argos erbjuder även nummer för enskilda tidningar. Inte överraskande sticker hindawi-titlar ut i både antalet och andelen återkallade artiklar, medan andra tidskrifter har många av de artiklar som Argos identifierar som högrisk (se "Journals at Risk"). I volym leder Springer Natures megatidning Scientific Reports med 450 högriskartiklar och 231 retraktioner, vilket tillsammans representerar cirka 0,3 % av dess produktion. Den 16 oktober skrev en grupp recensenter en öppet brev till Springer Nature, som väckte oro över problematiska artiklar i tidskriften.

Som svar sa Chris Graf, chef för forskningsintegritet vid Springer Nature, att tidskriften undersöker varje fråga som tas upp. Han tillägger att andelen innehåll som lyfts fram är relativt låg jämfört med dess storlek.

Tidskrifter med särskilt stora skillnader mellan antalet återkallade artiklar och potentiellt misstänkta artiklar inkluderar MDPI:s Sustainability Journal (20 återkallningar och 312 högriskartiklar; 0,4 % av produktionen) och Elsevier's Materials Today Proceedings (28 återkallningar och 308 högriskartiklar av produktionen; 0,8 % av produktionen). Elsevier's Biomedicine & Pharmacotherapy har den högsta andelen högriskprodukter — 1,61 % av sin produktion.

"Mängden bedrägligt material ökar avsevärt, med stöd av systematiska manipulationer som "pappersbruk" som producerar bedrägligt innehåll för kommersiella ändamål och AI-genererat innehåll", säger en talesperson för Elsevier och tillägger att som svar "ökar vi våra investeringar i mänsklig tillsyn, expertis och teknologi."

Öppna data

Argos-utvecklare betonar att sajten är baserad på öppen data som samlats in av andra. Källor inkluderar webbplatsen Retraction Watch, som upprätthåller en databas med återkallade artiklar – gratis genom ett avtal med den ideella organisationen CrossRef – som inkluderar skälen till ett återkallande så att verktyg som granskar författardata kan fokusera på återkallningar som nämner oredlighet. Analysen bygger också på Register över artiklar som hänvisar starkt till tillbakadragna verk, som sammanställdes av Guillaume Cabanac, en datavetare vid universitetet i Toulouse i Frankrike.

Även om Argos också spårar analytiker som Nätverk av författare med en historia av tjänstefel Fokus, andra integritetskontrollverktyg flaggar också artiklar baserade på misstänkt innehåll, såsom nära textmässiga likheter med falska verk eller "störda fraser", en term som myntades av Cabanac när författare göra konstiga ordval för att undvika att aktivera plagiatdetekteringssystem.

"Båda tillvägagångssätten har fördelar, men att identifiera nätverk av forskare som ägnar sig åt oredlighet kan vara mer värdefullt", säger James Butcher, en före detta Nature and Lancet-utgivare som nu driver konsultföretaget Journalology i Liverpool, Storbritannien. "Detta beror på att AI-assisterade skrivverktyg kan användas för att hjälpa bedragare att undvika uppenbara textuella ledtrådar," tillägger han. Butcher tillägger att många stora förlag har utvecklat eller köpt sina egna integritetsverktyg för att leta efter olika röda flaggor i manuskript.

Ett av de svåraste problemen för integritetsverktyg som i första hand förlitar sig på återkallande av författare är att korrekt skilja mellan författare med liknande namn - ett problem som kan förvränga Argos siffror. "Problemet med diskriminering av författare är det största problemet som branschen har", säger Adam Day, grundare av Clear Skies.

De Boer, som tidigare arbetat på Springer Nature, säger att alla kan skapa ett konto för att använda Argos gratis, men Scitility planerar att sälja en version av verktyget till stora förlag och institutioner som kan integrera det direkt i deras arbetsflöden för manuskriptgranskning.

Butcher berömmer insynen hos Argos-teamet. "Det måste finnas mer synlighet för tidskrifter och förlag som tar genvägar och misslyckas med att utöva lämplig omsorg i det arbete de publicerar och tjänar pengar på", säger han.