Časopisi z visokim deležem sumljivih člankov, ki so jih označila startupa za znanstveno integriteto

Časopisi z visokim deležem sumljivih člankov, ki so jih označila startupa za znanstveno integriteto

Katere akademske založnike in revije so najbolj prizadele goljufive ali vprašljive raziskave – in kateri so naredili najmanj za čiščenje svojih portfeljev? Tehnološki start-up, ustanovljen za pomoč založnikom pri prepoznavanju potencialno problematičnih člankov, ima nekaj odgovorov in je svoje prve ugotovitve delil z Nature.

Spletno mesto za celovitost znanja Argos, ki ga je septembra predstavilo tehnološko podjetje Scitility s sedežem v Sparksu v Nevadi, dodeljuje ocene tveganja člankom na podlagi datumov objave avtorjev in tega, ali se članek močno sklicuje na raziskavo, ki je bila že umaknjena. Članek, razvrščen kot "visoko tveganje", ima lahko več avtorjev, katerih druge študije so bile umaknjene zaradi napačnega ravnanja. Visoka ocena ne dokazuje, da je izdelek nizke kakovosti, vendar nakazuje, da bi ga bilo vredno pregledati.

Argos je eno od vedno večjega števila orodij za preverjanje integritete raziskav, ki v člankih iščejo rdeče zastavice. Sem spada to Alarm v papirnici, ki ga je razvil Clear Skies, in Signals pri Research Signals, oba iz Londona. Ker razvijalci takšne programske opreme prodajajo svoja orodja za pregledovanje rokopisov založnikom, so na splošno previdni pri poimenovanju prizadetih revij. Vendar je Argos, ki ponuja brezplačne račune posameznikom in širši dostop za revizorje integritete in novinarje, prvi, ki omogoča javni vpogled.

»Želeli smo razviti tehnologijo, ki bi lahko zaznala skrite vzorce in v industrijo prinesla preglednost,« pravi Erik de Boer, soustanovitelj podjetja Scitility s sedežem v Roosendaalu na Nizozemskem.

Od začetka oktobra je Argos označil več kot 40.000 visoko tveganih in 180.000 srednje tveganih predmetov. Prav tako je indeksiral več kot 50.000 umaknjenih člankov.

Ocena tveganja založnikov

Argosova analiza kaže, da ima Hindawi, zdaj propadla podružnica londonskega založnika Wiley, največje število in največji delež že umaknjenih člankov (glejte "Ogroženi založniki"). To ni presenetljivo, ker Wiley ima umaknil več kot 10.000 člankov, ki jih je Hindawi objavil v zadnjih dveh letih, kot odgovor na pomisleke urednikov in recenzentov; to predstavlja več kot 4 % celotnega portfelja blagovne znamke v zadnjem desetletju. Ena od njenih revij, Evidence-based Complementary and Alternative Medicine, je umaknila 741 člankov, kar predstavlja več kot 7 % njene objave.

Argosove ocene tveganja označujejo več kot tisoč preostalih Hindawijevih člankov – dodatnih 0,65 % – kot še naprej »visoko tveganje«. To nakazuje, da čeprav je Wiley naredil veliko za čiščenje svojega portfelja, problem morda še ni popolnoma rešen. Založnik je za Nature povedal, da pozdravlja Argos in podobna orodja ter si prizadeva rešiti težave s Hindawijem.

Zdi se, da morajo drugi založniki opraviti veliko več preiskav, saj je število umikov majhno v primerjavi s številom člankov z visokim tveganjem, ki jih je označil Argos (založniki so morda že preiskali nekatere od teh člankov in se odločili, da ni treba ukrepati).

Amsterdamski založnik Elsevier ima približno 5.000 umikov, vendar več kot 11.400 visoko tveganih člankov, glede na Natureovo analizo Argosa - čeprav vsi ti skupaj predstavljajo le nekaj več kot 0,2 % založniškega produkta v zadnjem desetletju. Založnik MDPI je umaknil 311 člankov, vendar ima več kot 3000 visoko tveganih člankov – približno 0,24 % svoje proizvodnje. Springer Nature ima več kot 6000 umikov in več kot 6000 člankov z visokim tveganjem; približno 0,3 % svoje proizvodnje. (Novinarska ekipa Nature je neodvisna od založnika.)

V odgovorih na vprašanja so vsi založniški oddelki, opredeljeni kot največji ponudniki člankov z visokim tveganjem, povedali, da trdo delajo na integriteti raziskav, uporabljajo tehnologijo za pregledovanje predloženih člankov in da njihovi umiki dokazujejo njihovo zavezanost čiščenju problematične vsebine.

Springer Nature je poročal, da je junija predstavil dve orodji, ki sta od takrat pomagali odkriti na stotine ponarejenih rokopisov; več založnikov je zvišalo sodelovanje v enem skupni center integritete ki ponuja programsko opremo, ki lahko označi sumljive predmete. Jisuk Kang, vodja založništva pri MDPI v Baslu v Švici, pravi, da izdelki, kot je Argos, na široko kažejo morebitne težave, vendar ugotavlja, da založnik ne more preveriti točnosti ali zanesljivosti številk na spletnem mestu. Dodaja, da bodo imeli največji založniki in revije neizogibno večje število tveganih člankov, zato je delež produkcije boljša metrika.

Založniške znamke z največjim deležem visoko tveganih člankov v svojih portfeljih po podatkih Argosa so Impact Journals (0,82 %), Spandidos (0,77 %) in Ivyspring (0,67 %). Impact Journals pravi Nature, da čeprav so imele njihove revije v preteklosti težave, so zdaj izboljšale svojo integriteto. Založnik navaja, da se je v zadnjih dveh letih pojavil v reviji Oncotarget “0 % nepravilnosti” zaradi uvedbe orodij za preverjanje slik, kot je Image Twin, ki so na voljo šele v zadnjih letih. Portland Press, ki ima v svojem portfelju 0,41 % člankov z visokim tveganjem, pravi, da je sprejel pravilne ukrepe za izboljšanje strogih pregledov.

Revialne ocene tveganja

Argos ponuja tudi številke posameznih revij. Ni presenetljivo, da naslovi Hindawi izstopajo tako po številu kot deležu umaknjenih člankov, medtem ko imajo druge revije veliko člankov, ki jih je Argos označil kot visoko tvegane (glejte »Revije v nevarnosti«). Po obsegu vodi mega-revija Springer Nature Scientific Reports s 450 članki z visokim tveganjem in 231 umiki, kar skupaj predstavlja približno 0,3 % njene proizvodnje. 16. oktobra je skupina recenzentov napisala enega odprto pismo Springer Nature, ki je sprožil pomisleke glede problematičnih člankov v reviji.

V odgovor je Chris Graf, vodja raziskovalne integritete pri Springer Nature, dejal, da revija preiskuje vsako izpostavljeno vprašanje. Dodaja, da je delež izpostavljene vsebine v primerjavi z njeno velikostjo relativno majhen.

Časopisi s posebno velikimi razlikami med številom umaknjenih člankov in potencialno sumljivih člankov vključujejo MDPI's Sustainability Journal (20 umikov in 312 člankov z visokim tveganjem; 0,4 % produkcije) in Elsevier's Materials Today Proceedings (28 umikov in 308 člankov z visokim tveganjem; 0,8 % produkcije). Elsevier's Biomedicine & Pharmacotherapy ima največji delež izdelkov z visokim tveganjem – 1,61 % svoje proizvodnje.

"Obseg goljufivih materialov se občutno povečuje, podprt s sistematičnimi manipulacijami, kot so "papirnice", ki proizvajajo goljufivo vsebino za komercialne namene, in vsebine, ustvarjene z umetno inteligenco," pravi tiskovni predstavnik Elsevierja in dodaja, da v odgovor "povečujemo naše naložbe v človeški nadzor, strokovno znanje in tehnologijo."

Odprti podatki

Razvijalci Argosa poudarjajo, da stran temelji na odprtih podatkih, ki so jih zbrali drugi. Viri vključujejo spletno mesto Retraction Watch, ki vzdržuje zbirko podatkov o umaknjenih člankih – brezplačno prek pogodbe z neprofitno organizacijo CrossRef –, ki vključuje razloge za umik, tako da se lahko orodja, ki pregledujejo podatke o avtorju, osredotočijo na umike, ki omenjajo neprimerno ravnanje. Analiza temelji tudi na Zapisi člankov, ki se močno sklicujejo na umaknjena dela, ki jih je sestavil Guillaume Cabanac, računalniški znanstvenik z univerze v Toulousu v Franciji.

Čeprav Argos sledi tudi analitikom, ki Mreže avtorjev z zgodovino neprimernega ravnanja Focus, druga orodja za preverjanje integritete prav tako označujejo članke na podlagi sumljive vsebine, kot so tesne besedilne podobnosti s ponarejenimi deli ali "motene fraze", izraz, ki ga je skoval Cabanac, ko so avtorji čudno izbirati besede da se izognete aktiviranju sistemov za odkrivanje plagiatorstva.

"Oba pristopa imata zasluge, vendar je morda bolj dragoceno prepoznavanje mrež raziskovalcev, ki se nepravilno obnašajo," pravi James Butcher, nekdanji založnik Nature in Lancet, ki zdaj vodi svetovalno podjetje Journalology v Liverpoolu v Veliki Britaniji. "To je zato, ker bi lahko pisna orodja, podprta z umetno inteligenco, uporabili za pomoč goljufom, da bi se izognili očitnim besedilnim namigom," dodaja. Butcher dodaja, da je veliko večjih založnikov razvilo ali kupilo lastna orodja za preverjanje integritete za preverjanje različnih rdečih zastavic v rokopisih.

Ena najtežjih težav za orodja za celovitost, ki se zanašajo predvsem na zapise o umiku avtorjev, je pravilno razlikovanje med avtorji s podobnimi imeni – težava, ki bi lahko izkrivila Argosove številke. "Problem diskriminacije avtorjev je največji problem industrije," pravi Adam Day, ustanovitelj Clear Skies.

De Boer, ki je prej delal pri Springer Nature, pravi, da lahko vsakdo ustvari račun za brezplačno uporabo Argosa, vendar Scitility načrtuje prodajo različice orodja večjim založnikom in institucijam, ki bi ga lahko integrirale neposredno v svoje delovne tokove pregledovanja rokopisov.

Butcher hvali transparentnost ekipe Argos. »Revije in založniki, ki ubirajo bližnjice in ne izvajajo ustrezne pozornosti pri delu, ki ga objavljajo in monetizirajo, potrebujejo večjo prepoznavnost,« pravi.