Časopisi s visokim udjelom sumnjivih članaka koje su označile novoosnovane tvrtke za znanstveni integritet

Časopisi s visokim udjelom sumnjivih članaka koje su označile novoosnovane tvrtke za znanstveni integritet

Koji su akademski izdavači i časopisi najviše pogođeni lažnim ili upitnim istraživanjem — a koji su učinili najmanje da očiste svoje portfelje? Tehnološki start-up osnovan kako bi izdavačima pomogao identificirati potencijalno problematične članke ima neke odgovore i svoja je početna otkrića podijelio s Natureom.

Web stranica Argos o integritetu znanja, koju je u rujnu pokrenuo Scitility, tehnološka tvrtka sa sjedištem u Sparksu, Nevada, dodjeljuje ocjene rizika člancima na temelju datuma objavljivanja autora i poziva li se u članku na istraživanje koje je već povučeno. Članak klasificiran kao "visoki rizik" može imati više autora čije su druge studije povučene zbog lošeg ponašanja. Visoka ocjena ne dokazuje da je stavka niske kvalitete, ali ukazuje da bi mogla biti vrijedna recenzije.

Argos je jedan od sve većeg broja alata za provjeru integriteta istraživanja koji traže crvene zastavice u člancima. Ovo uključuje ovo Alarm tvornice papira, razvijen od strane Clear Skies, a Signals od strane Research Signals, oba iz Londona. Budući da programeri takvog softvera prodaju svoje alate za pregled rukopisa izdavačima, općenito su oprezni u imenovanju zahvaćenih časopisa. Međutim, Argos, koji nudi besplatne račune pojedincima i širi pristup revizorima integriteta i novinarima, prvi je omogućio javni uvid.

“Htjeli smo razviti tehnologiju koja bi mogla otkriti skrivene obrasce i donijeti transparentnost u industriju,” kaže Erik de Boer, suosnivač Scitilitija, sa sjedištem u Roosendaalu, Nizozemska.

Do početka listopada Argos je označio više od 40.000 visokorizičnih i 180.000 srednje rizičnih artikala. Također je indeksirao više od 50.000 povučenih članaka.

Procjena rizika nakladnika

Argosova analiza pokazuje da Hindawi, sada nepostojeća podružnica londonskog izdavača Wiley, ima najveći broj i najveći udio već povučenih članaka (vidi "Izdavači u opasnosti"). To nije iznenađujuće jer Wiley ima povukao više od 10 000 članaka koje je objavio Hindawi u posljednje dvije godine, kao odgovor na zabrinutost urednika i recenzenata; to predstavlja više od 4% ukupnog portfelja marke u posljednjem desetljeću. Jedan od njegovih časopisa, Evidence-based Complementary and Alternative Medicine, povukao je 741 članak, što čini više od 7% njegove objave.

Argosove procjene rizika označavaju više od tisuću preostalih Hindawi članaka - još 0,65% - kao i dalje "visokog rizika". To sugerira da iako je Wiley učinio mnogo da očisti svoj portfelj, problem možda još nije u potpunosti riješen. Izdavač je za Nature rekao da pozdravlja Argos i slične alate te da radi na rješavanju problema s Hindawijem.

Čini se da drugi izdavači moraju provesti puno više istrage, budući da je broj povlačenja mali u odnosu na broj visokorizičnih članaka koje je Argos označio (izdavači su možda već istražili neke od tih članaka i odlučili da nije potrebno ništa poduzimati).

Izdavač Elsevier sa sjedištem u Amsterdamu ima oko 5000 povlačenja, ali više od 11400 visokorizičnih članaka, prema Natureovoj analizi Argosa — iako svi oni zajedno čine nešto više od 0,2% izdavačeve proizvodnje u posljednjem desetljeću. Izdavač MDPI povukao je 311 članaka, ali ima više od 3000 visokorizičnih članaka — oko 0,24% svoje proizvodnje. Springer Nature ima više od 6000 povlačenja i više od 6000 visokorizičnih članaka; oko 0,3% svoje proizvodnje. (Natureov tim za vijesti neovisan je o svom izdavaču.)

U odgovorima na upite, svi izdavački odjeli identificirani kao najveći pružatelji visokorizičnih članaka kažu da naporno rade na integritetu istraživanja, koriste tehnologiju za pregled dostavljenih članaka i da njihova povlačenja pokazuju svoju predanost čišćenju problematičnog sadržaja.

Springer Nature je izvijestio da je u lipnju lansirao dva alata koji su od tada pomogli u otkrivanju stotina lažnih rukopisa; nekoliko je izdavača podiglo svoju suradnju u jednom zajednički centar integriteta koji nudi softver koji može označiti sumnjive stavke. Jisuk Kang, voditelj izdavaštva u MDPI-ju u Baselu u Švicarskoj, kaže da proizvodi poput Argosa daju široke indikacije potencijalnih problema, ali napominje da izdavač ne može provjeriti točnost ili pouzdanost brojeva na web stranici. Dodaje da će najveći izdavači i časopisi neizbježno imati veći broj visokorizičnih članaka, pa je udio produkcije bolja metrika.

Izdavački brendovi s najvećim udjelom visokorizičnih članaka u svojim portfeljima, prema podacima Argosa, su Impact Journals (0,82%), Spandidos (0,77%) i Ivyspring (0,67%). Impact Journals kaže za Nature da su, iako su njihovi časopisi u prošlosti imali problema, sada poboljšali svoj integritet. Izdavač navodi da se u posljednje dvije godine pojavio u časopisu Oncotarget “0% nepravilnosti” zbog uvođenja alata za provjeru slike kao što je Image Twin, koji su postali dostupni tek posljednjih godina. Portland Press, koji u svom portfelju ima 0,41% visokorizičnih članaka, kaže da je poduzeo ispravne mjere za poboljšanje rigoroznih pregleda.

Procjene rizika časopisa

Argos također nudi brojeve za pojedinačne časopise. Nije iznenađujuće da se Hindawi naslovi ističu i brojem i udjelom povučenih radova, dok drugi časopisi imaju mnoge radove koje je Argos identificirao kao visokorizične (vidi “Časopisi u opasnosti”). Po obujmu, Springer Nature mega-časopis Scientific Reports vodi s 450 visokorizičnih članaka i 231 povlačenjem, što zajedno predstavlja oko 0,3% njegovog rezultata. 16. listopada skupina recenzenata napisala je jedan otvoreno pismo Springer Nature, što je izazvalo zabrinutost zbog problematičnih članaka u časopisu.

Kao odgovor, Chris Graf, voditelj istraživačkog integriteta u Springer Natureu, rekao je da časopis istražuje svako pokrenuto pitanje. Dodaje da je udio istaknutog sadržaja relativno nizak u odnosu na njegovu veličinu.

Časopisi s posebno velikim razlikama između broja povučenih radova i potencijalno sumnjivih članaka uključuju MDPI-jev Sustainability Journal (20 povlačenja i 312 visokorizičnih članaka; 0,4% produkcije) i Elsevierov Materials Today Proceedings (28 povlačenja i 308 visokorizičnih članaka; 0,8% produkcije). Elsevier's Biomedicine & Pharmacotherapy ima najveći udio visokorizičnih artikala — 1,61% svoje proizvodnje.

"Količina lažnih materijala značajno raste, podržana sustavnim manipulacijama kao što su 'papirnice' koje proizvode lažni sadržaj u komercijalne svrhe i sadržaj generiran umjetnom inteligencijom", kaže glasnogovornik Elseviera, dodajući da kao odgovor "povećavamo naša ulaganja u ljudski nadzor, stručnost i tehnologiju."

Otvoreni podaci

Programeri Argosa naglašavaju da se stranica temelji na otvorenim podacima koje su prikupili drugi. Izvori uključuju web stranicu Retraction Watch, koja održava bazu podataka povučenih članaka – besplatno putem ugovora s neprofitnom organizacijom CrossRef – koja uključuje razloge za povlačenje tako da se alati koji pregledavaju podatke autora mogu usredotočiti na povlačenja u kojima se spominje nedolično ponašanje. Analiza se također temelji na Evidencija članaka koji u velikoj mjeri spominju povučena djela, koje je sastavio Guillaume Cabanac, računalni znanstvenik sa Sveučilišta u Toulouseu u Francuskoj.

Iako Argos prati i analitičare koji Mreže autora s poviješću nedoličnog ponašanja Fokus, drugi alati za provjeru integriteta također označavaju članke na temelju sumnjivog sadržaja, kao što su bliske tekstualne sličnosti s lažnim djelima ili "poremećene fraze", izraz koji je skovao Cabanac kada su autori napraviti čudan izbor riječi kako bi se izbjeglo aktiviranje sustava za otkrivanje plagijata.

"Oba pristupa imaju zasluge, ali bi identificiranje mreža istraživača koji se nedolično ponašaju moglo biti vrednije", kaže James Butcher, bivši izdavač Naturea i Lanceta koji sada vodi konzultantsku tvrtku Journalology u Liverpoolu, UK. "To je zato što bi se alati za pisanje potpomognuti umjetnom inteligencijom mogli koristiti da pomognu prevarantima da izbjegnu očite tekstualne tragove", dodaje. Butcher dodaje da su mnogi veliki izdavači razvili ili kupili vlastite alate za provjeru integriteta za provjeru raznih crvenih zastavica u rukopisima.

Jedan od najzahtjevnijih problema za alate za integritet koji se prvenstveno oslanjaju na zapise o povlačenju autora je ispravno razlikovanje autora sa sličnim imenima - problem koji bi mogao iskriviti Argosove brojeve. “Problem diskriminacije autora najveći je problem industrije”, kaže Adam Day, osnivač Clear Skiesa.

De Boer, koji je prethodno radio u Springer Natureu, kaže da svatko može kreirati račun za besplatno korištenje Argosa, ali Scitility planira prodati verziju alata velikim izdavačima i institucijama koji bi ga mogli izravno integrirati u svoje radne tijekove pregleda rukopisa.

Mesar hvali transparentnost Argos tima. "Mora postojati veća vidljivost za časopise i izdavače koji idu prečacima i ne uspijevaju posvetiti odgovarajuću pozornost radu koji objavljuju i unovčavaju", kaže.