Riviste con un'alta percentuale di articoli sospetti segnalati da startup di integrità scientifica

Riviste con un'alta percentuale di articoli sospetti segnalati da startup di integrità scientifica

Quali editori e riviste accademiche sono stati maggiormente colpiti da ricerche fraudolente o discutibili e quali hanno fatto meno per ripulire i propri portafogli? Una start-up tecnologica fondata per aiutare gli editori a identificare articoli potenzialmente problematici ha alcune risposte e ha condiviso i suoi risultati iniziali con Nature.

Il sito web sull'integrità della conoscenza Argos, lanciato a settembre da Scitility, una società tecnologica con sede a Sparks, Nevada, assegna valutazioni di rischio agli articoli in base alle date di pubblicazione degli autori e se l'articolo fa pesantemente riferimento a ricerche che sono già state ritirate. Un articolo classificato come “ad alto rischio” può avere più autori i cui altri studi sono stati ritirati a causa di cattiva condotta. Un punteggio elevato non dimostra che un articolo sia di bassa qualità, ma indica che potrebbe valere la pena esaminarlo.

Argos fa parte di un numero crescente di strumenti di controllo dell'integrità della ricerca che cercano segnali di allarme negli articoli. Questi includono questo Allarme cartiera, sviluppato da Clear Skies, e Signals da Research Signals, entrambi di Londra. Poiché gli sviluppatori di tali software vendono i loro strumenti di screening dei manoscritti agli editori, sono generalmente cauti nel nominare le riviste interessate. Tuttavia, Argos, che offre account gratuiti ai singoli individui e un accesso più ampio ai revisori dei conti e ai giornalisti, è il primo a fornire informazioni pubbliche.

"Volevamo sviluppare una tecnologia in grado di rilevare modelli nascosti e portare trasparenza nel settore", afferma Erik de Boer, cofondatore di Scitility, con sede a Roosendaal, Paesi Bassi.

All’inizio di ottobre, Argos aveva segnalato più di 40.000 articoli ad alto rischio e 180.000 a medio rischio. Ha inoltre indicizzato più di 50.000 articoli ritirati.

Valutazione del rischio degli editori

L'analisi di Argos mostra che Hindawi, una filiale ormai defunta dell'editore londinese Wiley, ha il numero più alto e la percentuale più alta di articoli già ritirati (vedi "Editori a rischio"). Non è sorprendente perché Wiley lo ha fatto ha ritirato oltre 10.000 articoli pubblicati da Hindawi negli ultimi due anni, in risposta alle preoccupazioni sollevate da redattori e revisori; ciò rappresenta oltre il 4% del portafoglio totale del marchio negli ultimi dieci anni. Una delle sue riviste, Medicina complementare e alternativa basata sull’evidenza, ha ritirato 741 articoli, che rappresentano oltre il 7% della sua produzione.

Le valutazioni del rischio di Argos indicano che più di mille articoli Hindawi rimanenti – un altro 0,65% – continuano ad essere “ad alto rischio”. Ciò suggerisce che, sebbene Wiley abbia fatto molto per ripulire il proprio portafoglio, il problema potrebbe non essere ancora completamente risolto. L'editore ha detto a Nature che accoglie con favore Argos e strumenti simili e sta lavorando per risolvere i problemi con Hindawi.

Sembra che altri editori debbano svolgere molte più indagini, poiché il numero di ritrattazioni è piccolo rispetto al numero di articoli ad alto rischio segnalati da Argos (gli editori potrebbero aver già indagato su alcuni di questi articoli e deciso che non è necessaria alcuna azione).

L'editore Elsevier con sede ad Amsterdam conta circa 5.000 ritrattazioni ma oltre 11.400 articoli ad alto rischio, secondo l'analisi di Argos condotta da Nature, sebbene tutti questi insieme rappresentino poco più dello 0,2% della produzione dell'editore negli ultimi dieci anni. L’editore MDPI ha ritirato 311 articoli ma ha più di 3.000 articoli ad alto rischio – circa lo 0,24% della sua produzione. Springer Nature conta più di 6.000 ritrattazioni e più di 6.000 articoli ad alto rischio; circa lo 0,3% della sua produzione. (Il team giornalistico di Nature è indipendente dal suo editore.)

Nelle risposte alle domande, tutte le divisioni editoriali identificate come i maggiori fornitori di articoli ad alto rischio affermano di lavorare duramente sull’integrità della ricerca, di utilizzare la tecnologia per rivedere gli articoli presentati e che le loro ritrattazioni dimostrano il loro impegno nel ripulire i contenuti problematici.

Springer Nature ha riferito di aver lanciato due strumenti a giugno che da allora hanno contribuito a rilevare centinaia di falsi manoscritti inviati; diversi editori hanno aumentato la loro collaborazione in uno centro comune di integrità che offre software in grado di segnalare oggetti sospetti. Jisuk Kang, direttore editoriale presso MDPI a Basilea, in Svizzera, afferma che prodotti come Argos forniscono ampie indicazioni di potenziali problemi, ma osserva che l'editore non può verificare l'accuratezza o l'affidabilità dei numeri sul sito web. Aggiunge che i più grandi editori e riviste avranno inevitabilmente un numero maggiore di articoli ad alto rischio, quindi la quota di produzione è una metrica migliore.

I marchi editoriali con la percentuale più alta di articoli ad alto rischio nei loro portafogli, secondo i dati di Argos, sono Impact Journals (0,82%), Spandidos (0,77%) e Ivyspring (0,67%). Impact Journals dice a Nature che, sebbene i suoi diari abbiano avuto problemi in passato, ora hanno migliorato la loro integrità. L'editore afferma che è apparso sulla rivista Oncotarget negli ultimi due anni “0% irregolarità” a causa dell'introduzione di strumenti di verifica delle immagini come Image Twin, diventati disponibili solo negli ultimi anni. Portland Press, che ha nel suo portfolio lo 0,41% di articoli ad alto rischio, afferma di aver adottato misure corrette per migliorare le revisioni rigorose.

Valutazioni del rischio della rivista

Argos offre anche numeri per singole riviste. Non sorprende che i titoli Hindawi si distinguano sia per numero che per percentuale di articoli ritirati, mentre altre riviste hanno molti degli articoli identificati da Argos come ad alto rischio (vedi “Riviste a rischio”). In termini di volume, il mega-giornale Scientific Reports di Springer Nature è in testa con 450 articoli ad alto rischio e 231 ritrattazioni, che insieme rappresentano circa lo 0,3% della sua produzione. Il 16 ottobre un gruppo di revisori ne ha scritto uno lettera aperta a Springer Nature, che ha sollevato preoccupazioni sugli articoli problematici nella rivista.

In risposta, Chris Graf, responsabile della ricerca sull'integrità presso Springer Nature, ha affermato che la rivista sta indagando su ogni questione sollevata. Aggiunge che la proporzione del contenuto evidenziato è relativamente bassa rispetto alla sua dimensione.

Tra le riviste con discrepanze particolarmente ampie tra il numero di documenti ritirati e articoli potenzialmente sospetti figurano il Sustainability Journal di MDPI (20 ritrattazioni e 312 articoli ad alto rischio; 0,4% della produzione) e Materials Today Proceedings di Elsevier (28 ritrattazioni e 308 articoli ad alto rischio; 0,8% della produzione). Biomedicina e farmacoterapia di Elsevier ha la percentuale più alta di articoli ad alto rischio: l'1,61% della sua produzione.

“Il volume dei materiali fraudolenti sta aumentando in modo significativo, sostenuto da manipolazioni sistematiche come le ‘cartiere’ che producono contenuti fraudolenti per scopi commerciali e contenuti generati dall’intelligenza artificiale”, afferma un portavoce di Elsevier, aggiungendo che in risposta “stiamo aumentando i nostri investimenti nella supervisione umana, nelle competenze e nella tecnologia”.

Dati aperti

Gli sviluppatori di Argos sottolineano che il sito si basa su dati aperti raccolti da altri. Le fonti includono il sito web Retraction Watch, che mantiene un database di articoli ritirati - gratuito attraverso un accordo con l'organizzazione no-profit CrossRef - che include i motivi di una ritrattazione in modo che gli strumenti che esaminano i dati dell'autore possano concentrarsi sulle ritrattazioni che menzionano una cattiva condotta. L'analisi si basa anche su Documenti di articoli che fanno ampio riferimento a opere ritirate, compilati da Guillaume Cabanac, un informatico dell'Università di Tolosa in Francia.

Sebbene Argos tenga traccia anche degli analisti che Reti di autori con precedenti di cattiva condotta Focus, altri strumenti di controllo dell'integrità segnalano anche articoli basati su contenuti sospetti, come strette somiglianze testuali con opere false o "frasi disturbate", un termine coniato da Cabanac quando gli autori fare una strana scelta di parole per evitare di attivare sistemi di rilevamento del plagio.

“Entrambi gli approcci hanno dei meriti, ma identificare reti di ricercatori coinvolti in comportamenti scorretti potrebbe essere più prezioso”, afferma James Butcher, ex editore di Nature e Lancet che ora gestisce la società di consulenza Journalology a Liverpool, nel Regno Unito. "Questo perché gli strumenti di scrittura assistiti dall'intelligenza artificiale potrebbero essere utilizzati per aiutare i truffatori a evitare indizi testuali evidenti", aggiunge. Butcher aggiunge che molti importanti editori hanno sviluppato o acquistato i propri strumenti di integrità per verificare la presenza di vari segnali di allarme nei manoscritti.

Uno dei problemi più complicati per gli strumenti di integrità che si basano principalmente sui record di ritrattazione degli autori è la corretta distinzione tra autori con nomi simili, un problema che potrebbe distorcere i numeri di Argos. "Il problema della discriminazione degli autori è il problema più grande dell'industria", afferma Adam Day, fondatore di Clear Skies.

De Boer, che in precedenza ha lavorato presso Springer Nature, afferma che chiunque può creare un account per utilizzare Argos gratuitamente, ma Scitility prevede di vendere una versione dello strumento ai principali editori e istituzioni che potrebbero integrarlo direttamente nei loro flussi di lavoro di screening dei manoscritti.

Butcher elogia la trasparenza del team Argos. “È necessaria maggiore visibilità per le riviste e gli editori che prendono scorciatoie e non prestano la dovuta attenzione nel lavoro che pubblicano e monetizzano”, afferma.