Reviste cu o proporție mare de articole suspecte semnalate de startup-uri de integritate științifică

Reviste cu o proporție mare de articole suspecte semnalate de startup-uri de integritate științifică

Care editori și reviste academice au fost cel mai afectate de cercetările frauduloase sau discutabile - și care au făcut cel mai puțin pentru a-și curăța portofoliile? Un start-up tehnologic fondat pentru a ajuta editorii să identifice articole potențial problematice are câteva răspunsuri și și-a împărtășit descoperirile inițiale cu Nature.

Site-ul web de integritate a cunoștințelor Argos, lansat în septembrie de Scitility, o companie de tehnologie cu sediul în Sparks, Nevada, atribuie evaluări de risc articolelor în funcție de datele de publicare ale autorilor și dacă articolul face referire în mare măsură la cercetarea care a fost deja retrasă. Un articol clasificat drept „risc ridicat” poate avea mai mulți autori ale căror studii au fost retrase din cauza unei conduite incorecte. Un scor mare nu dovedește că un articol este de calitate scăzută, dar indică faptul că ar putea merita revizuit.

Argos este unul dintre un număr tot mai mare de instrumente de verificare a integrității cercetării care caută semnale roșii în articole. Acestea includ aceasta Alarma fabricii de hârtie, dezvoltat de Clear Skies și Signals by Research Signals, ambele din Londra. Deoarece dezvoltatorii unui astfel de software își vând editorilor instrumentele de screening ale manuscriselor, ei sunt, în general, precauți cu privire la denumirea revistelor afectate. Cu toate acestea, Argos, care oferă conturi gratuite persoanelor și acces mai larg pentru auditorii de integritate și jurnaliști, este primul care oferă informații publice.

„Am vrut să dezvoltăm o tehnologie care să detecteze modele ascunse și să aducă transparență în industrie”, spune Erik de Boer, co-fondatorul Scitility, cu sediul în Roosendaal, Olanda.

La începutul lunii octombrie, Argos a semnalat peste 40.000 de articole cu risc ridicat și 180.000 de articole cu risc mediu. De asemenea, a indexat peste 50.000 de articole retractate.

Evaluarea riscurilor editorilor

Analiza lui Argos arată că Hindawi, o filială acum defunctă a editurii londoneze Wiley, are cel mai mare număr și cea mai mare proporție de articole deja retrase (vezi „Editorii cu risc”). Nu este surprinzător pentru că Wiley a făcut-o a retras peste 10.000 de articole publicate de Hindawi în ultimii doi ani, ca răspuns la preocupările ridicate de editori și recenzori; aceasta reprezintă mai mult de 4% din portofoliul total al mărcii în ultimul deceniu. Una dintre revistele sale, Medicină complementară și alternativă bazată pe dovezi, a retras 741 de articole, reprezentând mai mult de 7% din producția sa.

Evaluările de risc Argos marchează mai mult de o mie de articole Hindawi rămase – încă 0,65% – ca fiind în continuare „de risc ridicat”. Asta sugerează că, deși Wiley a făcut mult pentru a-și curăța portofoliul, problema poate să nu fie complet rezolvată încă. Editorul a declarat pentru Nature că salută Argos și instrumente similare și că lucrează pentru a rezolva problemele cu Hindawi.

Alți editori par să fie nevoiți să investigheze mult mai mult, deoarece numărul de retractări este mic în raport cu numărul de articole cu risc ridicat semnalate de Argos (editorii s-ar putea să fi investigat deja unele dintre aceste articole și au decis că nu este necesară nicio măsură).

Editura Elsevier din Amsterdam are aproximativ 5.000 de retractări, dar peste 11.400 de articole cu risc ridicat, conform analizei Nature despre Argos - deși toate acestea reprezintă împreună puțin peste 0,2% din producția editorului în ultimul deceniu. Editorul MDPI a retras 311 articole, dar are peste 3.000 de articole cu risc ridicat - aproximativ 0,24% din producția sa. Springer Nature are peste 6.000 de retractări și mai mult de 6.000 de articole cu risc ridicat; aproximativ 0,3% din producția sa. (Echipa de știri Nature este independentă de editorul său.)

În răspunsurile la întrebări, toate diviziile de publicare identificate ca cei mai mari furnizori de articole cu risc ridicat spun că lucrează din greu la integritatea cercetării, folosesc tehnologia pentru a revizui articolele trimise și că retractările lor demonstrează angajamentul lor de a curăța conținutul problematic.

Springer Nature a raportat că a lansat două instrumente în iunie care au ajutat de atunci la detectarea a sute de trimiteri de manuscrise false; mai multe edituri și-au ridicat colaborarea într-una centru comun de integritate care oferă software care poate semnala articole suspecte. Jisuk Kang, manager de publicare la MDPI din Basel, Elveția, spune că produse precum Argos oferă indicații ample despre potențiale probleme, dar notează că editorul nu poate verifica acuratețea sau fiabilitatea numerelor de pe site. Ea adaugă că cei mai mari editori și reviste vor avea în mod inevitabil un număr mai mare de articole cu risc ridicat, astfel încât ponderea producției este o măsură mai bună.

Brandurile de publicare cu cele mai mari proporții de articole cu risc ridicat în portofolii, conform datelor Argos, sunt Impact Journals (0,82%), Spandidos (0,77%) și Ivyspring (0,67%). Impact Journals spune Nature că, deși jurnalele sale au avut probleme în trecut, acum și-au îmbunătățit integritatea. Editura precizează că a apărut în revista Oncotarget în ultimii doi ani „0% nereguli” datorită introducerii instrumentelor de verificare a imaginii precum Image Twin, care au devenit disponibile doar în ultimii ani. Portland Press, care are în portofoliu 0,41% articole cu risc ridicat, spune că a luat măsuri corecte pentru a îmbunătăți recenziile riguroase.

Evaluări de risc din revistă

Argos oferă și numere pentru reviste individuale. Nu este surprinzător că titlurile Hindawi ies în evidență atât prin numărul, cât și prin proporția de lucrări retrase, în timp ce alte reviste au multe dintre lucrările identificate de Argos ca fiind cu risc ridicat (vezi „Reviste cu risc”). Ca volum, mega-jurnalul Scientific Reports al Springer Nature este lider cu 450 de articole cu risc ridicat și 231 de retractări, care împreună reprezintă aproximativ 0,3% din producția sa. Pe 16 octombrie, un grup de recenzenți a scris unul scrisoare deschisă către Springer Nature, care a ridicat îngrijorări cu privire la articolele problematice din jurnal.

Ca răspuns, Chris Graf, șeful departamentului de integritate în cercetare la Springer Nature, a declarat că jurnalul investighează fiecare problemă ridicată. El adaugă că proporția conținutului evidențiat este relativ scăzută în comparație cu dimensiunea acestuia.

Jurnalele cu discrepanțe deosebit de mari între numărul de lucrări retractate și articolele potențial suspecte includ Sustainability Journal al MDPI (20 retractări și 312 articole cu risc ridicat; 0,4% din producție) și Elsevier's Materials Today Proceedings (28 retractări și 308 articole cu risc ridicat; 0,8% din producție). Elsevier's Biomedicine & Pharmacotherapy are cea mai mare proporție de articole cu risc ridicat - 1,61% din producția sa.

„Volumul materialelor frauduloase crește semnificativ, susținut de manipulări sistematice, cum ar fi „fabriele” care produc conținut fraudulos în scopuri comerciale și conținut generat de inteligență artificială”, spune un purtător de cuvânt Elsevier, adăugând că, ca răspuns, „ne creștem investițiile în supravegherea umană, expertiză și tehnologie”.

Date deschise

Dezvoltatorii Argos subliniază că site-ul se bazează pe date deschise colectate de alții. Sursele includ site-ul Retraction Watch, care menține o bază de date cu articole retractate – gratuit printr-un acord cu CrossRef nonprofit – care include motivele unei retrageri, astfel încât instrumentele care examinează datele autorului să se poată concentra pe retractările care menționează comportamentul incorect. Analiza se bazează și pe Înregistrări ale articolelor care fac referire în mare măsură la lucrări retractate, care au fost compilate de Guillaume Cabanac, un informatician la Universitatea din Toulouse din Franța.

Deși Argos urmărește și analiștii care Rețele de autori cu antecedente de abateri Focus, alte instrumente de verificare a integrității semnalează, de asemenea, articole bazate pe conținut suspect, cum ar fi asemănări strânse textuale cu lucrări false sau „fraze tulburate”, un termen inventat de Cabanac atunci când autorii faceți alegeri ciudate de cuvinte pentru a evita activarea sistemelor de detectare a plagiatului.

„Ambele abordări au merite, dar identificarea rețelelor de cercetători care se implică în comportamente greșite poate fi mai valoroasă”, spune James Butcher, un fost editor Nature and Lancet, care conduce acum consultanța Journalology din Liverpool, Marea Britanie. „Acest lucru se datorează faptului că instrumentele de scriere asistate de AI ar putea fi folosite pentru a ajuta fraudatorii să evite indicii textuale evidente”, adaugă el. Butcher adaugă că mulți editori majori și-au dezvoltat sau achiziționat propriile instrumente de integritate pentru a verifica dacă există diverse semnale roșii în manuscrise.

Una dintre cele mai dificile probleme pentru instrumentele de integritate care se bazează în principal pe înregistrările de retragere a autorului este diferența corectă între autorii cu nume similare - o problemă care ar putea denatura numerele lui Argos. „Problema discriminării autorului este cea mai mare problemă pe care o are industria”, spune Adam Day, fondatorul Clear Skies.

De Boer, care a lucrat anterior la Springer Nature, spune că oricine își poate crea un cont pentru a utiliza Argos gratuit, dar Scitility intenționează să vândă o versiune a instrumentului unor mari editori și instituții care ar putea să o integreze direct în fluxurile lor de lucru de screening manuscriselor.

Butcher laudă transparența echipei Argos. „Trebuie să existe mai multă vizibilitate pentru reviste și editori care iau comenzi rapide și nu reușesc să acorde atenția corespunzătoare în activitatea pe care o publică și pe care le monetizează”, spune el.