Časopisy s vysokým podielom podozrivých článkov označených startupmi zameranými na integritu vedy

Časopisy s vysokým podielom podozrivých článkov označených startupmi zameranými na integritu vedy

Ktoré akademické vydavateľstvá a časopisy boli najviac zasiahnuté podvodným alebo pochybným výskumom – a ktoré urobili najmenej pre vyčistenie svojich portfólií? Technologický start-up založený s cieľom pomôcť vydavateľom identifikovať potenciálne problematické články má niekoľko odpovedí a podelil sa o svoje prvé zistenia s Nature.

Webová stránka integrity znalostí Argos, ktorú v septembri spustila technologická spoločnosť Scitility so sídlom v meste Sparks v Nevade, priraďuje hodnotenia rizika článkom na základe dátumov publikovania autorov a toho, či článok výrazne odkazuje na výskum, ktorý už bol stiahnutý. Článok klasifikovaný ako „vysoko rizikový“ môže mať viacerých autorov, ktorých ostatné štúdie boli odvolané z dôvodu nesprávneho správania. Vysoké skóre nedokazuje, že položka má nízku kvalitu, ale naznačuje, že by sa mohla oplatí preskúmať.

Argos je jedným z rastúceho počtu nástrojov na kontrolu integrity výskumu, ktoré hľadajú červené vlajky v článkoch. Medzi ne patrí aj toto Alarm papierne, vyvinuté spoločnosťou Clear Skies a Signals by Research Signals, obe z Londýna. Pretože vývojári takéhoto softvéru predávajú svoje nástroje na skríning rukopisov vydavateľom, sú vo všeobecnosti opatrní pri pomenovaní postihnutých časopisov. Avšak Argos, ktorý ponúka bezplatné účty jednotlivcom a širší prístup pre audítorov integrity a novinárov, je prvý, kto poskytuje pohľad verejnosti.

„Chceli sme vyvinúť technológiu, ktorá dokáže odhaliť skryté vzorce a priniesť transparentnosť do tohto odvetvia,“ hovorí Erik de Boer, spoluzakladateľ spoločnosti Scitility so sídlom v Roosendaal v Holandsku.

Začiatkom októbra Argos označil viac ako 40 000 vysokorizikových a 180 000 stredne rizikových položiek. Indexovala tiež viac ako 50 000 stiahnutých článkov.

Hodnotenie rizík vydavateľov

Analýza spoločnosti Argos ukazuje, že Hindawi, dnes už neexistujúca dcérska spoločnosť londýnskeho vydavateľa Wiley, má najvyšší počet a najvyšší podiel už stiahnutých článkov (pozri „Vydavatelia v ohrození“). To nie je prekvapujúce, pretože Wiley áno stiahla viac ako 10 000 článkov publikovaných Hindawi za posledné dva roky v reakcii na obavy redaktorov a recenzentov; to predstavuje viac ako 4 % z celkového portfólia značky za posledné desaťročie. Jeden z jej časopisov, Evidence-based Complementary and Alternative Medicine, stiahol 741 článkov, čo predstavuje viac ako 7 % jeho produkcie.

Hodnotenia rizík spoločnosti Argos označujú viac ako tisíc zostávajúcich hindských článkov – ďalších 0,65 % – za „vysoko rizikové“. To naznačuje, že aj keď Wiley urobil veľa pre vyčistenie svojho portfólia, problém ešte nemusí byť úplne vyriešený. Vydavateľ povedal Nature, že víta Argos a podobné nástroje a pracuje na vyriešení problémov s Hindawi.

Zdá sa, že ostatní vydavatelia musia vykonať oveľa viac vyšetrovania, pretože počet stiahnutí je malý v porovnaní s počtom vysokorizikových článkov označených Argosom (vydavatelia už možno niektoré z týchto článkov preskúmali a rozhodli sa, že nie sú potrebné žiadne kroky).

Vydavateľstvo Elsevier so sídlom v Amsterdame má podľa analýzy Argos od Nature asi 5 000 stiahnutí, ale viac ako 11 400 vysokorizikových článkov – hoci všetky tieto spolu tvoria niečo vyše 0,2 % produkcie vydavateľa za posledné desaťročie. Vydavateľ MDPI stiahol 311 článkov, ale má viac ako 3 000 vysoko rizikových článkov – približne 0,24 % jeho produkcie. Springer Nature má viac ako 6 000 stiahnutí a viac ako 6 000 vysoko rizikových článkov; približne 0,3 % jeho produkcie. (Tím správ Nature je nezávislý od vydavateľa.)

V odpovediach na otázky všetky vydavateľské divízie identifikované ako najväčší poskytovatelia vysokorizikových článkov tvrdia, že tvrdo pracujú na integrite výskumu, používajú technológiu na kontrolu odoslaných článkov a že ich stiahnutie je dôkazom ich odhodlania vyčistiť problematický obsah.

Springer Nature oznámil, že v júni spustil dva nástroje, ktoré odvtedy pomohli odhaliť stovky falošných rukopisov; niekoľko vydavateľstiev nadviazalo spoluprácu v jednom spoločné centrum integrity ktorá ponúka softvér, ktorý dokáže označiť podozrivé položky. Jisuk Kang, manažér vydavateľstva v MDPI v Bazileji vo Švajčiarsku, hovorí, že produkty ako Argos poskytujú široké náznaky potenciálnych problémov, ale poznamenáva, že vydavateľ nemôže overiť presnosť alebo spoľahlivosť čísel na webovej stránke. Dodáva, že najväčšie vydavateľstvá a časopisy budú mať nevyhnutne vyšší počet vysoko rizikových článkov, takže podiel produkcie je lepšou metrikou.

Vydavateľské značky s najvyšším podielom vysoko rizikových článkov vo svojich portfóliách sú podľa údajov Argos Impact Journals (0,82 %), Spandidos (0,77 %) a Ivyspring (0,67 %). Impact Journals hovorí Nature, že hoci jeho časopisy mali v minulosti problémy, teraz zlepšili svoju integritu. Vydavateľ uvádza, že sa v posledných dvoch rokoch objavila v časopise Oncotarget “0 % nezrovnalostí” v dôsledku zavedenia nástrojov na overovanie obrázkov, ako je napríklad Image Twin, ktoré sú dostupné len v posledných rokoch. Portland Press, ktorá má vo svojom portfóliu 0,41 % vysokorizikových článkov, tvrdí, že prijala správne opatrenia na zlepšenie prísnych kontrol.

Hodnotenie rizík časopisov

Argos ponúka aj čísla k jednotlivým časopisom. Nie je prekvapením, že hindské tituly vynikajú počtom aj podielom stiahnutých prác, zatiaľ čo v iných časopisoch je mnoho prác, ktoré Argos označil za vysoko rizikové (pozri „Časopisy v ohrození“). Podľa objemu vedie megažurnál Springer Nature Scientific Reports so 450 vysoko rizikovými článkami a 231 stiahnutiami, čo spolu predstavuje asi 0,3 % jeho produkcie. 16. októbra skupina recenzentov napísala jeden otvorený list Springer Nature, čo vyvolalo obavy z problematických článkov v časopise.

V reakcii na to Chris Graf, vedúci oddelenia integrity výskumu v Springer Nature, uviedol, že časopis skúma každý nastolený problém. Dodáva, že podiel zvýrazneného obsahu je v porovnaní s jeho veľkosťou pomerne nízky.

Medzi časopisy s obzvlášť veľkými nezrovnalosťami medzi počtom stiahnutých dokumentov a potenciálne podozrivých článkov patrí časopis MDPI Sustainability Journal (20 stiahnutí a 312 vysokorizikových článkov; 0,4 % produkcie) a Elsevier's Materials Today Proceedings (28 stiahnutí a 308 vysokorizikových článkov; 0,8 % produkcie). Biomedicína a farmakoterapia od Elsevier má najvyšší podiel vysokorizikových položiek – 1,61 % svojej produkcie.

„Objem podvodných materiálov výrazne narastá, podporovaný systematickými manipuláciami, ako sú „papierne“, ktoré produkujú podvodný obsah na komerčné účely, a obsah generovaný AI,“ hovorí hovorca Elsevier a dodáva, že „zvyšujeme naše investície do ľudského dohľadu, odborných znalostí a technológií.“

Otvorené dáta

Vývojári Argos zdôrazňujú, že stránka je založená na otvorených údajoch, ktoré zozbierali iní. Medzi zdroje patrí webová stránka Retraction Watch, ktorá vedie databázu stiahnutých článkov – bezplatne na základe dohody s neziskovou organizáciou CrossRef – ktorá obsahuje dôvody stiahnutia, aby sa nástroje, ktoré kontrolujú údaje o autorovi, mohli zamerať na stiahnutia, ktoré spomínajú nevhodné správanie. Analýza je tiež založená na Záznamy článkov, ktoré výrazne odkazujú na stiahnuté diela, ktoré zostavil Guillaume Cabanac, počítačový vedec z University of Toulouse vo Francúzsku.

Hoci Argos sleduje aj analytikov, ktorí Siete autorov s históriou pochybenia Zameranie, ďalšie nástroje na kontrolu integrity tiež označujú články na základe podozrivého obsahu, ako sú napríklad textové podobnosti s falošnými dielami alebo „narušené frázy“, čo je termín, ktorý vytvoril Cabanac, keď autori robiť zvláštne výber slov aby sa zabránilo aktivácii systémov odhaľovania plagiátov.

„Oba prístupy majú svoje opodstatnenie, ale identifikácia sietí výskumníkov, ktorí sa zapájajú do nesprávneho správania, môže byť cennejšia,“ hovorí James Butcher, bývalý vydavateľ Nature and Lancet, ktorý teraz vedie poradenskú spoločnosť Journalology v Liverpoole vo Veľkej Británii. „Je to preto, že nástroje na písanie s podporou AI by sa mohli použiť na pomoc podvodníkom vyhnúť sa zjavným textovým stopám,“ dodáva. Butcher dodáva, že mnohí významní vydavatelia vyvinuli alebo kúpili svoje vlastné nástroje integrity na kontrolu rôznych červených zástav v rukopisoch.

Jedným z najzložitejších problémov nástrojov integrity, ktoré sa spoliehajú predovšetkým na záznamy o stiahnutí autorov, je správne rozlíšenie medzi autormi s podobnými menami – problém, ktorý by mohol skresliť čísla Argos. „Problém diskriminácie autorov je najväčším problémom priemyslu,“ hovorí Adam Day, zakladateľ spoločnosti Clear Skies.

De Boer, ktorý predtým pracoval v Springer Nature, hovorí, že každý si môže vytvoriť účet na používanie Argos zadarmo, ale Scitility plánuje predať verziu tohto nástroja veľkým vydavateľom a inštitúciám, ktoré by ho mohli integrovať priamo do svojich pracovných postupov na skríning rukopisov.

Butcher si pochvaľuje transparentnosť tímu Argos. „Časopisy a vydavatelia, ktorí používajú skratky a nevenujú primeranú starostlivosť práci, ktorú vydávajú a speňažujú, musia byť lepšie viditeľné,“ hovorí.