Časopisy s vysokým podílem podezřelých článků označených startupy zabývajícími se integritou vědy

Časopisy s vysokým podílem podezřelých článků označených startupy zabývajícími se integritou vědy

Která akademická vydavatelství a časopisy byly nejvíce postiženy podvodným nebo pochybným výzkumem – a která udělala nejméně pro vyčištění svých portfolií? Technologický start-up založený, aby pomohl vydavatelům identifikovat potenciálně problematické články, má několik odpovědí a podělil se o své první poznatky s Nature.

Webová stránka pro integritu znalostí Argos, kterou v září spustila technologická společnost Scitility se sídlem v Sparks v Nevadě, přiděluje článkům hodnocení rizika na základě dat zveřejnění autorů a toho, zda článek výrazně odkazuje na výzkum, který již byl stažen. Článek klasifikovaný jako „vysoce rizikový“ může mít více autorů, jejichž další studie byly staženy kvůli nesprávnému chování. Vysoké skóre nedokazuje, že položka má nízkou kvalitu, ale naznačuje, že by mohla stát za kontrolu.

Argos je jedním z rostoucího počtu nástrojů pro kontrolu integrity výzkumu, které hledají červené vlajky v článcích. Mezi ně patří toto Alarm papírny, vyvinuté společností Clear Skies, a Signals by Research Signals, obě z Londýna. Protože vývojáři takového softwaru prodávají své nástroje pro kontrolu rukopisů vydavatelům, jsou obecně opatrní při pojmenovávání postižených časopisů. Nicméně Argos, který nabízí bezplatné účty jednotlivcům a širší přístup pro auditory integrity a novináře, je první, kdo poskytuje pohled veřejnosti.

„Chtěli jsme vyvinout technologii, která dokáže odhalit skryté vzorce a vnést do tohoto odvětví transparentnost,“ říká Erik de Boer, spoluzakladatel společnosti Scitility se sídlem v Roosendaal, Nizozemsko.

Na začátku října Argos označil více než 40 000 vysoce rizikových a 180 000 středně rizikových položek. Indexovala také více než 50 000 stažených článků.

Hodnocení rizik vydavatelů

Analýza společnosti Argos ukazuje, že Hindawi, dnes již neexistující dceřiná společnost londýnského vydavatele Wiley, má nejvyšší počet a nejvyšší podíl již stažených článků (viz „Vydavatelé v ohrožení“). To není překvapivé, protože Wiley ano stáhla více než 10 000 článků publikovaných Hindawi za poslední dva roky, v reakci na obavy vznesené redaktory a recenzenty; to představuje více než 4 % z celkového portfolia značky za poslední desetiletí. Jeden z jejích časopisů, Evidence-based Complementary and Alternative Medicine, stáhl 741 článků, což představuje více než 7 % jeho produkce.

Hodnocení rizik společnosti Argos označuje více než tisíc zbývajících hindských článků – dalších 0,65 % – jako nadále „vysoce rizikové“. To naznačuje, že i když Wiley udělal hodně pro vyčištění svého portfolia, problém ještě nemusí být zcela vyřešen. Vydavatel řekl Nature, že vítá Argos a podobné nástroje a pracuje na vyřešení problémů s Hindawi.

Zdá se, že ostatní vydavatelé potřebují provést mnohem více vyšetřování, protože počet stažení je malý v poměru k počtu vysoce rizikových článků označených Argosem (vydavatelé již možná prozkoumali některé z těchto článků a rozhodli se, že není třeba nic dělat).

Amsterodamský vydavatel Elsevier má asi 5 000 stažení, ale přes 11 400 vysoce rizikových článků, podle analýzy Nature z Argos – ačkoli všechny tyto dohromady tvoří něco málo přes 0,2 % produkce vydavatele za poslední desetiletí. Vydavatel MDPI stáhl 311 článků, ale má více než 3 000 vysoce rizikových článků – asi 0,24 % jeho produkce. Springer Nature má více než 6 000 stažení a více než 6 000 vysoce rizikových článků; asi 0,3 % její produkce. (Tým zpráv Nature je nezávislý na vydavateli.)

V odpovědích na dotazy všechny vydavatelské divize označené jako největší poskytovatelé vysoce rizikových článků tvrdí, že tvrdě pracují na integritě výzkumu, používají technologii ke kontrole zaslaných článků a že jejich stažení prokazuje jejich odhodlání vyčistit problematický obsah.

Springer Nature oznámil, že v červnu spustil dva nástroje, které od té doby pomohly odhalit stovky falešných rukopisů; několik vydavatelů navázalo spolupráci v jednom společné centrum integrity která nabízí software, který dokáže označit podezřelé položky. Jisuk Kang, manažer vydavatelství v MDPI v Basileji ve Švýcarsku, říká, že produkty jako Argos poskytují široké náznaky potenciálních problémů, ale poznamenává, že vydavatel nemůže ověřit přesnost nebo spolehlivost čísel na webu. Dodává, že největší vydavatelé a časopisy budou mít nevyhnutelně vyšší počet vysoce rizikových článků, takže podíl produkce je lepší metrika.

Vydavatelské značky s nejvyšším podílem vysoce rizikových článků ve svém portfoliu jsou podle údajů Argos Impact Journals (0,82 %), Spandidos (0,77 %) a Ivyspring (0,67 %). Impact Journals sděluje Nature, že ačkoliv jeho časopisy měly v minulosti problémy, nyní zlepšily svou integritu. Vydavatel uvádí, že se v posledních dvou letech objevil v časopise Oncotarget „0 % nesrovnalostí“ kvůli zavedení nástrojů pro ověřování obrázků, jako je Image Twin, které jsou dostupné teprve v posledních letech. Portland Press, který má ve svém portfoliu 0,41 % vysoce rizikových článků, tvrdí, že přijal správná opatření ke zlepšení přísných kontrol.

Hodnocení rizik časopisů

Argos nabízí i čísla pro jednotlivé časopisy. Není překvapením, že hindské tituly vynikají jak v počtu, tak v poměru stažených článků, zatímco jiné časopisy mají mnoho článků označených Argosem jako vysoce rizikové (viz „Journals at Risk“). Podle objemu vede megažurnál Springer Nature Scientific Reports se 450 vysoce rizikovými články a 231 staženími, což dohromady představuje asi 0,3 % jeho produkce. 16. října skupina recenzentů jeden napsala otevřený dopis Springer Nature, což vyvolalo obavy z problematických článků v časopise.

V reakci na to Chris Graf, vedoucí oddělení pro integritu výzkumu ve Springer Nature, uvedl, že časopis prošetřuje každý nastolený problém. Dodává, že podíl zvýrazněného obsahu je v porovnání s jeho velikostí poměrně nízký.

Mezi časopisy s obzvláště velkými rozdíly mezi počtem stažených dokumentů a potenciálně podezřelých článků patří Sustainability Journal společnosti MDPI (20 stažení a 312 vysoce rizikových článků; 0,4 % produkce) a Elsevier's Materials Today Proceedings (28 stažení a 308 vysoce rizikových článků; 0,8 % produkce). Biomedicína a farmakoterapie společnosti Elsevier má nejvyšší podíl vysoce rizikových položek — 1,61 % její produkce.

„Objem podvodných materiálů se výrazně zvyšuje, podporovaný systematickými manipulacemi, jako jsou ‚papírny‘, které produkují podvodný obsah pro komerční účely, a obsah generovaný umělou inteligencí,“ říká mluvčí Elsevier a dodává, že „zvyšujeme naše investice do lidského dohledu, odborných znalostí a technologií.“

Otevřená data

Vývojáři Argos zdůrazňují, že stránka je založena na otevřených datech shromážděných ostatními. Mezi zdroje patří webová stránka Retraction Watch, která udržuje databázi stažených článků – zdarma na základě smlouvy s neziskovou organizací CrossRef – která obsahuje důvody pro stažení, takže nástroje, které kontrolují data o autorech, se mohou zaměřit na stažení, která zmiňují nesprávné chování. Analýza je také založena na Záznamy článků, které výrazně odkazují na stažená díla, které sestavil Guillaume Cabanac, počítačový vědec z University of Toulouse ve Francii.

Ačkoli Argos také sleduje analytiky, kteří Sítě autorů s historií pochybení Focus, další nástroje pro kontrolu integrity také označují články na základě podezřelého obsahu, jako jsou blízké textové podobnosti s falešnými díly nebo „narušené fráze“, což je termín, který vytvořil Cabanac, když autoři dělat zvláštní výběr slov aby se zabránilo aktivaci systémů odhalování plagiátů.

„Oba přístupy mají své opodstatnění, ale identifikace sítí výzkumníků, kteří se zabývají nekalým jednáním, může být cennější,“ říká James Butcher, bývalý vydavatel Nature a Lancet, který nyní provozuje poradenskou společnost Journalology v Liverpoolu ve Velké Británii. „Je to proto, že nástroje pro psaní podporované umělou inteligencí by mohly být použity, aby podvodníkům pomohly vyhnout se zjevným textovým vodítkům,“ dodává. Butcher dodává, že mnoho velkých vydavatelů vyvinulo nebo zakoupilo své vlastní nástroje integrity pro kontrolu různých červených vlajek v rukopisech.

Jedním z nejzáludnějších problémů nástrojů integrity, které se primárně spoléhají na záznamy o stažení autora, je správné rozlišení mezi autory s podobnými jmény – problém, který by mohl zkreslit čísla Argos. „Problém diskriminace autorů je největším problémem tohoto odvětví,“ říká Adam Day, zakladatel Clear Skies.

De Boer, který dříve pracoval ve Springer Nature, říká, že kdokoli si může vytvořit účet pro používání Argos zdarma, ale Scitility plánuje prodat verzi tohoto nástroje velkým vydavatelům a institucím, které by jej mohly integrovat přímo do svých pracovních postupů pro prověřování rukopisů.

Řezník si pochvaluje transparentnost týmu Argos. „Časopisy a vydavatele, kteří používají zkratky a nevěnují náležitou péči práci, kterou publikují a zpeněžují, musí být více vidět,“ říká.