Folyóiratok, amelyek nagy arányban tartalmaznak gyanús cikkeket, amelyeket a tudomány integritását biztosító startupok jelöltek meg

Folyóiratok, amelyek nagy arányban tartalmaznak gyanús cikkeket, amelyeket a tudomány integritását biztosító startupok jelöltek meg

Mely tudományos kiadókat és folyóiratokat érintették leginkább a csalárd vagy megkérdőjelezhető kutatások – és melyek tettek a legkevesebbet portfóliójuk megtisztításáért? Egy technológiai startup, amelyet azért alapítottak, hogy segítsenek a kiadóknak azonosítani a potenciálisan problémás cikkeket, megvan a válasz, és megosztotta kezdeti eredményeit a Nature-vel.

A Scitility, a nevadai Sparks-i székhelyű technológiai vállalat által szeptemberben indított tudásintegritási webhely, az Argos a szerzők megjelenési dátuma és az alapján ad kockázati besorolást a cikkekhez, hogy a cikk nagymértékben hivatkozik-e már visszavont kutatásokra. Egy „magas kockázatúnak” minősített cikknek több szerzője is lehet, akiknek a többi tanulmányát helytelen magatartás miatt visszavonták. A magas pontszám nem bizonyítja, hogy egy tétel rossz minőségű, de azt jelzi, hogy érdemes lehet ellenőrizni.

Az Argos egyike a növekvő számú kutatási integritás-ellenőrző eszköznek, amely piros zászlókat keres a cikkekben. Ezek közé tartozik ez Papírgyár riasztó, amelyet a Clear Skies és a Signals a Research Signals fejlesztett ki, mindkettő Londonból. Mivel az ilyen szoftverek fejlesztői kézirat-szűrőeszközeiket a kiadóknak adják el, általában óvatosak az érintett folyóiratok megnevezésével kapcsolatban. Azonban az Argos, amely ingyenes számlákat kínál az egyéneknek, valamint szélesebb körű hozzáférést biztosít az integritási ellenőrök és újságírók számára, az első, amely nyilvános betekintést nyújt.

„Olyan technológiát szerettünk volna kifejleszteni, amely képes felismerni a rejtett mintákat, és átláthatóságot kölcsönözni az iparágnak” – mondja Erik de Boer, a hollandiai roosendaali székhelyű Scitility társalapítója.

Október elejéig az Argos több mint 40 000 magas és 180 000 közepes kockázatú terméket jelölt meg. Több mint 50 000 visszavont cikket is indexelt.

A kiadók kockázatértékelése

Az Argos elemzése azt mutatja, hogy a Hindawinál, a londoni Wiley kiadó már megszűnt leányvállalatánál van a legtöbb és legmagasabb a már visszavont cikkek száma (lásd: „Publishers at Risk”). Ez nem meglepő, mert Wiley-nek megvan több mint 10 000 cikket vont vissza a Hindawi által az elmúlt két évben, válaszul a szerkesztők és lektorok által felvetett aggályokra; ez a márka teljes portfóliójának több mint 4%-át jelenti az elmúlt évtizedben. Egyik folyóirata, az Evidence-based Complementary and Alternative Medicine 741 cikket vont vissza, ami a kiadások több mint 7%-át teszi ki.

Az Argos kockázatértékelései több mint ezer megmaradt hindawi cikket – további 0,65%-ot – továbbra is „magas kockázatúnak” minősítenek. Ez arra utal, hogy bár Wiley sokat tett portfóliójának megtisztításáért, a probléma még nem teljesen megoldott. A kiadó azt mondta a Nature-nek, hogy üdvözli az Argost és a hasonló eszközöket, és dolgozik a Hindawival kapcsolatos problémák megoldásán.

Úgy tűnik, hogy más kiadóknak sokkal több vizsgálatot kell végezniük, mivel a visszavonások száma alacsony az Argos által megjelölt magas kockázatú cikkek számához képest (lehet, hogy a kiadók már megvizsgálták e cikkek egy részét, és úgy döntöttek, hogy nincs szükség intézkedésre).

A Nature Argos-elemzése szerint az amszterdami székhelyű Elsevier kiadónak körülbelül 5000 visszavonása van, de több mint 11 400 magas kockázatú cikk – bár ezek együttesen a kiadó elmúlt évtizedben elért eredményeinek valamivel több mint 0,2%-át teszik ki. Az MDPI kiadó 311 cikket vont vissza, de több mint 3000 magas kockázatú cikkel rendelkezik – ez a kibocsátásának körülbelül 0,24%-a. A Springer Nature több mint 6000 visszahúzással és több mint 6000 magas kockázatú cikkel rendelkezik; termelésének mintegy 0,3%-a. (A Nature hírcsapata független a kiadójától.)

A kérdésekre adott válaszokban a nagy kockázatú cikkek legnagyobb szolgáltatójaként azonosított kiadói részlegek azt állítják, hogy keményen dolgoznak a kutatás integritásának javításán, technológiát használnak a benyújtott cikkek áttekintésére, és visszavonásaik jelzik elkötelezettségüket a problémás tartalom megtisztítása iránt.

A Springer Nature arról számolt be, hogy júniusban elindított két eszközt, amelyek azóta több száz hamis kézirat felderítésében segítettek; több kiadó egyben emelte fel együttműködését közös integritási központ amely szoftvereket kínál, amelyek megjelölhetik a gyanús elemeket. Jisuk Kang, a svájci bázeli MDPI kiadói menedzsere szerint az olyan termékek, mint az Argos, széles körben jelzik a lehetséges problémákat, de megjegyzi, hogy a kiadó nem tudja ellenőrizni a webhelyen szereplő számok pontosságát vagy megbízhatóságát. Hozzáteszi, hogy a legnagyobb kiadók és magazinok elkerülhetetlenül több magas kockázatú cikkel fognak rendelkezni, így a termelés részesedése jobb mérőszám.

Az Argos adatai szerint az Impact Journals (0,82%), a Spandidos (0,77%) és az Ivyspring (0,67%) kiadói márkák, amelyek portfóliójukban a legmagasabb arányban tartalmaznak magas kockázatú cikkeket. Az Impact Journals azt mondja a Nature-nek, hogy bár a folyóirataival korábban voltak problémák, mostanra javították integritásukat. A kiadó azt állítja, hogy az elmúlt két évben jelent meg az Oncotarget folyóiratban „0% szabálytalanság” a képellenőrző eszközök, például az Image Twin bevezetése miatt, amelyek csak az elmúlt években váltak elérhetővé. A Portland Press, amelynek portfóliójában a magas kockázatú cikkek 0,41%-a van, azt állítja, hogy megfelelő intézkedéseket hozott a szigorú felülvizsgálatok javítására.

Magazin kockázatértékelések

Az Argos az egyes magazinokhoz is kínál számokat. Nem meglepő, hogy a hindawi címek mind a visszavont cikkek számában, mind arányában kiemelkednek, míg más folyóiratokban az Argos által magas kockázatúnak minősített cikkek közül sok szerepel (lásd: „Journals at Risk”). Kötetszám szerint a Springer Nature Scientific Reports megafolyóirata vezet 450 magas kockázatú cikkel és 231 visszavonással, amelyek együttesen a kibocsátás 0,3%-át teszik ki. Október 16-án a lektorok egy csoportja írt egyet nyílt levél a Springer Nature-nek, amely aggodalmát fejezte ki a folyóirat problémás cikkeivel kapcsolatban.

Válaszul Chris Graf, a Springer Nature kutatási integritásért felelős vezetője elmondta, hogy a folyóirat minden felmerülő kérdést megvizsgál. Hozzáteszi, hogy méretéhez képest viszonylag alacsony a kiemelt tartalmak aránya.

Azok a folyóiratok, amelyekben különösen nagy eltérés mutatkozik a visszavont cikkek és a potenciálisan gyanús cikkek között, többek között az MDPI Sustainability Journal (20 visszavonás és 312 magas kockázatú cikk; a termelés 0,4%-a) és az Elsevier Materials Today Proceedings (28 visszavonás és 308 magas kockázatú cikk; 0,8%). Az Elsevier Biomedicine & Pharmacotherapy termékei közül a legmagasabb a magas kockázatú cikkek aránya – a termelés 1,61%-a.

„A hamis anyagok mennyisége jelentősen növekszik, amit olyan szisztematikus manipulációk támogatnak, mint például a „papírmalmok”, amelyek kereskedelmi célú csalárd tartalmat állítanak elő, vagy az AI által generált tartalom” – mondja az Elsevier szóvivője, hozzátéve, hogy válaszul „növeljük befektetéseinket az emberi felügyeletbe, szakértelembe és technológiába”.

Nyitott adatok

Az Argos fejlesztői hangsúlyozzák, hogy az oldal mások által gyűjtött nyílt adatokon alapul. A források közé tartozik a Retraction Watch webhely, amely adatbázist tart fenn a visszavont cikkekről – a CrossRef nonprofit szervezettel kötött megállapodás alapján ingyenesen –, amely tartalmazza a visszavonás indokait, így a szerzői adatokat áttekintő eszközök a helytelen magatartást említő visszavonásokra összpontosíthatnak. Az elemzés is azon alapul A visszavont művekre erősen hivatkozó cikkek nyilvántartása, amelyeket Guillaume Cabanac, a francia Toulouse-i Egyetem informatikusa állított össze.

Bár Argos olyan elemzőket is nyomon követ, akik Olyan szerzők hálózatai, akiknek visszaélései vannak A Focus, az egyéb integritás-ellenőrző eszközök a gyanús tartalom alapján megjelölik a cikkeket is, mint például a hamis művekhez hasonló szövegbeli hasonlóságok vagy a "zavart kifejezések" – ezt a kifejezést a Cabanac alkotta meg, amikor a szerzők. furcsa szavakat választ hogy elkerüljük a plágiumészlelő rendszerek aktiválását.

„Mindkét megközelítésnek van érdeme, de a helytelen magatartást tanúsító kutatói hálózatok azonosítása értékesebb lehet” – mondja James Butcher, a Nature and Lancet korábbi kiadója, aki jelenleg a Journalology tanácsadó céget vezeti Liverpoolban, Egyesült Királyságban. „Ez azért van, mert a mesterséges intelligencia által támogatott íróeszközök segítségével a csalók elkerülhetik a nyilvánvaló szöveges nyomokat” – teszi hozzá. Mészáros hozzáteszi, hogy sok nagy kiadó kifejlesztett vagy vásárolt saját integritási eszközt a kéziratok különböző piros zászlóinak ellenőrzésére.

Az egyik legbonyolultabb probléma az olyan integritási eszközöknél, amelyek elsősorban a szerzők visszavonási rekordjain alapulnak, a hasonló nevű szerzők helyes megkülönböztetése – ez a probléma torzíthatja Argos számait. „A szerzők megkülönböztetésének problémája az iparág legnagyobb problémája” – mondja Adam Day, a Clear Skies alapítója.

De Boer, aki korábban a Springer Nature-nél dolgozott, azt mondja, bárki létrehozhat fiókot az Argos használatához, de a Scitility azt tervezi, hogy eladja az eszköz egy verzióját a nagyobb kiadóknak és intézményeknek, amelyek közvetlenül integrálhatják azt a kézirat-szűrési munkafolyamataiba.

Mészáros dicséri az Argos csapat átláthatóságát. „Nagyobb láthatóságot kell biztosítani azoknak a magazinoknak és kiadóknak, akik a parancsikonokat választják, és nem járnak el megfelelő körültekintéssel a közzétett munkájukban és a bevételszerzésben” – mondja.