Списания с висок дял подозрителни статии, маркирани от стартиращи фирми за почтеност в науката

Списания с висок дял подозрителни статии, маркирани от стартиращи фирми за почтеност в науката

Кои академични издатели и списания са били най-засегнати от измамни или съмнителни изследвания – и кои са направили най-малко, за да изчистят своите портфолиа? Технологичен стартъп, създаден, за да помогне на издателите да идентифицират потенциално проблемни статии, има някои отговори и сподели първоначалните си открития с Nature.

Уебсайтът за интегритет на знанията Argos, стартиран през септември от Scitility, технологична компания, базирана в Спаркс, Невада, присвоява оценки на риска на статиите въз основа на датите на публикуване на авторите и дали статията силно се позовава на изследване, което вече е оттеглено. Една статия, класифицирана като „висок риск“, може да има множество автори, чиито други изследвания са били оттеглени поради неправомерно поведение. Високият резултат не доказва, че даден артикул е с ниско качество, но показва, че може да си струва прегледа.

Argos е един от нарастващия брой инструменти за проверка на целостта на изследванията, които търсят червени знамена в статиите. Те включват това Аларма за фабрика за хартия, разработен от Clear Skies, и Signals от Research Signals, и двете от Лондон. Тъй като разработчиците на такъв софтуер продават своите инструменти за скрининг на ръкописи на издателите, те обикновено са предпазливи при назоваването на засегнатите списания. Въпреки това Argos, който предлага безплатни акаунти на физически лица и по-широк достъп за одитори на почтеността и журналисти, е първият, който предоставя публична информация.

„Искахме да разработим технология, която може да открие скрити модели и да осигури прозрачност на индустрията“, казва Ерик де Боер, съосновател на Scitility, базирана в Roosendaal, Холандия.

Към началото на октомври Argos е маркирал повече от 40 000 високорискови и 180 000 среднорискови артикула. Той също така е индексирал повече от 50 000 оттеглени статии.

Оценка на риска на издателите

Анализът на Argos показва, че Hindawi, вече несъществуващ филиал на лондонския издател Wiley, има най-голям брой и най-голям дял вече оттеглени статии (вижте „Издатели в риск“). Това не е изненадващо, защото Wiley има оттегли над 10 000 статии, публикувани от Hindawi през последните две години, в отговор на опасения, повдигнати от редактори и рецензенти; това представлява повече от 4% от общото портфолио на марката през последното десетилетие. Едно от неговите списания, Evidence-based Complementary and Alternative Medicine, е оттеглило 741 статии, което представлява повече от 7% от продукцията му.

Оценките на риска на Argos отбелязват повече от хиляда оставащи статии на Hindawi – още 0,65% – като продължаващи да бъдат „с висок риск“. Това предполага, че въпреки че Wiley е направил много, за да изчисти портфолиото си, проблемът може все още да не е напълно решен. Издателят каза на Nature, че приветства Argos и подобни инструменти и работи за разрешаване на проблемите с Hindawi.

Изглежда, че други издатели трябва да направят много повече разследване, тъй като броят на оттеглянията е малък в сравнение с броя високорискови статии, отбелязани от Argos (издателите може вече да са проучили някои от тези статии и да са решили, че не е необходимо действие).

Базираният в Амстердам издател Elsevier има около 5 000 оттегляния, но над 11 400 високорискови статии, според анализа на Nature за Argos – въпреки че всички те заедно представляват малко над 0,2% от продукцията на издателя през последното десетилетие. Издателят MDPI е оттеглил 311 статии, но има повече от 3000 статии с висок риск - около 0,24% от продукцията си. Springer Nature има повече от 6000 оттегляния и повече от 6000 високорискови статии; около 0,3% от продукцията си. (Новинарският екип на Nature е независим от своя издател.)

В отговорите на запитванията всички издателски отдели, идентифицирани като най-големите доставчици на високорискови статии, казват, че работят усилено върху почтеността на изследванията, използват технология за преглед на изпратените статии и че техните оттегляния демонстрират ангажимента им да изчистят проблемното съдържание.

Springer Nature съобщи, че стартира два инструмента през юни, които оттогава са помогнали за откриването на стотици фалшиви изпратени ръкописи; няколко издателства събраха сътрудничеството си в едно общ център за интегритет който предлага софтуер, който може да маркира подозрителни елементи. Jisuk Kang, издателски мениджър в MDPI в Базел, Швейцария, казва, че продукти като Argos дават широки индикации за потенциални проблеми, но отбелязва, че издателят не може да провери точността или надеждността на числата на уебсайта. Тя добавя, че най-големите издатели и списания неизбежно ще имат по-голям брой високорискови статии, така че делът на продукцията е по-добър показател.

Издателските марки с най-висок дял високорискови статии в портфолиото си, според данни на Argos, са Impact Journals (0,82%), Spandidos (0,77%) и Ivyspring (0,67%). Impact Journals казва на Nature, че въпреки че техните списания са имали проблеми в миналото, сега те са подобрили целостта си. Издателят заявява, че се е появявал в списание Oncotarget през последните две години „0% нередности“ поради въвеждането на инструменти за проверка на изображения като Image Twin, които станаха достъпни едва през последните години. Portland Press, която има 0,41% високорискови статии в портфолиото си, казва, че е предприела правилни мерки за подобряване на строгите прегледи.

Оценки на риска в списанието

Argos предлага и номера за отделни списания. Не е изненадващо, че заглавията на Hindawi се открояват както по броя, така и по съотношението на оттеглените статии, докато други списания имат много от статиите, идентифицирани от Argos като високорискови (вижте „Списания в риск“). По обем мега-списанието Scientific Reports на Springer Nature води с 450 високорискови статии и 231 оттегляния, които заедно представляват около 0,3% от продукцията му. На 16 октомври група рецензенти написаха такъв отворено писмо до Springer Nature, което повдигна опасения относно проблемни статии в списанието.

В отговор Крис Граф, ръководител на изследователската почтеност в Springer Nature, каза, че списанието проучва всеки повдигнат проблем. Той добавя, че делът на подчертаното съдържание е относително нисък в сравнение с неговия размер.

Списанията с особено големи несъответствия между броя на оттеглените документи и потенциално съмнителните статии включват Sustainability Journal на MDPI (20 оттегляния и 312 високорискови статии; 0,4% от продукцията) и Elsevier's Materials Today Proceedings (28 оттегляния и 308 високорискови статии; 0,8% от продукцията). Biomedicine & Pharmacotherapy на Elsevier има най-висок дял високорискови артикули - 1,61% от производството си.

„Обемът на измамните материали се увеличава значително, подкрепен от систематични манипулации като „мелници за хартия“, които произвеждат измамно съдържание за търговски цели, и съдържание, генерирано от AI“, казва говорител на Elsevier, добавяйки, че в отговор „увеличаваме инвестициите си в човешки надзор, експертиза и технологии“.

Отворени данни

Разработчиците на Argos подчертават, че сайтът е базиран на отворени данни, събрани от други. Източниците включват уебсайта Retraction Watch, който поддържа база данни с оттеглени статии – безплатно чрез споразумение с организацията с нестопанска цел CrossRef – която включва причините за оттегляне, така че инструментите, които преглеждат данните на автора, да могат да се съсредоточат върху оттеглянията, които споменават неправомерно поведение. Анализът се базира и на Записи на статии, които силно се позовават на оттеглени произведения, които са съставени от Гийом Кабанак, компютърен учен от университета в Тулуза във Франция.

Въпреки че Аргос проследява и анализатори, които Мрежи от автори с история на лошо поведение Фокус, други инструменти за проверка на интегритета също маркират статии въз основа на подозрително съдържание, като близки текстови прилики с фалшиви произведения или „разстроени фрази“, термин, измислен от Кабанак, когато авторите направи странен избор на думи за да избегнете активирането на системи за откриване на плагиатство.

„И двата подхода имат достойнства, но идентифицирането на мрежи от изследователи, участващи в неправомерно поведение, може да бъде по-ценно“, казва Джеймс Бъчър, бивш издател на Nature и Lancet, който сега ръководи консултантската компания Journalology в Ливърпул, Обединеното кралство. „Това е така, защото инструментите за писане, подпомагани от AI, могат да се използват, за да помогнат на измамниците да избегнат очевидни текстови улики“, добавя той. Butcher добавя, че много големи издатели са разработили или закупили свои собствени инструменти за почтеност, за да проверяват за различни червени знамена в ръкописите.

Един от най-сложните проблеми за инструментите за интегритет, които разчитат предимно на записи за оттегляне на автори, е правилното разграничаване между автори с подобни имена - проблем, който може да изкриви числата на Argos. „Проблемът с дискриминацията на авторите е най-големият проблем в индустрията“, казва Адам Дей, основател на Clear Skies.

De Boer, който преди това е работил в Springer Nature, казва, че всеки може да създаде акаунт, за да използва Argos безплатно, но Scitility планира да продаде версия на инструмента на големи издатели и институции, които биха могли да го интегрират директно в своите работни процеси за проверка на ръкописи.

Butcher хвали прозрачността на екипа на Argos. „Трябва да има повече видимост за списанията и издателите, които избират преки пътища и не успяват да проявят подходяща грижа в работата, която публикуват и монетизират“, казва той.