Czasopisma z dużym odsetkiem podejrzanych artykułów oznaczonych przez start-upy zajmujące się uczciwością naukową

Czasopisma z dużym odsetkiem podejrzanych artykułów oznaczonych przez start-upy zajmujące się uczciwością naukową

Którzy wydawcy i czasopisma akademickie ucierpiały najbardziej z powodu oszukańczych lub wątpliwych badań, a które zrobiły najmniej, aby uporządkować swoje portfolio? Start-up technologiczny założony, aby pomóc wydawcom identyfikować potencjalnie problematyczne artykuły, ma kilka odpowiedzi i podzielił się swoimi wstępnymi ustaleniami z Nature.

Witryna poświęcona integralności wiedzy Argos, uruchomiona we wrześniu przez Scitility, firmę technologiczną z siedzibą w Sparks w stanie Nevada, przypisuje ocenę ryzyka artykułom na podstawie dat publikacji autorów oraz tego, czy artykuł w dużym stopniu odwołuje się do badań, które zostały już wycofane. Artykuł sklasyfikowany jako „wysokiego ryzyka” może mieć wielu autorów, których inne badania zostały wycofane z powodu niewłaściwego postępowania. Wysoki wynik nie oznacza, że ​​produkt jest niskiej jakości, ale wskazuje, że może warto go sprawdzić.

Argos to jedno z rosnącej liczby narzędzi do sprawdzania rzetelności badań, które wyszukują w artykułach sygnały ostrzegawcze. Należą do nich to Alarm w papierni, opracowane przez Clear Skies i Signals przez Research Signals, oba z Londynu. Ponieważ twórcy takiego oprogramowania sprzedają wydawcom swoje narzędzia do sprawdzania manuskryptów, zazwyczaj ostrożnie podają nazwy czasopism, których to dotyczy. Jednakże Argos, który oferuje bezpłatne konta osobom fizycznym i szerszy dostęp dla audytorów rzetelności i dziennikarzy, jako pierwszy zapewnia wgląd opinii publicznej.

„Chcieliśmy opracować technologię, która mogłaby wykryć ukryte wzorce i zapewnić przejrzystość branży” – mówi Erik de Boer, współzałożyciel Scitility z siedzibą w Roosendaal w Holandii.

Na początku października firma Argos oznaczyła ponad 40 000 pozycji wysokiego i 180 000 średniego ryzyka. Zaindeksowano także ponad 50 000 wycofanych artykułów.

Ocena ryzyka wydawców

Analiza Argos pokazuje, że Hindawi, nieistniejąca już spółka zależna londyńskiego wydawcy Wiley, ma największą liczbę i najwyższy odsetek artykułów już wycofanych (patrz „Zagrożeni wydawcy”). Nie jest to zaskakujące, ponieważ Wiley tak wycofało ponad 10 000 artykułów opublikowanych przez Hindawi w ciągu ostatnich dwóch lat, w odpowiedzi na zastrzeżenia wyrażone przez redaktorów i recenzentów; stanowi to ponad 4% całkowitego portfolio marki w ciągu ostatniej dekady. Jedno z jego czasopism, Evidence-Based Complementary and Alternative Medicine, wycofało 741 artykułów, co stanowi ponad 7% jego publikacji.

Oceny ryzyka przeprowadzone przez firmę Argos wskazują, że ponad tysiąc pozostałych artykułów w języku hindawi – kolejne 0,65% – nadal stanowi „wysokie ryzyko”. Sugeruje to, że chociaż Wiley zrobił wiele, aby uporządkować swoje portfolio, problem może nie zostać jeszcze całkowicie rozwiązany. Wydawca powiedział Nature, że z zadowoleniem przyjmuje Argos i podobne narzędzia oraz pracuje nad rozwiązaniem problemów z językiem hindawi.

Wydaje się, że inni wydawcy muszą przeprowadzić znacznie dokładniejsze dochodzenie, ponieważ liczba wycofań jest niewielka w porównaniu z liczbą artykułów wysokiego ryzyka oznaczonych przez Argos (wydawcy mogli już sprawdzić niektóre z tych artykułów i zdecydowali, że nie są konieczne żadne działania).

Z analizy Argos przeprowadzonej przez Nature wynika, że ​​wydawca Elsevier z Amsterdamu wycofał swoje artykuły około 5000, ale ponad 11 400 artykułów wysokiego ryzyka – chociaż wszystkie one łącznie stanowią nieco ponad 0,2% publikacji wydawcy w ciągu ostatniej dekady. Wydawca MDPI wycofał 311 artykułów, ale ma ponad 3000 artykułów wysokiego ryzyka, co stanowi około 0,24% jego publikacji. Springer Nature ma ponad 6000 wycofań i ponad 6000 artykułów wysokiego ryzyka; około 0,3% jego produkcji. (Zespół informacyjny Nature jest niezależny od wydawcy.)

W odpowiedzi na zapytania wszystkie działy wydawnicze zidentyfikowane jako najwięksi dostawcy artykułów wysokiego ryzyka twierdzą, że ciężko pracują nad rzetelnością badań, wykorzystują technologię do sprawdzania nadesłanych artykułów, a ich wycofania świadczą o ich zaangażowaniu w usuwanie problematycznych treści.

Firma Springer Nature poinformowała, że ​​w czerwcu uruchomiła dwa narzędzia, które od tego czasu pomogły wykryć setki przesłanych fałszywych manuskryptów; kilku wydawców podniosło współpracę w jednym wspólne centrum uczciwości która oferuje oprogramowanie, które może oznaczać podejrzane elementy. Jisuk Kang, kierownik ds. wydawniczych w MDPI w Bazylei w Szwajcarii, twierdzi, że produkty takie jak Argos dają szerokie wskazówki dotyczące potencjalnych problemów, zauważa jednak, że wydawca nie jest w stanie zweryfikować dokładności ani wiarygodności liczb podanych na stronie internetowej. Dodaje, że najwięksi wydawcy i czasopisma nieuchronnie będą mieli większą liczbę artykułów wysokiego ryzyka, więc lepszym miernikiem jest udział w produkcji.

Marki wydawnicze z najwyższym udziałem artykułów wysokiego ryzyka w swoim portfolio, według danych Argos, to Impact Journals (0,82%), Spandidos (0,77%) i Ivyspring (0,67%). Impact Journals mówi Nature, że chociaż w przeszłości jego czasopisma napotykały problemy, obecnie poprawiły swoją rzetelność. Wydawca podaje, że ukazywał się w czasopiśmie Oncotarget w ciągu ostatnich dwóch lat „0% nieprawidłowości” ze względu na wprowadzenie narzędzi do weryfikacji obrazu, takich jak Image Twin, które stały się dostępne dopiero w ostatnich latach. Portland Press, który ma w swoim portfolio 0,41% artykułów wysokiego ryzyka, twierdzi, że podjął właściwe kroki w celu poprawy rygorystyczności recenzji.

Oceny ryzyka w czasopismach

Argos oferuje także numery do poszczególnych magazynów. Nic dziwnego, że tytuły w języku hindawi wyróżniają się zarówno liczbą, jak i odsetkiem wycofanych artykułów, podczas gdy w innych czasopismach Argos wiele artykułów określiło jako artykuły wysokiego ryzyka (patrz „Journals at Risk”). Pod względem objętości wiodącym megaczasopismem Scientific Reports wydawnictwa Springer Nature jest 450 artykułów obarczonych wysokim ryzykiem i 231 wycofań, co łącznie stanowi około 0,3% jego publikacji. 16 października grupa recenzentów napisała jeden list otwarty do Springer Nature, co wzbudziło obawy dotyczące problematycznych artykułów w czasopiśmie.

W odpowiedzi Chris Graf, dyrektor ds. rzetelności badań w Springer Nature, powiedział, że czasopismo bada każdą podniesioną kwestię. Dodaje, że odsetek wyróżnionych treści jest stosunkowo niewielki w stosunku do ich wielkości.

Do czasopism, w których występują szczególnie duże rozbieżności między liczbą wycofanych artykułów a potencjalnie podejrzanymi artykułami, należą Sustainability Journal MDPI (20 wycofań i 312 artykułów wysokiego ryzyka; 0,4% produkcji) oraz Materials Today Proceedings firmy Elsevier (28 wycofań i 308 artykułów wysokiego ryzyka; 0,8% produkcji). Największy udział produktów obarczonych wysokim ryzykiem ma dział Biomedycyna i Farmakoterapia firmy Elsevier — 1,61% całej produkcji.

„Ilość fałszywych materiałów znacznie wzrasta, czemu sprzyjają systematyczne manipulacje, takie jak „papiernie”, które produkują oszukańcze treści do celów komercyjnych oraz treści generowane przez sztuczną inteligencję” – mówi rzecznik Elsevier, dodając, że w odpowiedzi „zwiększamy nasze inwestycje w nadzór ludzki, wiedzę specjalistyczną i technologię”.

Otwórz dane

Twórcy Argos podkreślają, że serwis powstał w oparciu o otwarte dane zebrane przez innych. Źródła obejmują witrynę Retraction Watch, która prowadzi bazę danych wycofanych artykułów – bezpłatnie w ramach umowy z organizacją non-profit CrossRef – zawierającą powody wycofania, dzięki czemu narzędzia przeglądające dane autora mogą skupiać się na wycofaniach zawierających wzmiankę o niewłaściwym postępowaniu. Analiza opiera się również na Zapisy artykułów, które w dużym stopniu odwołują się do dzieł wycofanych, które zostały opracowane przez Guillaume'a Cabanaca, informatyka z Uniwersytetu w Tuluzie we Francji.

Chociaż Argos śledzi również analityków, którzy Sieci autorów, których historia dotyczyła niewłaściwego postępowania Focus, inne narzędzia do sprawdzania integralności również oznaczają artykuły na podstawie podejrzanych treści, takich jak bliskie podobieństwa tekstowe do fałszywych dzieł lub „zaburzone wyrażenia” – termin ukuty przez Cabanaca, gdy autorzy dokonać dziwnego doboru słów aby uniknąć aktywacji systemów wykrywania plagiatu.

„Obydwa podejścia mają zalety, ale bardziej wartościowe może być zidentyfikowanie sieci badaczy zajmujących się niewłaściwym postępowaniem” – mówi James Butcher, były wydawca Nature i Lancet, który obecnie prowadzi firmę doradczą Journalology w Liverpoolu w Wielkiej Brytanii. „Dzieje się tak, ponieważ narzędzia do pisania wspomagane sztuczną inteligencją mogą pomóc oszustom uniknąć oczywistych wskazówek tekstowych” – dodaje. Butcher dodaje, że wielu dużych wydawców opracowało lub zakupiło własne narzędzia do sprawdzania rzetelności w celu sprawdzania rękopisów pod kątem różnych sygnałów ostrzegawczych.

Jednym z najtrudniejszych problemów w przypadku narzędzi zapewniających uczciwość, które opierają się głównie na danych o wycofaniu się autora, jest prawidłowe rozróżnienie autorów o podobnych nazwiskach — problem, który może wypaczyć liczby Argos. „Problem dyskryminacji autorów to największy problem branży” – mówi Adam Day, założyciel Clear Skies.

De Boer, który wcześniej pracował w Springer Nature, twierdzi, że każdy może założyć konto, aby móc bezpłatnie korzystać z Argos, ale Scitility planuje sprzedać wersję tego narzędzia głównym wydawcom i instytucjom, które mogłyby zintegrować je bezpośrednio ze swoimi procesami przeglądania manuskryptów.

Butcher chwali przejrzystość zespołu Argos. „Czasopisma i wydawcy, którzy idą na skróty i nie zachowują należytej staranności w swoich publikacjach i na nich zarabiają, muszą być bardziej widoczni” – mówi.