Lehdet, joissa on suuri määrä epäilyttäviä artikkeleita, jotka ovat ilmoittaneet tieteen eheyden startupeista

Lehdet, joissa on suuri määrä epäilyttäviä artikkeleita, jotka ovat ilmoittaneet tieteen eheyden startupeista

Mihin akateemisiin kustantajiin ja lehtiin petollinen tai kyseenalainen tutkimus on vaikuttanut eniten – ja mitkä ovat tehneet vähiten puhdistaakseen portfolionsa? Teknologia-start-up, joka perustettiin auttamaan julkaisijoita tunnistamaan mahdollisesti ongelmalliset artikkelit, on saanut vastauksia, ja se on jakanut alkuperäiset havainnot Naturelle.

Sparksissa, Nevadassa sijaitsevan teknologiayrityksen Scitilityn syyskuussa lanseeraama tiedon eheyssivusto Argos antaa artikkeleille riskiluokituksia tekijöiden julkaisupäivien ja sen perusteella, viittaako artikkeli voimakkaasti jo peruttuihin tutkimuksiin. "Korkean riskin" luokitellulla artikkelilla voi olla useita kirjoittajia, joiden muut tutkimukset peruutettiin väärinkäytösten vuoksi. Korkea pistemäärä ei osoita, että tuote on heikkolaatuinen, mutta se osoittaa, että se saattaa olla arvioimisen arvoinen.

Argos on yksi kasvavasta määrästä tutkimuksen eheyden tarkistustyökaluja, jotka etsivät punaisia ​​lippuja artikkeleista. Näihin kuuluu tämä Paperitehtaan hälytys, jonka on kehittänyt Clear Skies, ja Signals by Research Signals, molemmat Lontoosta. Koska tällaisten ohjelmistojen kehittäjät myyvät käsikirjoitusten seulontatyökalujaan julkaisijoille, he ovat yleensä varovaisia ​​nimeämään vaikuttavia lehtiä. Argos, joka tarjoaa ilmaisia ​​tilejä yksityishenkilöille ja laajemman pääsyn rehellisyyden tarkastajille ja toimittajille, on kuitenkin ensimmäinen, joka tarjoaa julkista tietoa.

"Halusimme kehittää teknologian, joka havaitsee piilotetut kuviot ja tuo läpinäkyvyyttä alalle", sanoo Erik de Boer, yksi Scitilityn perustajista Roosendaalissa, Hollannissa.

Lokakuun alussa Argos oli ilmoittanut yli 40 000 korkean riskin ja 180 000 keskiriskistä tuotetta. Se on myös indeksoinut yli 50 000 peruttua artikkelia.

Julkaisijoiden riskinarviointi

Argosin analyysi osoittaa, että Hindawilla, Lontoon kustantajan Wileyn nyt lakkautetulla tytäryhtiöllä, on eniten ja suurin osa jo poistetuista artikkeleista (katso "Publishers at Risk"). Se ei ole yllättävää, koska Wileyllä on peruuttanut yli 10 000 Hindawin julkaisemaa artikkelia kahden viime vuoden aikana, vastauksena toimittajien ja arvioijien esittämiin huolenaiheisiin; tämä on yli 4 % brändin kokonaissalkusta viimeisen vuosikymmenen aikana. Yksi sen lehdistä, Evidence-based Complementary and Alternative Medicine, on perunut 741 artikkelia, mikä vastaa yli 7 prosenttia sen tuotoksesta.

Argosin riskiarvioinnit merkitsevät yli tuhat jäljellä olevaa Hindawi-artikkelia – toiset 0,65 prosenttia – edelleen "korkean riskin". Tämä viittaa siihen, että vaikka Wiley on tehnyt paljon salkkunsa puhdistamiseksi, ongelmaa ei ehkä ole vielä täysin ratkaistu. Kustantaja kertoi Naturelle, että se toivottaa Argosin ja vastaavat työkalut tervetulleeksi ja pyrkii ratkaisemaan Hindawin ongelmat.

Muut kustantajat näyttävät tarvitsevan paljon enemmän tutkimuksia, koska peruutusten määrä on pieni suhteessa Argosin ilmoittamien riskialttiiden artikkeleiden määrään (julkaisijat ovat saattaneet jo tutkia osan näistä artikkeleista ja päättäneet, että toimia ei tarvita).

Amsterdamissa sijaitsevalla kustantajalla Elsevierillä on noin 5 000 peruutusta, mutta yli 11 400 riskialtista artikkelia Naturen Argos-analyysin mukaan – vaikka kaikki nämä yhdessä muodostavat hieman yli 0,2 % kustantajan tuotosta viimeisen vuosikymmenen aikana. Kustantaja MDPI on poistanut 311 artikkelia, mutta sillä on yli 3 000 korkean riskin artikkelia – noin 0,24 % sen tuotannosta. Springer Naturessa on yli 6 000 palautusta ja yli 6 000 riskialtista tuotetta; noin 0,3 % tuotannostaan. (Naturen uutisryhmä on julkaisijastaan ​​riippumaton.)

Vastauksissa kyselyihin kaikki julkaisujaostot, jotka on tunnistettu suurimpiksi riskiartikkeleiden tarjoajiksi, kertovat työskentelevänsä kovasti tutkimuksen eheyden eteen, käyttävänsä teknologiaa lähetettyjen artikkeleiden tarkistamiseen ja että niiden peruutukset osoittavat sitoutumisensa ongelmallisen sisällön puhdistamiseen.

Springer Nature raportoi, että se julkaisi kesäkuussa kaksi työkalua, jotka ovat sittemmin auttaneet havaitsemaan satoja väärennettyjä käsikirjoituksia; useat kustantajat nostivat yhteistyönsä yhteen yhteinen eheyskeskus joka tarjoaa ohjelmiston, joka voi merkitä epäilyttävät kohteet. Jisuk Kang, MDPI:n julkaisupäällikkö Baselissa Sveitsissä, sanoo, että Argosin kaltaiset tuotteet antavat laajoja viitteitä mahdollisista ongelmista, mutta huomauttaa, että julkaisija ei voi varmistaa verkkosivustolla olevien numeroiden tarkkuutta tai luotettavuutta. Hän lisää, että suurimmilla kustantajilla ja aikakauslehdillä on väistämättä enemmän riskiartikkeleita, joten tuotannon osuus on parempi mittari.

Kustannusbrändit, joiden portfolioissa on eniten riskialttiita artikkeleita, ovat Argosin tietojen mukaan Impact Journals (0,82 %), Spandidos (0,77 %) ja Ivyspring (0,67 %). Impact Journals kertoo Naturelle, että vaikka sen lehdissä on ollut ongelmia aiemmin, ne ovat nyt parantaneet eheyttään. Kustantaja kertoo, että se on ilmestynyt Oncotarget-lehdessä viimeisen kahden vuoden aikana "0 % epäsäännöllisyyksiä" kuvanvarmistustyökalujen, kuten Image Twinin, käyttöönoton vuoksi, jotka ovat tulleet saataville vasta viime vuosina. Portland Press, jonka portfoliossaan on 0,41 % riskialttiita artikkeleita, sanoo ryhtyneensä oikeisiin toimenpiteisiin parantaakseen tarkkoja arvioita.

Aikakauslehtien riskiarvioinnit

Argos tarjoaa myös yksittäisten lehtien numeroita. Ei ole yllättävää, että hindawi-tekstit erottuvat sekä peruutettujen papereiden lukumäärän että osuuden osalta, kun taas muissa lehdissä on monia Argosin riskialttiiksi tunnistamia artikkeleita (katso "Journals at Risk"). Määrältään Springer Naturen megalehti Scientific Reports johtaa 450 korkean riskin artikkelia ja 231 palautusta, jotka yhdessä edustavat noin 0,3 prosenttia sen tuotoksesta. Lokakuun 16. päivänä ryhmä arvioijia kirjoitti sellaisen avoin kirje Springer Naturelle, joka herätti huolta lehden ongelmallisista artikkeleista.

Springer Naturen tutkimuksen eheyden johtaja Chris Graf sanoi vastauksena, että lehti tutkii jokaista esiin nostettua asiaa. Hän lisää, että korostetun sisällön osuus on suhteellisen pieni sen kokoon verrattuna.

Aikakauslehtiä, joissa on erityisen suuria eroja vedettyjen julkaisujen ja mahdollisesti epäilyttävien artikkelien välillä, ovat MDPI:n Sustainability Journal (20 peruutusta ja 312 korkean riskin artikkelia; 0,4 % tuotannosta) ja Elsevierin Materials Today Proceedings (28 peruutusta ja 308 korkean riskin artikkelia; 0,8 % tuotannosta). Elsevierin Biomedicine & Pharmacotherapy sisältää eniten riskialttiita tuotteita – 1,61 % sen tuotannosta.

"Petollisen materiaalin määrä kasvaa merkittävästi, ja sitä tukevat systemaattiset manipulaatiot, kuten "paperitehtaat", jotka tuottavat petollista sisältöä kaupallisiin tarkoituksiin, ja tekoälyn tuottamaa sisältöä", Elsevierin tiedottaja lisää ja lisää, että vastauksena "lisäämme investointejamme inhimilliseen valvontaan, asiantuntemukseen ja teknologiaan."

Avoin data

Argosin kehittäjät korostavat, että sivusto perustuu muiden keräämään avoimeen dataan. Lähteitä ovat muun muassa Retraction Watch -sivusto, joka ylläpitää tietokantaa peruutetuista artikkeleista – maksutta voittoa tavoittelemattoman CrossRefin kanssa tehdyn sopimuksen perusteella –, joka sisältää peruuttamisen syyt, jotta tekijän tietoja tarkistavat työkalut voivat keskittyä väärinkäytöksistä mainitseviin peruutuksiin. Analyysi perustuu myös Tietueet artikkeleista, joissa viitataan voimakkaasti peruutettuihin teoksiin, jotka on koonnut Guillaume Cabanac, tietotekniikan tutkija Toulousen yliopistosta Ranskasta.

Vaikka Argos myös seuraa analyytikot, jotka Kirjoittajien verkostot, joilla on ollut väärinkäytöksiä Focus, muut eheyden tarkistustyökalut merkitsevät myös artikkelit, jotka perustuvat epäilyttävään sisältöön, kuten läheisiin tekstin yhtäläisyyksiin väärennettyjen teosten kanssa tai "häiriintyneisiin fraaseihin", jonka Cabanac keksi kirjoittaessaan tehdä outoja sanoja plagioinnin havaitsemisjärjestelmien aktivoimisen välttämiseksi.

"Molemmat lähestymistavat ovat ansioita, mutta väärinkäytöksiin syyllistyneiden tutkijoiden verkostojen tunnistaminen voi olla arvokkaampaa", sanoo James Butcher, entinen Nature and Lancet -kustantaja, joka nyt johtaa konsulttiyritys Journalologya Liverpoolissa, Isossa-Britanniassa. "Tämä johtuu siitä, että tekoälyavusteisia kirjoitustyökaluja voidaan käyttää auttamaan huijareita välttämään ilmeisiä tekstivihjeitä", hän lisää. Butcher lisää, että monet suuret kustantajat ovat kehittäneet tai ostaneet omia eheystyökalujaan tarkistaakseen, onko käsikirjoituksista erilaisia ​​punaisia ​​lippuja.

Yksi vaikeimmista ongelmista eheystyökaluissa, jotka perustuvat ensisijaisesti tekijänperuutustietueisiin, on samannimisen tekijöiden oikea erottaminen toisistaan ​​– ongelma, joka saattaa vääristää Argosin lukuja. "Tekijöiden syrjinnän ongelma on alan suurin ongelma", sanoo Adam Day, Clear Skiesin perustaja.

Aiemmin Springer Naturessa työskennellyt De Boer sanoo, että kuka tahansa voi luoda tilin käyttääkseen Argosia ilmaiseksi, mutta Scitility aikoo myydä työkalun version suurimmille kustantajille ja instituutioille, jotka voisivat integroida sen suoraan käsikirjoituksen seulontatyönkulkuihinsa.

Butcher kehuu Argos-joukkueen läpinäkyvyyttä. "Tarvitsee enemmän näkyvyyttä aikakauslehdille ja kustantajille, jotka käyttävät oikoteitä eivätkä ole asianmukaisesti varovaisia ​​julkaisemassaan ja kaupallistamassaan työhön", hän sanoo.