Žurnāli ar lielu aizdomīgu rakstu īpatsvaru, ko atzīmējuši zinātnes integritātes jaunizveidotie uzņēmumi

Žurnāli ar lielu aizdomīgu rakstu īpatsvaru, ko atzīmējuši zinātnes integritātes jaunizveidotie uzņēmumi

Kurus akadēmiskos izdevējus un žurnālus visvairāk skāruši krāpnieciski vai apšaubāmi pētījumi — un kuri ir darījuši vismazāk, lai sakārtotu savus portfeļus? Tehnoloģiju jaunuzņēmumam, kas dibināts, lai palīdzētu izdevējiem identificēt potenciāli problemātiskus rakstus, ir dažas atbildes, un tas ir kopīgojis savus sākotnējos atklājumus ar Nature.

Zināšanu integritātes vietne Argos, ko septembrī atklāja tehnoloģiju uzņēmums Scitility, kas atrodas Sparksā, Nevadas štatā, rakstiem piešķir riska vērtējumus, pamatojoties uz autoru publicēšanas datumiem un to, vai rakstā ir liela atsauce uz pētījumiem, kas jau ir atsaukti. Rakstam, kas klasificēts kā “augsta riska”, var būt vairāki autori, kuru citi pētījumi tika atsaukti nepareizas rīcības dēļ. Augsts rādītājs nepierāda, ka prece ir zemas kvalitātes, taču norāda, ka tas varētu būt pārskatīšanas vērts.

Argos ir viens no pieaugošajiem pētījumu integritātes pārbaudes rīkiem, kas rakstos meklē sarkanos karogus. Tie ietver šo Papīrfabrikas signalizācija, ko izstrādājusi Clear Skies, un Signals by Research Signals, abi no Londonas. Tā kā šādas programmatūras izstrādātāji pārdod savus manuskriptu pārbaudes rīkus izdevējiem, viņi parasti ir piesardzīgi attiecībā uz ietekmēto žurnālu nosaukšanu. Tomēr Argos, kas piedāvā bezmaksas kontus privātpersonām un plašāku piekļuvi godīguma auditoriem un žurnālistiem, ir pirmais, kas sniedz publisku ieskatu.

"Mēs vēlējāmies izstrādāt tehnoloģiju, kas varētu atklāt slēptos modeļus un nodrošināt nozares caurspīdīgumu," saka Ēriks de Būrs, Scitility līdzdibinātājs, kas atrodas Roosendaal, Nīderlandē.

Oktobra sākumā Argos bija atzīmējis vairāk nekā 40 000 augsta riska un 180 000 vidēja riska preču. Tas ir arī indeksējis vairāk nekā 50 000 atsauktu rakstu.

Izdevēju riska novērtējums

Argos analīze liecina, ka Hindawi, kas ir Londonas izdevēja Wiley meitasuzņēmums, kas tagad ir likvidēts, ir vislielākais jau izņemto rakstu skaits un lielākā daļa (skatiet sadaļu "Riska izdevēji"). Tas nav pārsteidzoši, jo Wiley ir pēdējo divu gadu laikā atsauca vairāk nekā 10 000 Hindawi publicēto rakstu, atbildot uz redaktoru un recenzentu paustajām bažām; tas veido vairāk nekā 4% no zīmola kopējā portfeļa pēdējās desmitgades laikā. Viens no tā žurnāliem, uz pierādījumiem balstīta komplementārā un alternatīvā medicīna, ir atsaukusi 741 rakstu, kas veido vairāk nekā 7% no tā produkcijas.

Argos riska novērtējumi atzīmē, ka vairāk nekā tūkstotis atlikušo Hindawi rakstu — vēl 0,65% — joprojām ir “augsta riska pakāpe”. Tas liek domāt, ka, lai gan Wiley ir daudz darījis, lai iztīrītu savu portfeli, problēma, iespējams, vēl nav pilnībā atrisināta. Izdevējs pastāstīja Nature, ka atzinīgi vērtē Argos un līdzīgus rīkus un strādā, lai atrisinātu problēmas ar Hindawi.

Šķiet, ka citiem izdevējiem ir jāveic daudz vairāk izmeklēšanas, jo atsaukšanas gadījumu skaits ir neliels, salīdzinot ar Argos atzīmēto augsta riska rakstu skaitu (izdevēji, iespējams, jau ir izmeklējuši dažus no šiem rakstiem un nolēma, ka nekādas darbības nav nepieciešamas).

Saskaņā ar Nature veikto Argos analīzi Amsterdamas izdevējam Elsevier ir aptuveni 5000 atsaukumu, bet vairāk nekā 11 400 augsta riska rakstu, lai gan tie visi kopā veido tikai nedaudz vairāk par 0,2% no izdevēja pēdējās desmitgades produkcijas. Izdevējs MDPI ir atsaucis 311 rakstus, bet tam ir vairāk nekā 3000 augsta riska rakstu — aptuveni 0,24% no tā produkcijas. Springer Nature ir vairāk nekā 6000 ievilkšanas gadījumu un vairāk nekā 6000 augsta riska rakstu; apmēram 0,3% no saražotās produkcijas. (Dabas ziņu komanda ir neatkarīga no izdevēja.)

Atbildot uz jautājumiem, visas izdevējdarbības nodaļas, kas identificētas kā lielākie augsta riska rakstu nodrošinātāji, apgalvo, ka tās smagi strādā pie pētniecības integritātes, izmanto tehnoloģiju, lai pārskatītu iesniegtos rakstus, un ka to atsaukumi liecina par apņemšanos iztīrīt problemātisku saturu.

Springer Nature ziņoja, ka jūnijā laidis klajā divus rīkus, kas kopš tā laika ir palīdzējuši atklāt simtiem viltotu manuskriptu iesniegumu; vairāki izdevēji izvirzīja savu sadarbību vienā kopīgs integritātes centrs kas piedāvā programmatūru, kas var atzīmēt aizdomīgus vienumus. Jisuks Kang, MDPI izdevējdarbības vadītājs Bāzelē, Šveicē, saka, ka tādi produkti kā Argos sniedz plašas norādes par iespējamām problēmām, taču atzīmē, ka izdevējs nevar pārbaudīt vietnē norādīto skaitļu precizitāti vai uzticamību. Viņa piebilst, ka lielākajiem izdevējiem un žurnāliem neizbēgami būs lielāks augsta riska rakstu skaits, tāpēc produkcijas īpatsvars ir labāks rādītājs.

Izdevniecības zīmoli, kuru portfeļos ir visaugstākais augsta riska rakstu īpatsvars, saskaņā ar Argos datiem ir Impact Journals (0,82%), Spandidos (0,77%) un Ivyspring (0,67%). Ietekmes žurnāli stāsta Nature, ka, lai gan tās žurnāliem ir bijušas problēmas pagātnē, tagad tie ir uzlabojuši savu integritāti. Izdevējs norāda, ka tas ir parādījies žurnālā Oncotarget pēdējo divu gadu laikā “0% pārkāpumu” jo tika ieviesti attēlu pārbaudes rīki, piemēram, Image Twin, kas ir kļuvuši pieejami tikai pēdējos gados. Portland Press, kura portfelī ir 0,41% augsta riska rakstu, apgalvo, ka tā ir veikusi pareizus pasākumus, lai uzlabotu stingros pārskatus.

Žurnālu riska novērtējumi

Argos piedāvā arī numurus atsevišķiem žurnāliem. Nav pārsteidzoši, ka Hindawi nosaukumi izceļas gan atsaukto rakstu skaita, gan proporcijas ziņā, savukārt citos žurnālos daudzi raksti, ko Argos atzinis par augsta riska pakāpi (sk. “Riskam pakļauti žurnāli”). Pēc apjoma Springer Nature lielais žurnāls Scientific Reports ir vadošais ar 450 augsta riska rakstiem un 231 atsaukšanu, kas kopā veido aptuveni 0,3% no tā produkcijas. 16. oktobrī recenzentu grupa uzrakstīja vienu atklāta vēstule Springer Nature, kas radīja bažas par problemātiskiem rakstiem žurnālā.

Atbildot uz to, Springer Nature pētniecības integritātes vadītājs Kriss Grafs sacīja, ka žurnāls pēta katru izvirzīto problēmu. Viņš piebilst, ka izceltā satura īpatsvars salīdzinājumā ar tā apjomu ir salīdzinoši zems.

Žurnāli, kuros ir īpaši lielas neatbilstības starp atsaukto rakstu skaitu un potenciāli aizdomīgiem rakstiem, ir MDPI Sustainability Journal (20 atsaukumi un 312 augsta riska raksti; 0,4% no produkcijas) un Elsevier's Materials Today Proceedings (28 atsaukumi un 308 augsta riska raksti; 0,8% produkcijas). Elsevier's Biomedicine & Pharmacotherapy ir visaugstākais augsta riska preču īpatsvars — 1,61% no tās produkcijas.

"Krāpniecisku materiālu apjoms ievērojami palielinās, ko atbalsta tādas sistemātiskas manipulācijas kā "papīrfabrikas", kas ražo krāpniecisku saturu komerciālos nolūkos, un mākslīgā intelekta radīts saturs," saka Elsevier pārstāvis, piebilstot, ka, atbildot uz to, "mēs palielinām savus ieguldījumus cilvēku uzraudzībā, kompetencē un tehnoloģijās."

Atvērtie dati

Argos izstrādātāji uzsver, ka vietne ir balstīta uz atklātajiem datiem, ko apkopojuši citi. Avoti ietver vietni Retraction Watch, kurā tiek uzturēta atsaukto rakstu datubāze (bez maksas, noslēdzot līgumu ar bezpeļņas organizāciju CrossRef), kurā ir ietverti atsaukšanas iemesli, lai rīki, kas pārskata autora datus, varētu koncentrēties uz atsaukumiem, kuros minēts pārkāpums. Analīzes pamatā ir arī To rakstu ieraksti, kuros ir liela atsauce uz atsauktiem darbiem, kuras apkopoja Guillaume Cabanac, datorzinātnieks no Tulūzas universitātes Francijā.

Lai gan Argos arī izseko analītiķus, kuri Autoru tīkli ar nepareizu izturēšanos Focus, citi integritātes pārbaudes rīki arī atzīmē rakstus, kuru pamatā ir aizdomīgs saturs, piemēram, ciešas tekstuālas līdzības ar viltotiem darbiem vai "traucētās frāzes" — termins, ko Cabanac ieviesa, kad autori izdari dīvainu vārdu izvēli lai izvairītos no plaģiāta noteikšanas sistēmu aktivizēšanas.

"Abām pieejām ir priekšrocības, taču vērtīgāk var būt tādu pētnieku tīklu identificēšana, kuri iesaistās pārkāpumos," saka Džeimss Butčers, bijušais Nature un Lancet izdevējs, kurš tagad vada konsultāciju uzņēmumu Journalology Liverpūlē, Apvienotajā Karalistē. "Tas ir tāpēc, ka ar AI atbalstītus rakstīšanas rīkus var izmantot, lai palīdzētu krāpniekiem izvairīties no acīmredzamām teksta norādēm," viņš piebilst. Miesnieks piebilst, ka daudzi lielākie izdevēji ir izstrādājuši vai iegādājušies savus integritātes rīkus, lai pārbaudītu, vai manuskriptos nav dažādu sarkano karodziņu.

Viena no sarežģītākajām integritātes rīku problēmām, kas galvenokārt balstās uz autoru atsaukšanas ierakstiem, ir pareizi atšķirt autorus ar līdzīgiem nosaukumiem — problēma, kas varētu izkropļot Argosa skaitļus. “Autoru diskriminācijas problēma ir lielākā nozares problēma,” saka Ādams Dejs, Clear Skies dibinātājs.

De Būrs, kurš iepriekš strādāja Springer Nature, saka, ka ikviens var izveidot kontu, lai bez maksas izmantotu Argos, taču Scitility plāno pārdot rīka versiju lielākajiem izdevējiem un iestādēm, kas to varētu tieši integrēt savās manuskriptu pārbaudes darbplūsmās.

Miesnieks uzteic Argos komandas caurspīdīgumu. "Jābūt lielākai pamanāmībai žurnāliem un izdevējiem, kuri izmanto īsceļus un neveic pienācīgu rūpību darbā, ko tie publicē un pelna," viņš saka.