Periódicos com alta proporção de artigos suspeitos sinalizados por startups de integridade científica

Periódicos com alta proporção de artigos suspeitos sinalizados por startups de integridade científica

Quais editoras e periódicos acadêmicos foram mais afetados por pesquisas fraudulentas ou questionáveis ​​— e quais fizeram menos para limpar seus portfólios? Uma start-up tecnológica fundada para ajudar os editores a identificar artigos potencialmente problemáticos tem algumas respostas e partilhou as suas descobertas iniciais com a Nature.

O site de integridade do conhecimento Argos, lançado em setembro pela Scitility, uma empresa de tecnologia com sede em Sparks, Nevada, atribui classificações de risco a artigos com base nas datas de publicação dos autores e se o artigo faz fortes referências a pesquisas que já foram retratadas. Um artigo classificado como “alto risco” pode ter múltiplos autores cujos outros estudos foram retratados por má conduta. Uma pontuação alta não prova que um item seja de baixa qualidade, mas indica que pode valer a pena revisá-lo.

Argos faz parte de um número crescente de ferramentas de verificação de integridade de pesquisa que procuram sinais de alerta em artigos. Isso inclui isso Alarme de fábrica de papel, desenvolvido pela Clear Skies, e Signals pela Research Signals, ambos de Londres. Como os desenvolvedores desse tipo de software vendem suas ferramentas de triagem de manuscritos aos editores, eles geralmente são cautelosos ao nomear os periódicos afetados. No entanto, a Argos, que oferece contas gratuitas a indivíduos e acesso mais amplo a auditores de integridade e jornalistas, é a primeira a fornecer informações públicas.

“Queríamos desenvolver uma tecnologia que pudesse detectar padrões ocultos e trazer transparência à indústria”, afirma Erik de Boer, cofundador da Scitility, com sede em Roosendaal, Holanda.

No início de outubro, Argos havia sinalizado mais de 40 mil itens de alto risco e 180 mil itens de médio risco. Também indexou mais de 50.000 artigos retratados.

Avaliação de risco dos editores

A análise da Argos mostra que a Hindawi, uma subsidiária extinta da editora londrina Wiley, tem o maior número e a maior proporção de artigos já retirados (ver “Editores em Risco”). Isso não é surpreendente porque Wiley tem retraiu mais de 10.000 artigos publicados pela Hindawi nos últimos dois anos, em resposta às preocupações levantadas por editores e revisores; isso representa mais de 4% do portfólio total da marca na última década. Uma de suas revistas, Evidence-based Complementary and Alternative Medicine, retirou 741 artigos, representando mais de 7% de sua produção.

As avaliações de risco da Argos marcam mais de mil artigos restantes da Hindawi – outros 0,65% – como continuando a ser de “alto risco”. Isso sugere que, embora a Wiley tenha feito muito para limpar seu portfólio, o problema ainda pode não estar completamente resolvido. A editora disse à Nature que acolhe Argos e ferramentas semelhantes e está trabalhando para resolver os problemas com Hindawi.

Outros editores parecem precisar de fazer muito mais investigação, uma vez que o número de retratações é pequeno em relação ao número de artigos de alto risco sinalizados pela Argos (os editores podem já ter investigado alguns destes artigos e decidido que nenhuma ação é necessária).

A editora Elsevier, sediada em Amsterdã, tem cerca de 5.000 retratações, mas mais de 11.400 artigos de alto risco, de acordo com a análise da Argos feita pela Nature – embora todos estes juntos representem pouco mais de 0,2% da produção da editora na última década. A editora MDPI retirou 311 artigos, mas tem mais de 3.000 artigos de alto risco – cerca de 0,24% de sua produção. Springer Nature possui mais de 6.000 retratações e mais de 6.000 artigos de alto risco; cerca de 0,3% de sua produção. (A equipe de notícias da Nature é independente de seu editor.)

Em resposta às perguntas, todas as divisões editoriais identificadas como os maiores fornecedores de artigos de alto risco afirmam que trabalham arduamente na integridade da investigação, utilizam a tecnologia para rever os artigos submetidos e que as suas retratações demonstram o seu compromisso em limpar conteúdos problemáticos.

A Springer Nature informou que lançou duas ferramentas em junho que, desde então, ajudaram a detectar centenas de envios de manuscritos falsos; vários editores levantaram sua colaboração em um centro de integridade comum que oferece software que pode sinalizar itens suspeitos. Jisuk Kang, gerente editorial da MDPI em Basileia, na Suíça, diz que produtos como o Argos fornecem indicações amplas de possíveis problemas, mas observa que a editora não pode verificar a precisão ou confiabilidade dos números no site. Ela acrescenta que as maiores editoras e revistas terão inevitavelmente um maior número de artigos de alto risco, pelo que a quota de produção é uma métrica melhor.

As marcas editoriais com maior proporção de artigos de alto risco em seus portfólios, segundo dados da Argos, são Impact Journals (0,82%), Spandidos (0,77%) e Ivyspring (0,67%). Impact Journals diz à Nature que embora suas revistas tenham tido problemas no passado, agora melhoraram sua integridade. A editora afirma que apareceu na revista Oncotarget nos últimos dois anos “0% de irregularidades” devido à introdução de ferramentas de verificação de imagens, como o Image Twin, que só foram disponibilizadas nos últimos anos. A Portland Press, que tem 0,41% de artigos de alto risco em seu portfólio, afirma ter tomado medidas corretas para melhorar as revisões rigorosas.

Avaliações de risco de revistas

Argos também oferece números para revistas individuais. Não é de surpreender que os títulos Hindawi se destaquem tanto no número como na proporção de artigos retratados, enquanto outras revistas têm muitos dos artigos identificados por Argos como de alto risco (ver “Journals at Risk”). Em volume, a megajornal Scientific Reports da Springer Nature lidera com 450 artigos de alto risco e 231 retratações, que juntos representam cerca de 0,3% de sua produção. Em 16 de outubro, um grupo de revisores escreveu um carta aberta à Springer Nature, o que levantou preocupações sobre artigos problemáticos na revista.

Em resposta, Chris Graf, chefe de integridade de pesquisa da Springer Nature, disse que a revista está investigando todas as questões levantadas. Ele acrescenta que a proporção de conteúdo destacado é relativamente baixa em comparação ao seu tamanho.

Periódicos com discrepâncias particularmente grandes entre o número de artigos retratados e artigos potencialmente suspeitos incluem o Sustainability Journal do MDPI (20 retratações e 312 artigos de alto risco; 0,4% da produção) e o Materials Today Proceedings da Elsevier (28 retratações e 308 artigos de alto risco; 0,8% da produção). A Biomedicina e Farmacoterapia da Elsevier tem a maior proporção de itens de alto risco – 1,61% de sua produção.

“O volume de materiais fraudulentos está a aumentar significativamente, apoiado por manipulações sistemáticas, como as ‘fábricas de papel’, que produzem conteúdos fraudulentos para fins comerciais, e conteúdos gerados por IA”, afirma um porta-voz da Elsevier, acrescentando que, em resposta, “estamos a aumentar o nosso investimento na supervisão humana, experiência e tecnologia”.

Dados abertos

Os desenvolvedores do Argos enfatizam que o site é baseado em dados abertos coletados por terceiros. As fontes incluem o site Retraction Watch, que mantém um banco de dados de artigos retratados – gratuito por meio de um acordo com a organização sem fins lucrativos CrossRef – que inclui os motivos de uma retratação para que as ferramentas que analisam os dados dos autores possam se concentrar nas retratações que mencionam má conduta. A análise também é baseada em Registros de artigos que fazem muita referência a trabalhos retratados, que foram compilados por Guillaume Cabanac, cientista da computação da Universidade de Toulouse, na França.

Embora a Argos também rastreie analistas que Redes de autores com histórico de má conduta Focus, outras ferramentas de verificação de integridade também sinalizam artigos com base em conteúdo suspeito, como semelhanças textuais com obras falsas ou "frases perturbadas", um termo cunhado por Cabanac quando os autores faça uma escolha estranha de palavras para evitar a ativação de sistemas de detecção de plágio.

“Ambas as abordagens têm mérito, mas identificar redes de investigadores envolvidos em má conduta pode ser mais valioso”, afirma James Butcher, antigo editor da Nature and Lancet que agora dirige a consultora Journalology em Liverpool, Reino Unido. “Isso ocorre porque ferramentas de escrita assistidas por IA poderiam ser usadas para ajudar os fraudadores a evitar pistas textuais óbvias”, acrescenta. Butcher acrescenta que muitas grandes editoras desenvolveram ou adquiriram suas próprias ferramentas de integridade para verificar vários sinais de alerta em manuscritos.

Um dos problemas mais complicados para ferramentas de integridade que dependem principalmente de registros de retratação de autores é distinguir corretamente entre autores com nomes semelhantes – um problema que poderia distorcer os números de Argos. “O problema da discriminação do autor é o maior problema que a indústria enfrenta”, diz Adam Day, fundador da Clear Skies.

De Boer, que trabalhou anteriormente na Springer Nature, diz que qualquer pessoa pode criar uma conta para usar o Argos gratuitamente, mas a Scitility planeja vender uma versão da ferramenta para grandes editoras e instituições que possam integrá-la diretamente em seus fluxos de trabalho de triagem de manuscritos.

Butcher elogia a transparência da equipe da Argos. “É preciso haver mais visibilidade para revistas e editoras que tomam atalhos e não exercem os devidos cuidados no trabalho que publicam e monetizam”, afirma.