被科学诚信初创公司标记为可疑文章比例较高的期刊

Transparenz: Redaktionell erstellt und geprüft.
Veröffentlicht am

Argos 的一项新分析揭示了哪些学术出版商在可疑研究方面最困难,以及他们如何清理其出版物。

Eine neue Analyse von Argos deckt auf, welche wissenschaftlichen Verlage am meisten mit fragwürdigen Studien kämpfen und wie sie ihre Veröffentlichungen reinigen.
Argos 的一项新分析揭示了哪些学术出版商在可疑研究方面最困难,以及他们如何清理其出版物。

被科学诚信初创公司标记为可疑文章比例较高的期刊

哪些学术出版商和期刊受到欺诈或可疑研究的影响最大,哪些在清理其作品集方面做得最少?一家旨在帮助出版商识别潜在问题文章的技术初创公司找到了一些答案,并与《自然》杂志分享了其初步发现。

位于内华达州斯帕克斯的科技公司 Scitility 于 9 月推出了知识完整性网站 Argos,该网站根据作者的发表日期以及文章是否大量引用了已撤回的研究来对文章进行风险评级。一篇被归类为“高风险”的文章可能有多个作者,而他们的其他研究因不当行为而被撤回。高分并不能证明某件商品质量低劣,但它确实表明它可能值得审查。

Argos 是越来越多的研究完整性检查工具之一,用于查找文章中的危险信号。这些包括这个 造纸厂报警器 ,由 Clear Skies 开发,Signals 由 Research Signals 开发,均来自伦敦。由于此类软件的开发人员将其稿件筛选工具出售给出版商,因此他们通常对受影响期刊的命名持谨慎态度。然而,Argos 向个人提供免费账户,并为诚信审计员和记者提供更广泛的访问权限,是第一个提供公众见解的公司。

“我们希望开发一种能够检测隐藏模式并为行业带来透明度的技术,”位于荷兰罗森达尔的 Scitility 联合创始人 Erik de Boer 说道。

截至 10 月初,Argos 已标记了超过 40,000 个高风险项目和 180,000 个中等风险项目。它还为 50,000 多篇撤回的文章建立了索引。

出版商风险评估

Argos 的分析显示,Hindawi(伦敦出版商 Wiley 现已解散的子公司)拥有最多数量和最高比例的已撤稿文章(请参阅“面临风险的出版商”)。这并不奇怪,因为威利 撤回了 Hindawi 过去两年发表的 10,000 多篇文章 ,回应编辑和审稿人提出的关切;这占该品牌过去十年总产品组合的 4% 以上。其期刊之一《Evidence-based Complementary and Alternative Medicine》已撤回 741 篇文章,占其总产量的 7% 以上。

Argos 风险评估将余下的 1000 多篇 Hindawi 文章(另外 0.65%)标记为继续“高风险”。这表明,虽然 Wiley 已经做了很多清理其投资组合的工作,但问题可能尚未完全解决。该出版商告诉 Nature,它欢迎 Argos 和类似的工具,并正在努力解决 Hindawi 的问题。

其他出版商似乎需要做更多的调查,因为相对于 Argos 标记的高风险文章的数量而言,撤回的数量很少(出版商可能已经调查了其中一些文章,并决定无需采取任何行动)。

根据 Nature 对 Argos 的分析,总部位于阿姆斯特丹的出版商爱思唯尔 (Elsevier) 约有 5,000 篇撤稿文章,但有超过 11,400 篇高风险文章,尽管所有这些文章加起来只占该出版商过去十年产出的 0.2% 多一点。出版商 MDPI 已撤回 311 篇文章,但仍有 3,000 多篇高风险文章,约占其产出的 0.24%。 Springer Nature 有超过 6,000 篇撤回文章和 6,000 多篇高风险文章;约占其产量的0.3%。 (《自然》杂志的新闻团队独立于其出版商。)

在回答询问时,所有被认定为高风险文章最大提供商的出版部门都表示,他们努力确保研究完整性,使用技术来审查提交的文章,并且他们的撤回表明了他们对清理有问题内容的承诺。

施普林格·自然 (Springer Nature) 报道称,该公司于 6 月份推出了两款工具,帮助检测了数百份虚假稿件提交;多家出版商在一项活动中提出了合作 共同诚信中心 该公司提供可以标记可疑物品的软件。瑞士巴塞尔 MDPI 的出版经理 Jisuk Kang 表示,像 Argos 这样的产品广泛地表明了潜在问题,但他指出出版商无法验证网站上数字的准确性或可靠性。她补充说,最大的出版商和杂志将不可避免地拥有更多的高风险文章,因此产量份额是一个更好的指标。

根据 Argos 的数据,其投资组合中高风险文章比例最高的出版品牌是 Impact Journals (0.82%)、Spandidos (0.77%) 和 Ivyspring (0.67%)。 《影响力期刊》告诉《自然》杂志,尽管其期刊过去曾存在问题,但现在其完整性有所提高。出版商表示,它在过去两年中出现在《Oncotarget》杂志上 “0% 违规行为” 由于近年来才出现的 Image Twin 等图像验证工具的引入。波特兰出版社的投资组合中有 0.41% 的高风险文章,该出版社表示已采取正确措施来改进严格的审查。

杂志风险评估

Argos 还提供个别杂志的编号。毫不奇怪,Hindawi 期刊在被撤回的论文数量和比例上都表现突出,而其他期刊中的许多论文被 Argos 认定为高风险(参见“面临风险的期刊”)。从数量上看,Springer Nature 的大型期刊《Scientific Reports》以 450 篇高风险文章和 231 篇撤稿文章领先,合计约占其产出的 0.3%。 10 月 16 日,一组审稿人写了一篇 致施普林格自然的公开信 ,这引发了对该杂志上有问题的文章的担忧。

作为回应,施普林格·自然研究诚信负责人克里斯·格拉夫表示,该杂志正在调查提出的每个问题。他补充说,与内容大小相比,突出显示的内容比例相对较低。

撤回论文数量与潜在可疑文章数量差异特别大的期刊包括 MDPI 的 Sustainability Journal(20 篇撤稿和 312 篇高风险文章;占产出的 0.4%)和 Elsevier 的 Materials Today Proceedings(28 篇撤回和 308 篇高风险文章;占产出的 0.8%)。爱思唯尔 (Elsevier) 的生物医学和药物治疗 (Biomedicine & Pharmacotherapy) 的高风险产品比例最高,占其产量的 1.61%。

爱思唯尔发言人表示:“在‘造纸厂’等系统性操纵的支持下,欺诈性材料的数量正在显着增加,这些‘造纸厂’为商业目的生产欺诈性内容,以及人工智能生成的内容。”他补充说,作为回应,“我们正在增加对人力监督、专业知识和技术的投资。”

开放数据

Argos 开发人员强调,该网站基于其他人收集的开放数据。来源包括 Retraction Watch 网站,该网站维护着一个撤回文章的数据库(通过与非营利组织 CrossRef 达成的协议免费),其中包括撤回的原因,以便审查作者数据的工具可以重点关注提及不当行为的撤回。分析还基于 大量引用撤回作品的文章记录 ,由法国图卢兹大学计算机科学家 Guillaume Cabanac 编写。

尽管 Argos 也追踪分析师 有不当行为历史的作者网络 焦点,其他完整性检查工具也根据可疑内容标记文章,例如与假作品或“干扰短语”的文本相似性,这是卡巴纳克在作者创作时创造的术语 措辞奇怪 以避免激活抄袭检测系统。

“这两种方法都有优点,但识别从事不端行为的研究人员网络可能更有价值,”前《自然》和《柳叶刀》出版商、现在在英国利物浦经营咨询公司 Journalology 的詹姆斯·布彻 (James Butcher) 说。 “这是因为人工智能辅助写作工具可以用来帮助欺诈者避免明显的文本线索,”他补充道。布彻补充说,许多主要出版商已经开发或购买了自己的诚信工具来检查手稿中的各种危险信号。

对于主要依赖于作者撤回记录的完整性工具来说,最棘手的问题之一是正确区分姓名相似的作者——这个问题可能会扭曲 Argos 的数据。 “作者歧视问题是该行业面临的最大问题,”Clear Skies 创始人 Adam Day 说道。

曾在 Springer Nature 工作的 De Boer 表示,任何人都可以创建一个帐户来免费使用 Argos,但 Scitility 计划向主要出版商和机构出售该工具的一个版本,以便可以将其直接集成到他们的手稿筛选工作流程中。

Butcher 赞扬了 Argos 团队的透明度。他表示:“对于走捷径、在出版和货币化作品中未能采取适当谨慎措施的杂志和出版商,需要提高曝光度。”