做好科学工作具有挑战性：一项重要的可重复性研究的撤回激发了自我反思

做好科学工作具有挑战性：一项重要的可重复性研究的撤回激发了自我反思

撤回一篇备受瞩目的论文 1 ， 这 提高科学研究有效性的方法 测试凸显了此类“可重复性”研究的挑战。撤回论文的作者包括几位 该领域的杰出人物 。

在去年 11 月《自然人类行为》杂志上发表的研究中，作者描述了 严格的研究方案，具有大样本量等特点，以确保心理实验的有效性 。作者将他们的协议应用于数十个研究项目。他们报告说，在 86% 的复制尝试中，预期结果得到了证实——这是此类研究中记录的最高“复制率”之一。但该杂志的编辑于9月23日撤回了该论文，并在撤回通知中指出 2 ，他们“不再对结果和结论的可靠性有信心”。

作者仅在一点上同意该杂志的担忧，他们将其归因于无意的疏忽。其中一位作者、加州大学圣巴巴拉分校的心理学家乔纳森·斯库勒 (Jonathan Schooler) 告诉《自然》杂志，研究小组正在研究该手稿的新版本，以便重新提交。

跟踪此案的研究人员表示，他... 开放科学原则的问题：预注册 这涉及在进行研究之前以书面形式列出研究细节，包括假设和计划分析，以防止数据操纵和选择性报告结果。

新西兰奥克兰大学视觉神经科学家萨姆·施瓦茨科普夫 (Sam Schwarzkopf) 表示：“这表明，好的科学很难，比大多数人想象的要困难得多。” “通常情况下，预注册的人会发现，当他们面对数据收集的冷酷现实时，他们深思熟虑的计划并没有成功。”

四支团队和 64 次复制尝试

该论文描述了一项复杂而广泛的实验：四个研究小组各自在社会科学领域进行了注册试点研究。例如，其中一项研究考察了时间压力是否会影响决策 3 。如果试点研究发现了效果，团队会尝试在至少 1,500 人的样本中确认结果。所有四个团队都试图重现所选的实验，看看他们是否会取得相同的结果。每个团队都尝试复制自己的四个实验以及其他三个团队的每一个实验。

在 64 次复制尝试中，86% 成功——也就是说，它们产生了预期的且具有统计意义的结果。相比之下，社会科学领域的其他重复研究报告平均重复率为 50%。

撤回研究的作者将其高重复率归因于“严格的实践”，例如大样本量、 预登记 和 方法的透明度 后退。作者写道，采用这种做法可以帮助使研究更加可靠。

该论文发表后不久，德国康斯坦茨大学社会科学家 Joseph Bak-Coleman 和莫斯科爱达荷大学研究市场营销的 Berna Devezer 在预印本中提出质疑 4 ，上传到PsyArXiv服务器，其有效性。他们指出，作者没有预先注册论文的某些内容，包括核心问题：作者的协议会提高可重复性吗？另外，巴克-科尔曼向《自然人类行为》杂志的编辑发送了几页分析报告，后者发起了一项调查，最终导致该杂志撤稿。

在评论中 5 在撤回的同时，巴克-科尔曼和德维泽写道，“可重复性不是该项目的原始结果，并且可重复性的分析也没有像声称的那样预先注册。” Echo 的退货通知中有这些陈述。 （《自然人类行为》由 Springer Nature 出版，该公司也出版《自然》杂志。《自然》杂志的新闻团队在编辑上独立于其出版商。）

作者的认可

撤稿当天，《自然·人类行为》的六位作者发表了一份报告，表达了他们的观点 6 。他们在其中承认该研究的一些分析并未预先注册。然而，他们称撤回通知中的其他陈述“不准确”，例如《华尔街日报》确定的作者在分析时对数据的了解。 《华尔街日报》不同意撤回通知包含不准确之处。

弗吉尼亚州夏洛茨维尔开放科学中心的执行主任、这项撤回研究报告的合著者布莱恩·诺塞克 (Brian Nosek) 表示，得知他们的项目管理流程中出现了预注册错误，这令人震惊。 “我不知道我读过多少次那篇论文，其中对所有预先注册的内容都有错误的陈述，但我却错过了。这只是一个错误，”他说。

诺塞克被认为是预注册领域的先驱，他也表示该项目的最初目标是可重复性，这与巴克-科尔曼和德维泽的观点相矛盾。

预注册的挑战

加拿大多伦多大学心理学家约尔·因巴尔 (Yoel Inbar) 表示，这个故事显示了预注册的缺陷。 “我见过许多预注册内容含糊不清，没有严格遵循，或者最终论文是预注册和非预注册分析的混合体，”他说。

Inbar 越来越相信预注册形式是更好的选择 注册报告 是研究人员在数据收集之前向期刊提交研究方案（包括其基本原理和方法）以供审查的地方。编辑根据研究问题的重要性和方法的严谨性决定是否接受该研究，并承诺如果工作按所述进行，则发表结果。

其他人则说期刊是问题的一部分。荷兰乌得勒支大学的元科学家 Anne Scheel 表示，虽然作者犯了错误，但编辑们应该注意到缺乏预先注册。她说，审稿人并不总是检查预注册，像《自然人类行为》这样的主要期刊“需要实际检查预注册的流程”。

《华尔街日报》的一位发言人表示，该报正在探索改变其做法。该发言人补充道：“该杂志正在探索提高社会和行为科学领域预注册的透明度、标准化和报告要求的方法，这将加强对预注册合规性的监控。”

浪费大家的时间

巴西里约热内卢联邦大学的重现性研究员 Olavo Amaral 解释说，多个研究小组进行相同实验的大型项目很难管理。他从经验中谈起：他领导了巴西再现性项目，该项目试图再现在全国各地实验室进行的数十项生物医学研究的结果。 “我们总能发现错误，”他说。

他说，对撤回论文的批评需要得到解决，但这些问题并没有改变他对这项工作的看法。 “结果似乎相当可复制，”他说。 “我认为对预注册的批评并没有太大改变我对这篇论文的看法。”

1. 普罗茨科，J.等人。自然嗡嗡声。行为 8, 311–319 (2023)。

   文章
   考研
   
   谷歌学术

2. 普罗茨科，J.等人。自然嗡嗡声。行为 https://doi.org/10.1038/s41562-024-01997-3 (2024)。

   文章
   
   谷歌学术

3. Protzko, J.、Zedelius, C. M. 和 Schooler, J. W. Psychol。科学。 30, 1584–1591 (2019)。

   文章
   考研
   
   谷歌学术

4. Bak-Coleman, J. 和 Devezer, B. PsyArXiv 的预印本 https://doi.org/10.31234/osf.io/5u3kj （2024）。

5. Bak-Coleman, J. 和 Devezer, B. 自然嗡嗡声。行为 https://doi.org/10.1038/s41562-024-01982-w (2024)。

   文章
   
   谷歌学术

6. 普罗茨科，L.等人。预印本于 https://osf.io/2s94g （2024）。

下载参考资料