在衡量实验的质量时,重复性和复现性是关键。在这篇文章中,我们将探讨这两个术语之间的区别,以及为什么它们在确定已发表研究的价值方面很重要。 什么是重复性? 重复性是对以下可能性的衡量,即从一个实验中产生一个结果后,你可以用同样的设置尝试同样的实验,并产生完全相同的结果。它是研究人员验证他们自己的结果是真实的,而不是偶然的人工制品的一种方式。 为了证明一种技术的重复性,实验的条件必须保持不变。这些条件包括: ➤ 地点; ➤ 测量工具; ➤ 实验中使用的其他仪器; ➤ 观察者; ➤ 假设; ➤ 时间段(在重复性之间进行长达一个月的休息并不是好的做法)。 Bland和Altman在1986年撰写了一篇非常有用的论文,强调了评估重复性的一个好处:它允许人们对不同的测量方法进行比较。 以前的研究使用技术之间的相关系数(r)的相似性作为一致性的指标。Bland和Altman表明,r实际上测量的是两种技术之间的关系强度,而不是它们相互一致的程度。这意味着r在这种情况下毫无意义;如果两种不同的技术都被设计用来测量心率,如果它们之间没有关系,那就太奇怪了 Bland和Altman表明,另一方面,重复性可以用来比较两种技术。通过计算一种技术所进行的多次测量的平均值,并将这些平均值与另一种技术所得出的平均值配对,我们可以计算出这两种技术是否一致。 如果数据遵循正态分布,这种差异的公认极限(或至少95%)是两种技术平均值之间差异的标准偏差的+/-1.96倍。 什么是复现性? 数据的复现性是衡量一篇论文中的结果是否可以由不同的研究团队使用相同的方法获得。这表明,所获得的结果不是一个研究实验室独特设置的人工制品。很容易理解为什么复现性是可取的,因为它加强了研究结果,并防止在产生重要结果的过程中出现罕见的欺诈或不太罕见的人为错误的情况。 为什么重复性和复现性很重要? 科学是一种建立在逐步推进的方法上的方法,由独立的验证和证明你的发现是正确和透明的能力支持。只有当知识可以在研究小组之间重复和共享时,学术研究结果才对更广泛的科学界有用。因此,不可复现性和不可重复性的研究在科学界引起了很多关注。 什么是复现性危机? 近几十年来,科学,尤其是社会科学和生命科学,对已发表的研究的复现性越来越重视。为评估科学出版物的复现性而进行的大规模努力得出了令人担忧的结果。例如,一组被称为‘开放科学合作组织’的心理学研究人员在2015年发表的一篇论文中,研究了100个发表在高等级同行评审期刊上的实验。在这100个研究中,只有68个重复提供了与原始发现相匹配的统计学意义上的结果。这些努力是旨在应对复现性危机的‘元科学’领域的一部分。 12 刘博 但可复制性如何呢?
虽然重复性和复现性之间的区别很明显,但有时第三个术语--可复制性--会把水搅混。对于一些作者来说,可复制性和复现性可以互换使用。而对另一些人来说,这种区别是非常重要的。有时,作者试图将它们调换一下,或者完全抹去其中一个。这些不同尝试的历史可以在这篇优秀的文章中阅读。这可能有点令人困惑,但本文至少会尝试使用以前建立的两个术语的定义来说明问题。
复现性(不同的团队,相同的实验装置)。如果一个观察结果是可重复的,它应该能够由一个不同的团队使用相同的实验数据和方法,在相同的操作条件下,在相同或不同的地点,在多次试验中重复实验。
可复制性(不同的团队,不同的实验装置)。如果一个观察结果是可复制的,它应该能够由一个不同的团队,使用不同的测量系统和数据集,在不同的地点,进行多次试验。因此,这将涉及到重新收集数据。
这意味着可复制性比复现性更难实现,但也说明了为什么复现性危机如此具有破坏性:如果结果是基于充分报告的方法,使用可靠的数据,它们应该总是可重复的。 我们怎样才能改善复现性? 在改善实验性复现性方面,人们投入了大量的思考。以下是一些可以改善复现性的方法: ➤ 期刊核对表:越来越多的期刊开始理解在发表的研究中包括所有相关细节的重要性,并为任何发表的论文引入了强制性核对表。在方法部分省略样本数和动物模型描述的时代已经过去,在可能的情况下,盲法和随机化应该是标准的。 ➤ 严格统计:功效计算、多重比较试验和描述性统计对于确保报告的结果在统计学上是合理的,都是必不可少的。 ➤ 改善技术:流程自动化和使用高通量系统可以提高单个实验的准确性,并能在一定时间内进行更多的测量,增加样本数量。 |