研究发现基于相同数据的学术结论也大相径庭

新研究对单一研究的有效性提出质疑,并建议详细跟踪研究人员分析的决策过程

七月 26, 2021
woman looking in mirror holding a mask as a metaphor for Academic conclusions differ wildly even on same data, study finds
Source: Getty

点击阅读英文原文


一项新研究发现,即使基于相同的问题和数据集,学者们也可能得出截然不同的研究结论,这要求学者们仔细记录下他们在工作中做出的决定和判断。

在这项研究中,29个分析团队基于有关在线学术讨论的相同数据集验证了两个假设。

第一个假设是“女性积极参与对话的倾向与参加讨论的女性人数呈正相关”。

第二个假设是“地位较高的参与者比地位较低参与者的对话信息更冗长”。

通过使用一种名为DataExplained的新工具来跟踪研究人员所做出的决定,该研究发现了这些问题对不同解释的开放程度。

例如,一些分析师将“高地位”定义为学者的职位等级,而其他分析师则使用诸如引文等方式来定义。至于“冗长”,这可能是指学者的评论字数或他们在一年内发表的评论数。不同团队还使用了不同的统计技术和样本量。

这项研究的共同作者、柏林ESMT商学院的组织行为学助理教授马丁·施魏因斯伯格(Martin Schweinsberg)说:“在你做出判断的地方就会有噪音,而且比我们想象的要更多。”

根据发表在《组织行为和人类决策过程》(Organizational Behavior and Human Decision Processes)杂志上的这篇论文,结果是“研究人员报告了完全不同的分析和分散的实证结果”。

对于第二个测试学者地位和信息冗长程度之间联系的假设,29%的分析人员找到了支持的证据,但21%的结论恰恰相反。

至于“当其他女性在场时女性发言更多”的观点,研究者们有了更多共识,近2/3的人认为这一假设得到了支持。尽管如此,超过1/5的人发现了相反的效果。

施魏因斯伯格教授称,这些发现“非常生动地揭示了”有多少种方式来解决一个看似简单的问题。

这项工作是一系列众包实验中的最新一项,在其中多个研究团队使用相同数据独立解决相同问题。于2018年进行的一项实验探讨了种族偏见,研究足球裁判是否给了深色皮肤球员更多红牌。

大多数人发现了种族偏见的证据,但这些发现的范围很大。根据施魏因斯伯格教授的这篇论文,“令人不安的暗示是,如果只有一个团队获得了数据集并提出了他们倾向的分析,那么研究得出的科学结论可能是红牌数量的重要种族差异,或者平等的结果”。

这个最新实验的不同之处在于它通过DataExplained密切跟踪了参与者的决策过程。 “我们提供了一个步步相扣的链条来了解这是如何发生的。”施魏因斯伯格教授说:“每隔几行代码,我们就会问他们一组关于所采用路径的标准问题。”

该研究解释说,该平台于今年早些时候公开,“记录了所有执行的源代码,并提示分析师评论他们的代码和分析思维步骤”。

施魏因斯伯格教授说,这种系统监测是否有意义取决于提出的问题。他说:“如果有人是死是活,就没有太大的歧义。”尽管他的论文指出即使在医学领域也存在矛盾的发现。

他建议道:“如果问题足够大并且具有足够重要的影响,那么(做)这样的事情可能是明智的。”

david.matthews@timeshighereducation.com

本文由Liu Jing为泰晤士高等教育翻译。

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
Register
Please Login or Register to read this article.