37%的研究者表示,至少一半的同行研究结果不可信
当今时代,一些社会现象的出现导致公众对科学的信任值一度下降,但是研究人员之间就真的相互信任吗?一项对全球3000多名研究者的调查数据显示,研究者之间也不一定互相信任,相当多的研究者对同行研究的重视程度有限。
一位匿名人士说,“总会有人想要学术造假,在你熟悉的领域内,这很容易被发现,如果是你不太熟悉的领域就不那么容易发现了。”
37%的受访者表示,在过去一周,他们接触到的研究中,约有一半或不到一半的研究结果是“值得信赖的”。只有14%的人表示,他们相信自己接触到的所有研究成果。
图1 研究者对同行研究成果的信任程度
Elsevier的Adrian Mulligan主导了这项调查,他表示,由于研究者们需要更新最新研究动态,以至于被大量研究“压垮了”,“研究人员对现有的一些资料表示怀疑,这并不奇怪”。
Mulligan强调,需要注意的是:“研究产出”不仅指期刊上的文章,还可以指学术博客、数据集、非同行评审论文,在某些情况下,还可以指研究结果相关的新闻。
关于公众对科学信任程度的研究非常多,但Mulligan表示,研究者之间是否相互信任的研究却很少。
天体物理学家Catherine Heymans说“我对这些结果感到惊讶,在我的学科领域,研究者之间信任程度非常高,不会出现这种现象。”
图2 怀疑研究可靠性的理由
该调查是从Elsevier 的Scopus数据库随机挑选了作者,询问了研究者到底是什么因素导致他们怀疑同行研究的可信度。
“结论糟糕”或“夸大结果”是可能引起怀疑的两个方面。Faith Osier教授说,当作者“过度宣传”他的研究结果时,研究成果最容易引起别的研究者怀疑。“在研究者的研究生涯中,都在不同程度上犯过这种错误。”
当今时代,一些社会现象的出现导致公众对科学的信任值一度下降,但是研究人员之间就真的相互信任吗?一项对全球3000多名研究者的调查数据显示,研究者之间也不一定互相信任,相当多的研究者对同行研究的重视程度有限。
一位匿名人士说,“总会有人想要学术造假,在你熟悉的领域内,这很容易被发现,如果是你不太熟悉的领域就不那么容易发现了。”
37%的受访者表示,在过去一周,他们接触到的研究中,约有一半或不到一半的研究结果是“值得信赖的”。只有14%的人表示,他们相信自己接触到的所有研究成果。
图1 研究者对同行研究成果的信任程度
Elsevier的Adrian Mulligan主导了这项调查,他表示,由于研究者们需要更新最新研究动态,以至于被大量研究“压垮了”,“研究人员对现有的一些资料表示怀疑,这并不奇怪”。
Mulligan强调,需要注意的是:“研究产出”不仅指期刊上的文章,还可以指学术博客、数据集、非同行评审论文,在某些情况下,还可以指研究结果相关的新闻。
关于公众对科学信任程度的研究非常多,但Mulligan表示,研究者之间是否相互信任的研究却很少。
天体物理学家Catherine Heymans说“我对这些结果感到惊讶,在我的学科领域,研究者之间信任程度非常高,不会出现这种现象。”
图2 怀疑研究可靠性的理由
该调查是从Elsevier 的Scopus数据库随机挑选了作者,询问了研究者到底是什么因素导致他们怀疑同行研究的可信度。
“结论糟糕”或“夸大结果”是可能引起怀疑的两个方面。Faith Osier教授说,当作者“过度宣传”他的研究结果时,研究成果最容易引起别的研究者怀疑。“在研究者的研究生涯中,都在不同程度上犯过这种错误。”
“数据缺乏或细节缺失”也是其它研究者关注的一个关键问题。研究者们表示,检查附录文件(supplementary material)或数据是弥补研究可信度不足最常见的方式。
Heymans教授解释说,物理学的这种问题很少,特别是在天体物理学中,因为政策规定大多数数据必须公开,并且天体物理学家也越来越普遍地附带发表他们的分析软件,这意味着结果可以“100%重现”。
Elsevier的结果表明,同行评审过程是研究可信度的第二位重要因素。
Heymans教授说,同行评审非常重要,尤其是在天体物理学中,因为它通常可以重现研究结果。但如果让她在同行评审和完全公开数据和软件之间做出选择,她会选择后者。她说。“如果可以完全公开数据和软件,就不需要同行评审了”。
关注研究透明度和严谨性的Ioana Cristea教授说,在所有条件都相同的情况下,与没有经过同行评审的研究相比,她更愿意相信经过同行评审的研究结果。
她说,一些同行评审的审稿人对论文的评审意见非常笼统,她怀疑她所在学科领域的一些期刊只寻找“有争议的”和“引用率高”的论文。期刊标题有时也会对研究可信度进行一定的包装,但是即使使用这样的“捷径”,研究的可信程度也并不理想。她说:“不是每个人都能读完全文。”
Abrizah Abdullah教授说:“不论研究发表的期刊是哪里,作者是谁,也不论研究方法多么全面,论点多么有理有据,任何一篇科学论文都有可能存在错误,发现论文问题的一个简单方法是,当你觉得作者并没有真正读过他的参考文献时,那么这篇论文多半有问题”。
约半数受访研究者表示,他们会通过寻找循证证据来决定是否信任这篇研究结果,Cristea教授说,她在Twitter上发展了一群值得信赖的研究者,这些研究者可以指出研究的好坏。
Brigitte Nerlich教授说:“我相信一些研究者,如果他们认为一篇论文是垃圾,那么我也这么认为”。
她补充说:“考虑到我的多学科工作,我倾向于只阅读那些已经被其他研究者承认的论文,这意味着我会通过各个领域的专家来验证研究的可信度,当然这带有一定的主观性,我尤其相信那些反对研究炒作的专家的意见。”她说,“令人费解”的摘要,或者缺乏有关方法或研究结果信息的研究也不可信。
曾撰写过有关同行评审过程文章的Merlin Crossley教授说,“我不同意许多论文都会存在错误的观点,我几乎相信我读过的所有论文,但我虽然相信研究的数据,对结论还是持有保留意见”。
“研究人员对一切都持怀疑态度。”他补充说,“通常研究的结果展示很清晰,并强调阳性结果,但是对于解释和结论部分是否被夸大,我还是持谨慎态度”。
约十分之一的受访者还认为论文中出现“错误”(语法错误、引文错误、夸大统计结果、代码错误或计算错误)的研究需引起注意。一名受访者表示,他们发现了“一些基本的统计错误,对统计学领域的读者来说很明显,但对审稿人来说显然不明显”。
研究者需要花更多时间检索更多论文来验证研究结果
研究者们对研究可信度的担忧可能迫使他们花更长时间检索文献来检验研究结果。
Elsevier对1450名研究人员关于研究可信度的一项调查发现,研究人员花在检索文献上的时间几乎与阅读文献的时间一样多。
对Scopus数据库中随机抽取受访者的调查数据显示,研究者平均每周花4小时8分钟检索研究型文献,平均花5小时18分钟来阅读文献。
图3 研究者检索和阅读文献的时间
受访者每周平均阅读的文章数量为5.4篇。
Elsevier的调查结果显示,与2011年相比,2019年研究人员阅读的文献数量减少了10%,但花在检索文献上的时间却增加了11%。
受访者表示,他们阅读的文献中,平均有51%是有用的,而2013年这一比例为56%。
Sense about Science(英国科普组织,和Elsevier共同进行了这项调查)的Tracey Brown表示,“研究的质量和可靠性对研究人员来说很重要,可能会对他们进一步研究的能力产生很大的连锁反应,随着数据量和数据来源的增长,研究的可信度从未像现在这样重要。”
本文整理自: https://www.timeshighereducation.com/news/do-researchers-trust-each-others-work#survey-answer
扫码关注“医咖会”公众号,及时获取最新重磅研究!