同行评审是论文可信度的“金标准”吗?
今年7月,一篇论文表明印度的经济增长被高估,印度政府驳斥了该论文,称该论文并没有进行同行评审(peer review),因此结论没有可信度;在一次会议上,一位经济学家声称,一些关于环境塑料制品的研究“没有经历过同行评审”,由此驳斥了人们对环境中塑料制品的担忧;近期,美国政府拒绝承认一份气候变化报告,因为它缺乏同行评审过程。
很多研究人员通常会将同行评审视为“金标准”,即期刊编辑在发表前将论文发给该领域的专家进行评估,好像经过同行评审的论文就是合理的,而未经评审的论文就是不可信的。但是同行评审自17世纪出现以来,既不是金标准也没有标准化。
有研究表明,期刊编辑更倾向选择同性别的审稿人,而女性在同行评审中的代表性不足,审稿人往往会受到某些因素的影响,如作者的性别或所在单位。但是,有些粗制滥造的论文会通过同行评审,而优秀的研究成果也有可能被否决。同行评审专家可能无法发现糟糕的研究、研究中的利益冲突、论文代笔等现象。
有些人还会利用同行评审来获取经济或其它利益,误导决策者。例如,美国国家橄榄球联盟(NFL)利用“同行评审”来驳斥外界对轻度创伤性脑损伤委员会所进行研究的质疑,该研究发现运动员因运动导致的脑损伤几乎不会造成长期伤害。但《纽约时报》后来发文表明[1],该研究遗漏了100多个脑震荡病例。NFL声称这项研究经过了严格的审查,却忽视了该论文的同行评审意见就极具争议性,因为一些审稿人坚持认为这些论文根本不应该发表。
同样,化石燃料行业的利益集团也试图通过资助研究和利用同行评审的威望,扭曲公众对气候变化的争论,破坏科学界在这一主题上的压倒性共识。几年前,哈佛-史密森天体物理中心的科学家Willie Soon收受了化石燃料公司120万美元,在学术期刊上发表了研究(他的大部分研究认为,太阳能量的变化可以解释最近的全球变暖,而人类对气候变化几乎没有影响,但这一观点遭到了大多数专家的反对)。然而同行评审并没有发现这些潜在的利益关系。
今年7月,一篇论文表明印度的经济增长被高估,印度政府驳斥了该论文,称该论文并没有进行同行评审(peer review),因此结论没有可信度;在一次会议上,一位经济学家声称,一些关于环境塑料制品的研究“没有经历过同行评审”,由此驳斥了人们对环境中塑料制品的担忧;近期,美国政府拒绝承认一份气候变化报告,因为它缺乏同行评审过程。
很多研究人员通常会将同行评审视为“金标准”,即期刊编辑在发表前将论文发给该领域的专家进行评估,好像经过同行评审的论文就是合理的,而未经评审的论文就是不可信的。但是同行评审自17世纪出现以来,既不是金标准也没有标准化。
有研究表明,期刊编辑更倾向选择同性别的审稿人,而女性在同行评审中的代表性不足,审稿人往往会受到某些因素的影响,如作者的性别或所在单位。但是,有些粗制滥造的论文会通过同行评审,而优秀的研究成果也有可能被否决。同行评审专家可能无法发现糟糕的研究、研究中的利益冲突、论文代笔等现象。
有些人还会利用同行评审来获取经济或其它利益,误导决策者。例如,美国国家橄榄球联盟(NFL)利用“同行评审”来驳斥外界对轻度创伤性脑损伤委员会所进行研究的质疑,该研究发现运动员因运动导致的脑损伤几乎不会造成长期伤害。但《纽约时报》后来发文表明[1],该研究遗漏了100多个脑震荡病例。NFL声称这项研究经过了严格的审查,却忽视了该论文的同行评审意见就极具争议性,因为一些审稿人坚持认为这些论文根本不应该发表。
同样,化石燃料行业的利益集团也试图通过资助研究和利用同行评审的威望,扭曲公众对气候变化的争论,破坏科学界在这一主题上的压倒性共识。几年前,哈佛-史密森天体物理中心的科学家Willie Soon收受了化石燃料公司120万美元,在学术期刊上发表了研究(他的大部分研究认为,太阳能量的变化可以解释最近的全球变暖,而人类对气候变化几乎没有影响,但这一观点遭到了大多数专家的反对)。然而同行评审并没有发现这些潜在的利益关系。
正如同行评审无法发现研究和公司资助有关系,往往也无法发现代写现象。代写是指公司为学者们起草文章,然后以他们的名义发表,改动很少或根本没有改动。2010年,一家杂志的编辑表示,他怀疑提交给本杂志的论文中,至少有三分之一是由相关机构代写,并由制药公司付费。
这样的文章已经出现在数十种期刊上,宾夕法尼亚大学、布朗大学和哈佛大学的教授也卷入了代写丑闻。去年,法庭文件显示 [2],Monsanto公司代写的文章发表在具有同行评审的期刊上,目的是对抗有关杀虫剂草甘膦致癌性的研究,并攻击监管机构。
同行评审有时也会对重要的研究形成阻碍。资深专家评估论文,可能会废弃与自己观点不一致的文章。因此,同行评审既可以保护也可以废弃那些被视为激进或与审稿人既定观点相反的研究。2015年,一项针对1000篇医学期刊投稿的研究发现 [3],在最终发表的论文中,14篇被引用次数最多的论文最初都被拒之门外。许多开创性研究开始遭到同行评审的否决,但后来却获得了诺贝尔奖。
学者们也认识到,尽管同行评审有局限性,但还是有其存在的必要性。就像人一样,总会有弱点存在,但这些微妙之处很少传达给公众。但随着发表过程透明度的提高,人们对知识是如何构建的有了更细致入微的理解,所以越来越多的人不会把“同行评审”将完美无暇划等号。
参考文章
1、https://www.nytimes.com/2016/03/25/sports/football/nfl-concussion-research-tobacco.html
2、https://usrtk.org/wp-content/uploads/2019/01/Benbrook-expert-report-November-2018.pdf
3、https://www.pnas.org/content/112/2/360.full
文章参考自:
Why we shouldn’t take peer review as the ‘gold standard’. The Washington Post. August 1,2019
https://www.washingtonpost.com/outlook/why-we-shouldnt-take-peer-review-as-the-gold-standard/2019/08/01/fd90749a-b229-11e9-8949-5f36ff92706e_story.html?noredirect=on&utm_term=.c836ab1e0b38
扫码关注“医咖会”公众号,及时获取最新重磅研究!