研究者花在同行评审上的时间和成本有多高?
2021年11月14日,《BMC》刊登了一项研究,利用公开的数据,对研究人员花在同行评审上的时间和成本进行了估计。
链接:
https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2
每年同行评审的数量
对于每年有多少与期刊相关的同行评审,目前只能进行估计。Publons(同行评审认证平台,可将审稿工作和学术评论转化为可衡量的产出。专家可以在Publons记录他们为世界各地的期刊所进行的同行评审和编辑工作)上发表的文章[1]估计,2016年被Web of Science索引的290万篇文章需要1370万次评审。
为了计算2020年的同行评审数量,本研究使用了Publons使用的公式。对于最终被投稿期刊接受的稿件,Publons的公式假设平均在第一轮有两次审稿,第二轮有一次审稿;对于被拒的文章(不包括desk rejection [直接拒稿]),公式假设平均有两次审稿,且这些文章都是在第一轮被拒绝。
Publons的假设是基于对同行评审的常规了解,但没有具体的数据。这个数据显然是被低估的,不是所有的同行评审都会被包括在本研究中。例如,一些编辑在处理稿件时所做的审查工作通常不会被Publons收录,一份书面审查报告可能会由7名研究人员签署。
Publons估计同行评审稿件的接受率平均为55%。也就是说,45%没有被直接拒绝的稿件在经过一轮或多轮审查后,最终会被拒绝。
Thomson Reuters出版公司报告了2005-2010年期间在其ScholarOne期刊管理系统中发生的投稿、接受和拒绝的稿件。结果与其他来源的数据一致,显示平均接受率明显在下降,稿件最终被投稿的期刊接受的比例在2005年为0.40,2010年为0.37,2011年为0.35。
虽然不同期刊的直接拒收率可能有很大差异(如PLOS ONE为22-26%),本研究的估计值是在45%左右。
上述估计意味着,平均而言,每100篇投稿中,有30篇经过一轮或多轮同行评审后被接受,45篇被直接拒绝,25篇在审查后被拒绝。因此,在进入同行评审的稿件中,55%的稿件最终被接受(30/(30+25)=0.55)。
根据Dimensions数据库,2020年出版的文章总数为4,701,988篇。根据公式计算,2020年提交文章的同行评审总数估计为21,800,126篇。
图. 同行评审数据汇总
审稿花费的时间
2009年一项纳入3597名随机选择的审稿人的调查表明,报告最后一次审稿的平均时间是6小时。2016年的一项调查报告称,审稿时间的中位数是5小时。2008年的另一项调查发现,报告的平均审稿时间为8.5小时。保守起见(并考虑到人们会倾向于高估他们的工作时间),本研究将使用6小时作为审稿人在每个稿件上花费的平均时间。
根据对审稿数量和花在审稿上的时间的估计,研究者估计在2020年,审稿人的审稿时间为130,800,757 小时。这相当于14,932年。
审稿人的时薪
为了估计审稿人花在审稿上对应的人工成本,本研究用审稿人的平均时薪乘以他们花在审稿上的时间来计算。不过,一些学者认为他们的审稿工作是义务,但本研究仍使用他们的工资对这一时间进行了价值估计。关于期刊审稿人的工资似乎没有任何数据被公开报道,因此,需要做一些假设。研究假设审稿工作的分布与发表文章的分布相似。换句话说,发表文章多的国家的研究人员就会进行更多的审稿,而发表文章少的国家审稿就少。
研究假设评审工作几乎全部由大学和研究机构等学术机构的人员进行,初级和高级研究人员参与评审的比例为1:1。
通过公式算出,审稿者对应的人工成本为:美国为69.25美元/小时,英国为57.21美元/小时,中国为33.26美元/小时(表1)。研究最终得出结论,2020年发表文章最多的三个国家的审稿工作对应的总成本是:美国15亿美元,中国6.26亿美元,英国3.91亿美元。
表1. 美国、中国和英国2020年同行评审成本估算
讨论
从以上数据可以看出,同行评审的成本过高,那么该如何降低成本,更好的进行资源配置,该研究提出了以下三点建议:
1.减少重复性同行评审工作
许多稿件在多个期刊上被审阅,这是产生低效的一个主要原因。如果新投稿的期刊能得到前次投稿的审稿意见,审稿时间就可以大大缩短(假设不同期刊的审稿质量没有差别),但不幸的是,这并不现实。如果假设开放同行评审能使每篇稿件减少一次审稿,那么每年可节省约2800万小时。
其实,一些期刊已经实施了一些措施。一些出版商或期刊在他们自己的期刊中共享评审(PLOS、Nature),有时被称为 "级联同行评审"。一些期刊公开发表他们的审稿意见(例如,eLife;Meta-psychology;PLOS;Research Integrity;Peer Review),但通常不会在稿件被拒后发表(Meta-psychology是一个例外,eLife会在被拒的稿件被其他地方接受后发表审稿意见)。
2.完善审查人员配置,拓宽和深化审查队伍
目前,越来越多的人开始从事学术研究,可以任命更多不同的编辑,鼓励初级研究人员在数据库中注册,以便编辑在寻找审稿人时进行参考。
传统上,期刊编辑会寻找国际性的专家,他们的成本特别高,而且供不应求。但是,也许同行评审不应该只局限于那些在某一领域的高级专家。评估一份稿件意味着要考虑研究的多个方面以及如何呈现。对于某些研究领域,已经制定了详细的检查表,涉及到稿件中应该报告的所有信息。这为审查工作提供了一种方法,在某些方面,即使是学生,经过一些培训后,也能对稿件的各个方面进行审查。
这个过程也可以使同行评审更加专业化。例如,对于报告临床试验的稿件,有些人可以接受盲法评估的培训,如果他们有机会评估许多稿件中的这一部分,他们就会越来越擅长,从而可以在更短的时间内评估更多的内容,减少审查时间。
3.公开同行评审内容
公开同行评审将会提高评审的获益,然而,在目前的同行评审制度下,只有作者、审稿人和稿件的编辑有机会从评审的内容中获益。
当评审内容公开发表时,评审中的专家判断和信息可以使其他人受益。评审往往提供了关于某些解释的理由,与其他文献的联系,关于研究设计弱点的观点,以及从他们特定的角度看该研究的意义。
在某些情况下,进行同行评审实际上也可以使审稿人受益。在Publons的2018年审稿人调查中,33%的受访者表示,他们同意审查稿件的一个原因是"了解我所在领域的最新研究趋势"。如果能将更多这样的人与稿件相匹配,审稿就会成为一种"双赢",审稿人将获得比现行制度下更多的好处。
参考文章:
1.Publons. 2018 Global State of Peer Review [Internet]. 2018 [cited 2020 Sep 8]. Available from: https://publons.com/static/Publons-Global-State-Of-Peer- Review-2018.pdf
2.https://researchintegrityjournal.biomedcentral.com/articles/10.1186/s41073-021-00118-2
扫码关注“医咖会”公众号,及时获取最新重磅研究