本文整理自近期发表的1篇新闻报道和1篇社论，新闻报道原文题目为“These scientists aren’t using ChatGPT——here’s why”，2023年12月19日发表于《Nature》；社论原文题目为“Can ChatGPT and other AI Bots Serve as Peer Reviewers？”，2023年12月19日发表于《ACS Energy Letters》。

自ChatGPT发布以来，已被研究者用于提出科学想法、创建代码，甚至撰写整篇研究论文。然而，并非所有研究者都积极应用这项技术。《Nature》的一项调查显示，约78%的研究者不常使用ChatGPT等生成式AI工具。由于其潜在的缺陷和局限性，有些研究者甚至会避免使用。

《Nature》采访了三位研究者，了解他们在工作中使用ChatGPT的情况。

“ChatGPT对回复邮件很有帮助”

法国一位神经放射科医生Maxime Gaubert曾使用过免费版本的ChatGPT-3.5，但觉得其性能不够好，没什么用处，但最新版本的ChatGPT可以减少撰写电子邮件和推荐信的时间。Gaubert表示：“对于非英语母语者来说，这是非常有帮助的。”

Gauberti认为，减少写邮件的时间可以提升整体工作效率。他说：“我以前至少需要两三天的时间才能写好一封邮件。在AI工具的帮助下，可以更及时地回复，长此以往，可能会对职业发展有积极影响。”

使用ChatGPT会扼杀创造力？

心理学家Ada Kaluzna认为ChatGPT对她的研究没有用处。她表示：“我喜欢写作，如果我不自己动手写论文，怎么能叫研究人员？”

Kaluzna认为使用ChatGPT可能会破坏学习和创造性思考的能力。“许多人通过写作来理清思路，我认为有一定道理。写作使你能够专注于研究的主题，并整理自己的想法。如果不尝试以结构化的方式写下你的想法，你可能无法提出新的想法。”

ChatGPT可能会捏造信息

爱尔兰一位研究者Viswanath Vittaladevaram曾使用ChatGPT查资料，但ChatGPT生成的大量信息来源于非学术途径。同时，他也对ChatGPT对同一问题的不同回答表示了担忧。Vittaladevaram说：“你会感觉这是捏造的信息。”另一个担忧是，用来训练ChatGPT的数据可能会影响其回复内容。

因此，尽管Vittaladevaram使用ChatGPT来收集信息，但不用它来撰写研究论文，他希望在禁用该工具的学术期刊上发表文章。他说：“我决定在科研写作方面完全不使用ChatGPT，但可以用它来获取一些基本信息（如蛋白质在体内的作用）。”

ChatGPT用于同行评审仍存在争议

最近发布的几篇社论、文章和博文讨论了AI工具（如ChatGPT、Bing AI Chat、Copilot和Bard）在科学出版中应用的利弊。从积极的一面来看，这些工具可用于纠正语法和修改文本、打破思维固化，以及对已发表的文章进行内容分析。这些功能可以帮助研究者撰写科学论文，特别是对于母语为非英语的人群。

一项大规模实证分析表明，ChatGPT-4和审稿人提出的观点有部分重叠，AI工具可作为评估已发表文章质量的宝贵工具[1]。以期刊《Nature》为例，ChatGPT-4与1名审稿人的平均重叠度为30.85%，与2名审稿人的平均重叠度为28.58%。

目前，AI工具可用于预筛选稿件（以选择符合期刊范围的稿件）、验证作者及其隶属单位关系的真实性、识别图表和表格等缺失项目、并推荐潜在的审稿人。然而，这些AI工具的效果尚未得到验证。下面列举一些当前的AI工具无法准确评估科学研究的例子：

• ChatGPT主要依赖于数据库，在爬取互联网时访问权限有限。例如，ChatGPT无法获取期刊付费版面的信息。因此，收集到的信息不完整。实际上，ChatGPT等工具引用的大部分文献要么是不正确的，要么是捏造的[2]。
• 大型语言模型（LLMs）可以有效总结稿件的内容，并为进一步的工作提出建议[3]。然而，LLMs在一定背景下对结果进行批判性分析，以及发现创新性方面还有所欠缺。
• 有趣的是，ChatGPT和Bing AI Chat会根据用户的提示词，对同一篇文章提供不同的审稿建议，即所得到的审稿内容取决于审稿请求的提示词。当提示词为中立时，AI通常会给出“推荐其发表”的积极评价。如果请求撰写负面的审稿意见，机器人会生成带有批判性的评价，突出缺点并建议不要发表。因此，需要对AI机器人的输出的可靠性进行全面评估。
• AI机器人可能存在偏倚和歧视[4]。LLMs试图在训练集中找到最常见的模式，因此少数观点可能受到压制。
• 众所周知，ChatGPT可能会引用不存在的参考文献[5]。因此，AI机器人可能无法验证手稿中引用参考文献的真实性，也无法在论述先前发表论文时提出可靠的新建议。
• AI机器人不太可能识别无科学依据或背景的新发现。例如，AI机器人可能忽视（或至少未能认识到）首次报道的C60或尺寸量子化半导体纳米材料合成的科学价值，这两种材料都催生了新的研究领域，并最终获得了诺贝尔奖。因此，AI机器人可能会以牺牲真正的开创性研究为代价来奖励增量研究，导致科学界充斥着“千篇一律”的论文，从而减缓科学进步速度。

除了这些缺点外，读者还应该意识到，在编辑审稿过程中，作者和期刊之间存在保密协议，审稿人将稿件上传到任何LLMs都可能违反这一协议[6]。

人工审查为已发表的研究提供了有价值的意见，并有助于推动知识进步和加速技术突破。虽然科学界和出版商渴望使用AI工具来替代人工审稿，但也需要认识到这些工具存在的缺点。在AI工具克服这些缺点之前，它们在审稿中的应用还需受到限制。

文章整理自：

1. https://www.nature.com/articles/d41586-023-04071-6

2. https://pubs.acs.org/doi/10.1021/acsenergylett.3c02586

参考文献：

[1]. Liang, W.; Zhang, Y.; Cao, H.; Wang, B.; Ding, D.; Yang, D.; Vodrahalli, K.; He, S.; Smith, D.;Yin, Y.; McFarland, D.;Zou, J.Can Large Language Models Provide Useful Feedback on Research Papers? A Large-Scale Empirical Analysis. arXiv Preprint 2023,DOI: 10.48550/arXiv.2310.01783

[2]. Kendrick, C. The Efficacy of ChatGPT: Is it Time for the Librarians to Go Home? The Scholarly Kitchen, Jan 26,2023.https://scholarlykitchen.sspnet.org/2023/01/26/guest-post-the-efficacy-of-chatgpt-is-it-time-for-the-librarians-to-go-home/

[3]. J Am Chem Soc.2023 Aug 16;145(32):18048-18062.

[4]. Cousins, B. Uncovering The Different Types Of ChatGPT Bias. Forbes, Mar 31,2023.https://www.forbes.com/sites/forbestechcouncil/2023/03/31/uncovering-the-different-types-of-chatgpt-bias/?sh=1f3f022c571b

[5]. Davis, P.Did ChatGPT Just Lie To Me? The Scholarly Kitchen, JJan 13,2023.https://scholarlykitchen.sspnet.org/2023/01/13/did-chatgpt-just-lie-to-me/

[6]. Lauer, M.; Constant, S.; Wernimont, A. Using AI in Peer Review Is a Breach of Confidentiality.NIH Extramural Nexus, June 23,2023. https://nexus.od.nih.gov/all/2023/06/23/using-ai-in-peer-review-is-a-breach-of-confidentiality/

-----------分割线---------

点击链接：https://www.mediecogroup.com/community/user/vip/categories/，成为医咖会员，获取12项专属权益（本年购买享受最大优惠，买一年送三个月）