本文整理自The scholarly kitchen网站发布的一篇博文，原文题目为“The Latest “Crisis” — Is the Research Literature Overrun with ChatGPT- and LLM-generated Articles?”，作者是DAVID CROTTY。

2024年3月，Elsevier旗下期刊发表了一篇明显由ChatGPT撰写的论文。为何知道是AI写的呢？因为该论文引言的第一句话是：“Certainly, here is a possible introduction for your topic:…[当然，以下是相关主题的介绍：……]”。一看就是作者向GPT提问，这是GPT回复的第一句话，而作者在投稿时没有删掉这句话。迄今为止，该文章仍未被撤稿。

原文链接：https://www.sciencedirect.com/science/article/abs/pii/S2468023024002402

随后，Elsevier旗下期刊又发表了第二篇明显是ChatGPT撰写的论文，文中出现了“I’m very sorry, but I don’t have access to real-time information or patient-specific data, as I am an AI language model [我很抱歉，但我无法访问实时信息或特定患者数据，因为我是AI语言模型]”。这篇文章同样没有被撤稿。

原文链接：https://www.sciencedirect.com/science/article/pii/S1930043324001298

大量文献计量学家开始从已发表文章中检索类似的ChatGPT生成语句，发现有不少文章存在类似问题。在Google Scholar搜索“certainly, here is（当然，这里是）”，结果中出现很多文章，即正文中包含了明显为ChatGPT撰写时的常用语。例如，很多文章在开头处会有一句“Certainly, here is a concise summary of the provided sections:（当然，以下是所提供章节的简明摘要：）”

当仔细查看Google Scholar检索得到的结果时，可以看出列出的很多内容（至少前几页检索结果）大多来源于预印本、ResearchGate、书籍章节、或网站内容。Google Scholar往往包含比Web of Science等数据库更为宽松的收录标准，会收录那些看起来像是研究论文的内容，而不仅限于发表的学术论文。

那么，对一个有着更为严格收录标准的学术数据库进行类似检索时会发生什么？这里选择Dimensions试一试，该数据库是Digital Science提供的一个研究信息系统，其收录的内容介于Web of Science和Google Scholar之间。

注：所有文献索引网站都有一定滞后性，需要一些时间才能收录最新发表的文章（上述两篇Elsevier论文发表日期为2024年3月和6月，尚未被数据库索引）。以下所有检索结果仅限于2022年11月ChatGPT推出后发表的研究文章（无预印本、书籍章节或会议摘要）。

• 以关键语句“Certainly, here is [当然，这里是]”进行检索，共检索到10篇文章，有8篇是针对ChatGPT的研究（包含该短语看起来不可疑）。
• 以关键语句“ as of my last knowledge update [截至我最后一次知识更新]”共检索到6篇文章，其中4篇是针对ChatGPT的研究。
• 以关键语句“I don’t have access to real-time data [我无法访问实时数据]”检索到3篇文章，都是针对ChatGPT或AI的。

同一时期，Dimensions收录了近570万篇研究文章和综述文章。因此，以这三个短语检出的疑似ChatGPT生成文章的占比为0.00007%。

截至3月20日，撤稿观察网（Retraction Watch）发布了包含77篇疑似ChatGPT生成论文的列表，包括以下出版商：Elsevier、Springer Nature、MDPI、PLOS、Frontiers、Wiley、IEEE和Sage。剔除32项非研究论文后，占总体文章的比例为0.00056%。

原文链接：https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/

尽管许多人并不认为这会构成“危机”，但此类错误很可能会持续增加。这也让许多人质疑发表这些文章期刊的同行评审。

一位研究者指出，ChatGPT生成的内容也可能是在文章修订阶段甚至接收后添加的。查看修订版本的审稿人和编辑可能只会查看他们要求更改的特定部分，而不关注作者在新版本中添加的其他内容。

这些内容也有可能在校对阶段添加的。多数期刊会将排版外包给第三方公司，而期刊对论文最终排版版本的仔细审查程度差异很大。许多期刊会认为第三方公司已经完成了他们的工作，除非提出问题，否则不会仔细检查每篇论文。

展望未来，希望那些漏检了AI撰写论文的期刊能够进行严格审核，以更好地了解AI是在哪个研究阶段被使用，以及文章最终将如何发表。自动化检查应该能够清除AI撰写的类似文章，但需要在发表流程的多个环节进行检查，而不仅仅是在初次提交时才检查。

文章整理自：https://scholarlykitchen.sspnet.org/2024/03/20/the-latest-crisis-is-the-research-literature-overrun-with-chatgpt-and-llm-generated-articles/

-----------分割线---------

点击链接：https://www.mediecogroup.com/community/user/vip/categories/，成为医咖会员，学习SPSS、R、Stata等课程！