本文整理自《The scholarly kitchen》发布的一篇文章，原文题目为"Guest Post:  Trying to Write a Paper with LLM Assistance"。作者是Access Innovations， Inc. 的首席科学家、董事长兼创始人Marjorie Hlava。

作为一名经常需要处理专业内容的写作者，我最近尝试了三种主流大语言模型（Claude、ChatGPT和Google Gemini）来改写一篇文章，并添加标点修正、句子结构调整、参考文献和数据分析。结果令人大跌眼镜。

测试方法

我准备了七段专业内容作为原始素材，分别让三个AI进行以下工作：

1. 语法和句子结构优化

2. 内容扩展与结构调整

3. 添加参考文献和数据分析

Claude：过度创作的"专家"

当我要求 Claude 重写和扩展这篇文章时，它展现出了极强的创作欲望：

- 它将文章扩展为详细提纲，增加了大量"结构化分析"，并增加了关键概念的深度。（但它添加了我不相信、且我自己绝对不会添加的内容）。

- 关于XML* 技术的讨论确实专业，甚至提供了四个案例研究

- 提供的参考文献看似权威，实则与原文主题不符

注：* 可扩展标记语言(XML)是一种类似于HTML的标记语言，它的设计宗旨是传输和存储数据，而非显示数据，在学术出版等数据规范性较高的领域发挥着重要作用。

最惊人的是，当询问分类法的应用时，它输出的内容与我出版的三本专业著作惊人相似，目前正在核查是否存在抄袭。

耗时：10轮对话，互动时间最长

结论：Claude 能够提供一些有用的东西，但不可以直接用于发表。

ChatGPT：完美的"伪造者"

ChatGPT的表现堪称戏剧性：

- 它以大纲形式重写了这篇文章，但没有改变主旨。

- 在文章提供了数字，而没有参考文献，当作者要求提供参考文献时，它首先将参考文献嵌入到文章中（例如：Jones，2023），作者要求提供完整的参考文献时，它返回了一个格式良好的列表。提供了22条看似专业的参考文献。

- 但经过核查发现：所有DOI链接无效、作者查无此人、期刊不存在。

讽刺的是，这些伪造的参考文献格式完美，足以以假乱真。

结论：ChatGPT 的重构、重新格式化和添加无关材料的情况最少，但引用却是个笑话。

Google Gemini：敷衍的"应付者"

Gemini的表现最令人失望：

- 完全忽略了XML和分类法等核心内容

- 第一次回应只提供了一般的参考文献，但没有具体内容

- 第二次回应干脆建议"[插入相关引用]"

结论：需要反复修改提示词才能获得勉强可用的结果

结语

经过这次测试，我决定回归传统写作方式——用大脑思考，用手打字。不过，AI确实提供了一些新思路值得参考。对作者而言，现阶段这些工具更适合作为灵感启发者，而非内容生产者。

本文整理自： https://scholarlykitchen.sspnet.org/2025/03/11/guest-post-trying-to-write-a-paper-with-llm-assistance/