JAMA发布详细投稿指南:如何在论文中报告AI的使用
2024-03-13
来源:医咖会
2024年3月7日,《JAMA》发表了一篇文章[1],明确规定了如何在论文中说明人工智能(AI)的使用。这些信息已同步更新到《JAMA》和《JAMA Network》的作者投稿须知中。
原文链接:https://jamanetwork.com/journals/jama/fullarticle/2816213
撰写稿件时使用AI的声明
当使用传统或生成式AI创建、审核、修改或编辑论文手稿中的任何内容时,作者应在论文的Acknowledge部分报告以下内容:
- AI软件平台、应用程序或工具的名称
- AI工具的版本号和扩展号
- 制造商名称
- 使用日期
- 简要描述AI的使用方式,以及在论文手稿的哪些部分使用了AI
- 确认作者会对AI生成内容的完整性负责
注:以上指南不适用于AI检查语法、拼写和参考文献等用途
研究中使用AI的准则
当将AI(如大型语言模型[LLM]、自然语言处理[NLP]、机器学习、聊天机器人等)用于科学研究时,作者应遵守以下准则:
- 遵循特定研究设计的报告规范(见下框中的示例),需要详细报告相应规范列出的各条目。
- 避免在文本、表格或图形中包含可识别的患者信息。
- 如果包含AI生成的内容(文本、图像),请注意版权和知识产权问题,并获得了发布许可。
框. AI相关报告规范的部分示例
方法部分
- 包括研究设计,如果有相关的报告规范,请说明如何遵循了该规范,并提供细节以确保可重复性。
- 描述是如何将AI应用于研究中的某些环节(如提出或完善研究假设、协助生成协变量列表、创建图表等)。
- 使用了LLMs的研究,应提供该软件平台或程序、工具、版本和制造商名称;报告使用日期,提示词(prompt)及其顺序,以及根据初始输出结果对提示词做出的任何修改。
- 报告机器学习和算法开发的研究,要说明用于开发、训练和验证数据集的详细信息。明确指出算法是否仅在先前收集或现有的数据集上进行训练和测试,或者研究是否包括前瞻性部署(prospective deployment)。还应介绍机器学习模型,描述变量、结局、以及选择的微调参数。描述所涉及的任何假设(如对数线性)以及如何检验这些假设。
- 说明用于评估算法性能的指标,包括偏倚、区分度、校准度、再分类等(视情况而定)。
- 说明缺失数据的处理方法。
- 说明机构审查委员会/伦理审查、批准或豁免情况。
- 描述AI相关方法学偏倚、AI生成内容不准确的解决方法。
- 在适用的情况下,说明是否进行了敏感性分析,以探究AI模型在弱势或代表性不足的群体中的表现。
- 提供数据共享声明,包括是否共享代码。
结果部分
- 报告比较性结果时,应提供效应值、不确定性(如95%CI)和其他测量值(如似然比),同时应包括有关性能错误、不准确或缺失数据的信息,以及足够的细节供他人复现结果。
- 报告解决方法学偏倚和人群代表性问题的分析结果。
- 如果表格或图形中包含AI生成的文本或内容,需注明来源和许可信息。
讨论部分
- 讨论AI相关偏倚的可能性,以及为识别和减少偏倚采取的措施。
- 讨论AI生成内容可能不准确,以及为识别和处理此类问题采取的措施。
- 讨论研究结果在人群中的外推性,以及为探索AI模型在弱势或代表性不足群体中的表现而进行的分析结果。
参考文献:
[1]. JAMA.2024.doi: 10.1001/jama.2024.3471.
[2]. BMJ.2020:370:m3164.doi: 10.1136/bmj.m3164.
[3]. BMJ.2020:370:m3210.doi: 10.1136/bmj.m3210.
[4]. Nat Med.2020;26(9):1320-1324.
[5]. Radiol Artif Intell.2020;2(2):e200029.
------分割线------
医咖会在2023年底也上线了SCI-AI工具(基于GPT4.0大语言模型),可应用于多种场景,例如科研问题咨询、内容撰写、信息查询等。点击链接:https://www.mediecogroup.com/community/user/ai-cards/798T-EV5A-ZWXT-UHLA/,即可免费试用,手机端和电脑端均可以体验哦!(注:未认证用户需认证后使用)
评论
请先登录后再发表评论
发表评论
下载附件需认证
确认
取消