做系统评价时，需要花费大量时间来筛选文献，人工智能工具有没有可能减少工作量呢？2024年7月8日，《JAMA Network Open》（IF=10.5）发表了一项研究，评估大语言模型（LLM）辅助文献筛选的准确性和效率。结果显示，LLM辅助筛选文献，具有一定的灵敏度和高的特异度，且可以大幅缩短筛选时间。

原文链接：https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2820861

研究方法

数据来源

本研究是一项前瞻性诊断研究，于2024年1月7日-15日进行。研究利用2024年日本脓毒症和脓毒性休克管理指南（J-SSCG 2024）的5个临床问题（CQ），基于这5个问题的标题和摘要筛选数据评估LLM筛选文献的准确性。

常规文献筛选

通过常规文献筛选流程，由 2 名临床专家组成的独立审阅者筛选文献。

LLM辅助文献筛选

2023 年 11 月 7 日发布的GPT-4 Turbo是本研究使用的大语言模型。为了开发LLM辅助文献筛选的功能，研究者根据指南为LLM制定了一项查询流程。此外还建立了一套指令，使LLM能够通过程序接口，使用 Python中的 pandas（1.0.5版）自主进行文献筛选。

指令要求LLM根据J-SSCG 2024指南委员会在常规文献筛选流程中描述的临床问题PICO的内容，通过纳入和排除标准自动执行文献筛选任务。这一过程是无人工干预的，且未事先对GPT做过训练。研究者记录了GPT-4 Turbo完成筛选任务所需的时间，以评估其效率。

表. 5个临床问题的患者/人群/问题、干预和对照

参考标准

在主要分析中，研究者将常规文献筛选得到的全文筛选结果作为参考标准；在次要分析中，研究者使用常规文献筛选得到的标题和摘要筛选结果作为参考标准。

研究结果

常规文献筛选的结果

在常规文献筛选过程中，基于标题和摘要筛选出的文献梳理：CQ1为112篇/5634篇（2.0%），CQ2为17篇/3418篇（0.5%），CQ3为14篇/1038篇（1.3%），CQ4为70篇/4326篇（1.6%），CQ5为39篇/2253篇（1.7%），这些文献进行后续的全文筛选。

基于全文的筛选中，共有41篇文献被选作主要分析的标准参考文献（用于准确性分析），包括CQ1的8篇，CQ2的4篇，CQ3的4篇，CQ4的17篇，以及CQ5的8篇。

图. LLM辅助筛选和常规文献筛选示意图

LLM辅助文献筛选的准确性

在LLM辅助文献筛选中，CQ1有8篇、CQ2有1篇、CQ3有2篇、CQ4有14篇、CQ5有8篇被纳入。

在主要分析（即以全文筛选结果为参考）中，LLM辅助文献筛选的总体灵敏度为0.75（95%CI 0.43-0.92），特异度为0.99（0.99-0.99）。针对不同CQ的灵敏度和特异度范围分别为0.25-1.00和0.98-0.99。

图. 在主要分析中LLM辅助文献筛选的准确性

事后分析中，对命令提示进行了调整，使得总体灵敏度提高到0.91（0.77-0.97），特异度仅略有下降至0.98（0.96-0.99）。

图. 修改提示后，LLM辅助文献筛选的准确性

在次要分析中（即以标题和摘要筛选结果为参考），5个CQ的总体灵敏度和特异度分别为0.49（0.35-0.63）和1.00（0.99-1.00）。

图. 次要分析中LLM辅助文献筛选的准确性

筛选时间

与常规筛选流程相比，LLM辅助文献筛选显著缩短了100篇研究的总筛选时间（常规 vs. LLM辅助：17.2分钟 vs. 1.3分钟），平均时间差异为-15.25分钟（-17.70 to -12.79）。

总结

这项前瞻性研究发现，LLM辅助文献筛选实现了高特异度，并能达到一定的灵敏度，还使筛选时间显著缩短。因此，可以对这种方法做进一步验证，以提高其在系统评价文献筛选中的效率和适用性。

该研究也存在一些局限性：（1）研究仅集中在一个特定的临床指南，因此在其他领域的效果还不确定；（2）LLM输出的质量依赖于不定期更新的模型，这可能影响评审质量的标准化；（3）该研究仅处于验证阶段，不足以支持在实际情境中采取这种方法。

参考文献：JAMA Netw Open. 2024;7(7):e2420496.

点击链接：临床研究全流程课程 - 科研专栏 - 医咖会 (mediecogroup.com)，学习70多篇SPSS教程，30多篇R教程，以及更多科研教程！