使用ChatGPT能准确简化病理报告,让患者更容易理解吗?

JAMA Network Open近期发表了一项横断面研究,选取了医院2018年1月1日到2023年5月31日的1134份病理报告。每份报告都让两个聊天机器人用简单的语言解释报告并识别关键信息,两个聊天机器人分别为:Google的Bard(机器人1);OpenAI的GPT-4(机器人2)。 聊天机器人的回复在 2023 年 6 月 1 日至 8 月 31 日期间生成。

机器人解读的结果分为三类:(1)正确,表示机器人简化后的报告不包含任何错误,且给出的信息在医学上是合理的;(2)部分正确,表示简化后的报告包含至少一个错误的陈述或解释,但不会严重到改变疾病的治疗手段(例如,错误描述了肿瘤的大小或错误计算阳性淋巴结的数量); (3)不正确,简化后的报告中包含了会严重改变患者治疗的重大错误(例如,对良性标本指出存在癌症,或乳腺癌的激素状态不正确)

结果显示:

机器人 1 正确解读了 993 份报告(87.57%),部分正确解读了 102 份报告(8.99%),错误解读了 39 份报告(3.44%);

机器人 2 正确解读了 1105 份报告(97.44%),部分正确解读了 24 份报告(2.12%),错误解读了 5 份报告(0.44%)。

这项横断面研究的结果表明,聊天机器人能够简化病理报告,不过,也会出现一些不准确和幻觉。简化后的报告在发给患者之前应由临床医生进行审核。