两个预测模型比较,再教你一招IDI

龚志忠

龚志忠

首都医科大学附属北京中医医院

擅长:临床研究数据统计分析、流行病学方法设计、临床预测模型建模与评价
已关注
关注
2018-10-29 来源:医咖会

在上一期的内容中,我们介绍了如果想要比较两个疾病模型的预测能力,除了可以绘制两个模型的ROC曲线并计算曲线下面积(AUC)外,还可以用定量的指标来比较新、旧模型预测准确率的改善程度,即净重新分类改善指数NRI。

(详细内容可查看:比较两个疾病模型的预测能力,AUC和NRI了解一下?)

NRI主要用于在设定好的切点水平下,例如某个指标的诊断界值,或高、中、低风险划分的界值等,来判断和比较新、旧模型的预测能力是否有所提高,在实际的临床应用中容易计算,也容易理解。

但是NRI的不足之处在于它只考虑了设定某个切点时的改善情况,不能考察模型的整体改善情况,此时我们就需要用到另一个指标,NRI的孪生兄弟--综合判别改善指数(Integrated Discrimination Improvement,IDI)

综合判别改善指数IDI

IDI是由Pencina等人于2008年提出的,应该说算是一个非常新的判别指标了。由于它考虑了不同切点的情况,可以用来反映模型的整体改善状况,在一定程度上补齐了NRI的短板。同时,虽然AUC也考虑到了不同切点,但是AUC的改善情况在临床中不易解释,IDI也因此弥补了AUC的缺陷,可以形象地展示研究对象被准确重新判别的比例。

因此小咖也建议大家,在进行2个疾病模型比较,或者2个指标诊断效能比较时,除了传统的ROC曲线及其AUC,也可以同时给出NRI和IDI,更加全面多层次的展示模型的改善情况。

IDI计算方法

IDI的计算其实也比较简单,它反映的是两个模型预测概率差距上的变化,因此是基于疾病模型对每个个体的预测概率计算所得。它的计算方法为:

其中Pnew,events、Pold,events表示在患者组中,新模型和旧模型对于每个个体预测疾病发生概率的平均值,两者相减表示预测概率提高的变化量,对于患者来说,预测患病的概率越高,模型越准确,因此差值越大则提示新模型越好。

试读结束,兑换后即可解锁本专栏全部课程
评论
请先登录后再发表评论
发表评论
medi_nsg7vp4
请问老师,能得到NRI和IDI的值,它们的置信区间能得到吗?
2023-09-11 09:30:58 回复
0
加菲翔
是需要手动计算吗?
2023-04-03 16:41:10 回复
0
medi_26502242537
请问老师NRI和IDI的计算可以通过SPSS实现吗?还是需要别的什么软件?谢谢!
2022-03-09 18:53:21 回复
1
wenlong0919
您好,请问通过Z值如何求得P值?谢谢,盼解答。
2021-10-16 00:04:30 回复
0
小丫头22
对应正态分布表一查就行
2021-12-31 11:19:37 回复
0
使用课程券需先认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
下载附件需认证
为保证平台的学术氛围,请先完成认证,认证可免费享受基础会员权益
基础课程券2张
专属科研工作台
200积分
确认
取消
公众号
统计咨询
扫一扫添加小咖个人微信,立即咨询统计分析服务!
会员服务
SCI-AI工具
积分商城
意见反馈