两个预测模型比较,再教你一招IDI

专题合集更多教程

在上一期的内容中,我们介绍了如果想要比较两个疾病模型的预测能力,除了可以绘制两个模型的ROC曲线并计算曲线下面积(AUC)外,还可以用定量的指标来比较新、旧模型预测准确率的改善程度,即净重新分类改善指数NRI。

 

(详细内容可查看:比较两个疾病模型的预测能力,AUC和NRI了解一下?)

 

NRI主要用于在设定好的切点水平下,例如某个指标的诊断界值,或高、中、低风险划分的界值等,来判断和比较新、旧模型的预测能力是否有所提高,在实际的临床应用中容易计算,也容易理解。

 

但是NRI的不足之处在于它只考虑了设定某个切点时的改善情况,不能考察模型的整体改善情况,此时我们就需要用到另一个指标,NRI的孪生兄弟--综合判别改善指数(Integrated Discrimination Improvement,IDI)

 

综合判别改善指数IDI

 

IDI是由Pencina等人于2008年提出的,应该说算是一个非常新的判别指标了。由于它考虑了不同切点的情况,可以用来反映模型的整体改善状况,在一定程度上补齐了NRI的短板。同时,虽然AUC也考虑到了不同切点,但是AUC的改善情况在临床中不易解释,IDI也因此弥补了AUC的缺陷,可以形象地展示研究对象被准确重新判别的比例。

 

因此小咖也建议大家,在进行2个疾病模型比较,或者2个指标诊断效能比较时,除了传统的ROC曲线及其AUC,也可以同时给出NRI和IDI,更加全面多层次的展示模型的改善情况。

 

IDI计算方法

 

IDI的计算其实也比较简单,它反映的是两个模型预测概率差距上的变化,因此是基于疾病模型对每个个体的预测概率计算所得。它的计算方法为:

 

 

其中Pnew,events、Pold,events表示在患者组中,新模型和旧模型对于每个个体预测疾病发生概率的平均值,两者相减表示预测概率提高的变化量,对于患者来说,预测患病的概率越高,模型越准确,因此差值越大则提示新模型越好。

 

而Pnew,non-events、Pold,non-events表示在非患者组中,新模型和旧模型对于每个个体预测疾病发生概率的平均值,两者相减表示预测概率减少的量,对于非患者来说,预测患病的概率越低,模型越准确,因此差值越小则提示新模型越好。

 

最后,将两部分相减即可得到IDI,总体来说IDI越大,则提示新模型预测能力越好。与NRI类似,若IDI>0,则为正改善,说明新模型比旧模型的预测能力有所改善,若IDI<0,则为负改善,新模型预测能力下降,若IDI=0,则认为新模型没有改善。

 

我们可以通过计算Z统计量,来判断IDI与0相比是否具有统计学显著性,统计量Z近似服从正态分布,公式如下:

 

 

其中SEevents为Pnew,events - Pold,events的标准误,首先在患者组,计算新、旧模型对每个个体的预测概率,求得概率的差值,再计算差值的标准误即可。

 

同理,SEnon-events为Pnew,non-events - Pold,non-events的标准误,是在非患者组,计算新、旧模型对每个个体的预测概率,求得概率的差值,再计算差值的标准误即可。

 

研究实例

 

同样,我们结合一篇2016年发表在Journal of Circulating Biomakers杂志上的文章为例《Circulating cell-free DNA is a predictor of short-term neurological outcome in stroke patients treated with intravenous thrombolysis》,来向大家介绍一下如何在实际的研究中应用IDI。

 

在这篇文章中,研究人员建立了2个预测模型,即传统的临床模型,以及在传统临床模型的基础上引入了cfDNA指标作为新模型,来预测研究对象48小时神经的改善情况,如下图所示。改善组新、旧模型的平均预测概率分别为78.4%和69.5%,未改善组新、旧模型的平均预测概率分别为34.1%和46.4%。

 

根据上面的公式,我们可以计算出IDI=(78.4%-69.5%)-(34.1%-46.4%)=21.2%(文献中给出对应的P=0.0005),具有统计学显著性,提示在加入了cfDNA后,新模型的整体预测能力有所改善,综合判别的能力提高了21.2%。

 

 

注意事项

 

通过两期的内容,我们介绍了AUC、NRI和IDI这3个指标在判断和比较两个疾病风险模型预测能力中的应用,三者相辅相成,各有不同,最后我们再来总结几点需要注意的地方:

 

1. 相对于经典的AUC指标来说,NRI和IDI属于较为新颖的指标,还处于初步发展的阶段,虽然近年来受到越来越多研究者的关注,但是AUC的提高依然还是可以作为模型预测能力改善的第一判断标准。当然,如果能够同时给出NRI和IDI,则更是锦上添花,在理想的情况下,三者得到的结论应该是较为一致的。

 

2. NRI的计算与设定的切点密切相关,预测概率的等级划分应该选择适宜的界值。如果等级划分过宽,NRI计算值可能就会比较小,而达不到统计学显著性,如果等级划分过窄过细,则会得到更为精细的NRI,但是却失去了临床实践的指导意义。因此,预测概率切点的划分对于计算NRI来说显得十分重要,一定要结合临床专业的需求来确定。

 

3. 如果目前还无法确定明确的划分切点,那么IDI和AUC可能是较好的选择,如果比较关心切点处的改善情况,那么NRI可能是较好的选择。如果结局指标不是二分类变量,而是多分类情况,例如高、中、低风险,那么NRI和IDI可能是更好的选择,AUC则显得较为复杂。

 

4. 同时,我们还要考虑到临床的可行性和经济效益问题,例如,如果在不损失特异度的情况下,新增加一个预测指标,不会带来太多额外的经济负担,即使提高模型的预测能力并不是太显著,也可以考虑将新指标加入到预测模型中。相反,如果一个新指标难以获取,或者检测费用昂贵,即使模型的预测能力有所改善,可能也要保守选择传统的、成本较低的预测模型。

 

参考文献:

[1] J Circ Biomark. 2016 Sep 26; 5: 1849454416668791

描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
提交问题
我要提问
描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
提交问题
描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
    提交问题