在上一期的内容中,我们介绍了如果想要比较两个疾病模型的预测能力,除了可以绘制两个模型的ROC曲线并计算曲线下面积(AUC)外,还可以用定量的指标来比较新、旧模型预测准确率的改善程度,即净重新分类改善指数NRI。
(详细内容可查看:比较两个疾病模型的预测能力,AUC和NRI了解一下?)
NRI主要用于在设定好的切点水平下,例如某个指标的诊断界值,或高、中、低风险划分的界值等,来判断和比较新、旧模型的预测能力是否有所提高,在实际的临床应用中容易计算,也容易理解。
但是NRI的不足之处在于它只考虑了设定某个切点时的改善情况,不能考察模型的整体改善情况,此时我们就需要用到另一个指标,NRI的孪生兄弟--综合判别改善指数(Integrated Discrimination Improvement,IDI)。
综合判别改善指数IDI
IDI是由Pencina等人于2008年提出的,应该说算是一个非常新的判别指标了。由于它考虑了不同切点的情况,可以用来反映模型的整体改善状况,在一定程度上补齐了NRI的短板。同时,虽然AUC也考虑到了不同切点,但是AUC的改善情况在临床中不易解释,IDI也因此弥补了AUC的缺陷,可以形象地展示研究对象被准确重新判别的比例。
因此小咖也建议大家,在进行2个疾病模型比较,或者2个指标诊断效能比较时,除了传统的ROC曲线及其AUC,也可以同时给出NRI和IDI,更加全面多层次的展示模型的改善情况。
IDI计算方法
IDI的计算其实也比较简单,它反映的是两个模型预测概率差距上的变化,因此是基于疾病模型对每个个体的预测概率计算所得。它的计算方法为:
其中Pnew,events、Pold,events表示在患者组中,新模型和旧模型对于每个个体预测疾病发生概率的平均值,两者相减表示预测概率提高的变化量,对于患者来说,预测患病的概率越高,模型越准确,因此差值越大则提示新模型越好。
确认删除