岭回归

SPSS教程回归分析
问答

点击绿色“提问”按钮

  • 针对本文提问
  • 查看历史问答

长按鼠标选中正文某句话

  • 对选中的内容进行针对性提问
一、问题与数据

在前期推送的有关多重线性回归的内容中,我们讨论了当自变量之间存在多重共线性时,可以采用变量剔除和逐步回归的方法,对自变量进行一定的筛选,从而避免在模型拟合时出现多重共线性的问题。

 

但不管是变量剔除还是逐步回归,往往有时候会出现我们所研究的重点因素被剔除了模型,或者该因素估计的偏回归系数与实际明显相反的情况,此时所得出的结论可靠度也较差。当我们希望能够建立因变量与某个给定自变量的回归模型,但在模型中又出现自变量多重共线性时,应该如何进行处理呢?

 

今天我们讨论处理多重共线性的一种常用方法--岭回归
 

岭回归
 

岭回归(Ridge Regression)在1962年首次提出,是采用改进的普通最小二乘法,用于处理自变量多重共线性问题的一种有偏估计回归方法。岭回归放弃了普通最小二乘法的无偏估计,损失了部分信息,因此岭回归方程的R2通常会稍低于普通最小二乘法回归,但其估计的偏回归系数往往更接近真实的情况,从而提高了回归模型的稳定性和可靠性,对于病态数据的修复和拟合,具有较好的效果。


岭参数K值


岭回归的原理较为复杂,简单来说就是通过在正规方程中引入一个有偏常数,通常称为岭参数(K值),从而求得回归估计量。当K=0时即为最小二乘法估计,由于岭回归为有偏估计,K的取值应尽可能小,才能确保更接近于最小二乘法的无偏估计,因此岭回归分析的一个重要问题就是确定岭参数K的最适宜取值。


岭迹分析确定K值


当岭参数K值发生变化时,我们可以将各个自变量的岭迹曲线描绘出来,即对每个自变量绘制出随K值变化而引起岭回归估计值变化的曲线,称作为岭迹图,如图1所示。通过岭迹图分析,根据曲线的变化形状来确定适宜的K值。

 

一般要求当各个自变量的回归系数的岭轨迹基本趋于稳定,用最小二乘法估计时符号不合理的回归系数,其岭估计的符号变得合理,残差平方和增长不太多时,此时对应的K值就是要寻找的最适宜的K值。此外也可以应用方差膨胀因子法,选择的K值使得岭回归估计的所有自变量VIF<10。

图1. 岭迹图


岭回归变量选择


在岭回归中,对自变量的选择可以遵循以下几个参考原则:

 

1. 在岭回归的计算中,由于其回归系数是已经经过标准化了,可以直接比较不同自变量标准化回归系数的大小,因此可以剔除标准化回归系数比较稳定,且绝对值很小的自变量,因为这些自变量对因变量的影响较小。

 

2. 通过岭迹图分析,当K值较小时标准化回归系数并不小,随着K值的增加,标准化回归系数很不稳定,迅速趋近于0,对于此类自变量可以考虑予以剔除。

 

3. 根据上述两个原则,在剔除部分变量后,需要再次进行岭回归分析,根据剔除变量后的拟合效果再做相应的调整。

 

以上是对岭回归基本知识的一个简单介绍,大家最关心的还是如何通过SPSS软件来实现岭回归分析。很遗憾,SPSS并没有直接提供进行岭回归分析的对话框界面,不过没关系,其实SPSS已经为我们提供了一套名为Ridge Regression.sps的程序,隐藏在安装目录中,可以直接进行简单的调用就能实现岭回归的分析。

 

研究问题

 

某研究人员测量了97名受试者的某项生理指标(Y),并收集了他们的性别(Gender)、总胆固醇(CHO)、低密度脂蛋白胆固醇(LDL)、甘油三酯(TG)、C反应蛋白(CRP)等资料,拟探讨这些因素对指标Y的影响。

二、对问题分析

共线性诊断

 

针对该研究问题,判断是一个较为典型的回归分析,因此我们首先构建标准的多重线性回归模型,并进行自变量的共线性诊断(具体操作过程请参照前期推送的多重线性回归的内容)。

 

结果显示,CHO与LDL的相关系数为0.862(P<0.001),呈现高度相关性,同时CHO和LDL的Tolerance均<0.2,VIF值均>5,提示这两个变量之间存在多重共线性。同时,结合专业知识,CHO和LDL对指标Y的影响应为负向影响,但是回归模型估计的偏回归系数却显示,LDL为负向影响,CHO为正向影响,与实际情况矛盾,也提示两者存在多重共线性的问题,因此考虑使用岭回归的方法来进行处理。

 

普通最小二乘法得到的回归方程如下:

Y=1.705*Gender + 1.393*CHO - 1.433*LDL + 0.938*TG + 0.613* CRP + 22.633


三、SPSS操作
请先登录
这么重要的内容,赶快登录查看吧!
四、结果解释
请先登录
这么重要的内容,赶快登录查看吧!
请先登录
这么重要的内容,赶快登录查看吧!
描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
提交问题
Next
Previous
描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
提交问题
描述问题
选择一个标签 (请选择一个与您问题最相符的标签)
    提交问题