SPSS线性回归Enter,Stepwise,Remove,Backward,Forward回归方法的介绍

原创 数据小兵  2020-03-24 10:08  阅读 169 次
视频课程《SPSS统计分析:从入门到实践提高》

1. Enter(进入法)

将所选自变量强制性引入模型中进行拟合,不涉及变量筛选的问题,为默认选项。

2. Remove(移除法)

将指定的自变量强制性移除模型。Remove方法的第一步是利用Enter法构建回归方程,第二步再用Remove法将指定的自变量移除模型。该方法常与其他筛选变量的方法联合使用。

3. Forward selection(前进法)

即回归方程中的自变量从无到有,由少到多逐个引入来构建模型的一种方法。这里需要提到一个新的概念--偏回归平方和,简单来说就是在模型已经含有其他自变量的基础上,加入一个新的自变量后,引起的对于回归模型贡献的增加量,或者删除某个自变量后,引起的对于回归模型贡献的减少量。

如果不太好理解,这里打个比方,某个公司(因变量Y)将进行员工(自变量X)选拔。第一步,公司(Y)需要评估一下每个员工(X)对公司(Y)的贡献大小(偏回归平方和),选拔出贡献最大且有统计学显著性(引入标准Pin<0.05)的第一个员工(X1)。

第二步,在选拔出第一个员工(X1)的基础上,公司(Y)再次评价如果每个员工都与第一个员工(X1)一起工作时所产生的贡献增加量(偏回归平方和),选拔出贡献最大且有显著性意义的第二个员工(X2)。以此类推不断有员工(X)选拔进来,直到公司认为即使再有员工选拔进来,也不会额外增加对公司(Y)的贡献,此时选拔结束,以上即为前进法的基本流程。

前进法的优点是可以自动去掉高度相关的自变量,但也有一定的局限性,前进法在自变量选择的过程中,只在自变量引入模型时考察其是否有统计学意义,并不考虑在引入模型后每个自变量P值的变化,后续变量的引入可能会使先进入方程的自变量变得无统计学意义。

4. Backward elimination(后退法)

后退法与前进法相反,即先建立全变量模型,然后逐步剔除无统计学意义的自变量,以此构建回归模型的一种方法。如果说前进法是选拔员工,那么后退法就相当于公司裁员,每一次裁掉一个对公司贡献最小且无显著性意义的员工(剔除标准Pout>0.1),然后对剩下的员工再次进行评估,裁掉一个贡献最小的员工,以此类推不断有员工被裁掉,直到公司认为即使再裁掉其他员工,也不会额外减少对公司的贡献,此时裁员停止,以上即为后退法的基本流程。

后退法的优点是考虑了自变量的组合作用,但是当自变量数目较多或者自变量间高度相关时,可能得不出正确的结论。

5. Stepwise逐步回归法)

逐步回归法,是在前进法和后退法的基础上,进行双向筛选变量的一种方法。其本质是前进法,也就是说公司(Y)每引入一个员工(X)后,都要重新对已经进入公司的每个员工的贡献进行评估和检验,如果原有的员工由于后续引入新员工后,其贡献变得不再有显著性,则会将其裁掉,以确保公司里每一个员工的贡献都是有意义的。

这个过程反复进行,直到既没有不显著的自变量引入回归方程,也没有显著的自变量从回归方程中剔除为止,从而得到一个最优的回归方程。逐步回归法结合了前进法和后退法的优点,因此被作为自变量筛选的一种常用的方法。

via:医咖会

本文地址:http://www.datasoldier.net/archives/1942
版权声明:本文为原创文章,版权归 数据小兵 所有,欢迎分享本文,转载请保留出处!
SPSS在线视频学习
欢迎订阅SPSS训练营微信公众号

评论已关闭!