如果logistic回归发现存在多重共线性的影响,比如说某个自变量对Y结局的影响方向不符合逻辑,无法解释。此时应该怎么办呢?
如何发现/检验/诊断logistic回归中的共线性问题?看下文:
SPSS做logistic回归分析时如何进行多重共线性检验?
如果存在较为严重的共线性影响,又该如何处理呢?小兵查阅了一些教材/论文,首先一个大的原则是,很多统计分析问题没有标准答案,没有绝对的对或错,在统计研究中可能存疑有争议,所以下面给出的办法都是参考,多注重实践过程总结最合适的。
删减自变量
先去诊断清楚共线性问题是否严重,涉及哪些自变量,这些自变量能否从专业上、业务层面考虑删减,对于一个具体的研究来说,多数情况下自变量都是我们千挑万选的,主观上肯定是舍不得删除,因此这个办法大概率是难被采用的。
增加样本量
看看样本量,当下有没有办法增加样本量。这个办法可能会被吐槽,因为有的研究样本量是算好的,研究对象是确定的,有的研究完全没有可能增加哪怕半个样本。因此这个办法不一定实用。
逐步logistic回归
采用逐步回归的方式做logistic回归,拿到结果后要多讨论是否专业上、逻辑上符合,有没有一些特别重要的自变量被模型稀里糊涂筛掉了。
比如这篇论文:
该方法好像也不是妥当的,有人可能说,都交给模型了自动筛选,我很重要的一个研究变量无论如何也不能留下来,很尴尬。
主成分降维
我们现在是能查阅到一批主成分变换的logistic回归,原理就是先把自变量们提取主成分,提取的过程帮我们解决了共线性问题,我们用提取后的新的维度去继续做logistic回归。
比如这篇论文:
目的:采用主成分改进的条件logistic解决原发性开角型青光眼病因研究中的共线性问题。方法:采用1∶3配比病例对照设计 ,利用多重线性回归中的共线性诊断技术进行共线性诊断 ,以主成分改进的条件logistic回归分析解决共线性。
结果:主成分条件logistic回归能改善参数估计 ,显著降低标准误。结论:主成分改进的条件logistic能很好地解决原发性开角型青光眼病因研究中的共线性问题。
其他降维方法
还有其他类似于主成分的降维办法,比如偏最小二乘法logistic回归,也有学者已发表相关论文,可以去看查阅借鉴;
比如这篇论文:
结果简单共线性情形下,IPLSLR与CPLSLR回归系数估计的偏差较小,PCLR估计则相对稳定。多重共线性情形下,当样本量较大时,若共线性较高,IPLSLR,CPLSLR和PCLR均获得偏差较小、稳定性较好的回归系数估计;
若共线性较低,PCLR回归系数估计的偏差明显大于IPLSLR和CPLSLR。当样本量较小时,IPLSLR与CPLSLR在回归系数估计偏差和稳定性方面互有优劣。
本文完,文/图=数据小兵
2017年10月开始开发和维护数据统计分析类视频课程,其中《学不会SPSS就来答疑突破》在网易云课堂畅销1500+套,许多学员给予了好评。
《学不会SPSS就来答疑突破》
适于入门学习及有一定基础的人员实践提高,可满足高校本科生、研究生科研统计及职场人士商务分析需求。
▌典型案例带领入门与实践提高,视频教学+案例实践+一对一辅导统计应用,帮助您解决科研学术、商业分析实际问题。旨在让读者快速入门,通过案例实践、上机作业巩固关键知识点,熟练掌握软件工具、统计方法的实际应用,提供一对一问题答疑交流和讨论。
▌您在学习和使用SPSS的过程中,有疑问时可及时向作者咨询解答、讨论交流,并不是所有的课程讲师都会亲自答疑和辅导,课程一对一服务的价值远超课程本身,您购买的不仅是课程,更是竭诚贴心的帮带、答疑、交流服务。(修改数据、写报告除外)