《多重线性回归相关.ppt》由会员分享，可在线阅读，更多相关《多重线性回归相关.ppt（24页珍藏版）》请在三一文库上搜索。
1、多重线性回归与相关多重线性回归与相关 多因素分析的优点： （1）资料易收集； （2）可同时研究多个因素； （3）既可考察各因素的独立作用，又 可研究因素间的交互作用； 第一节 多重线性回归的概念 多重线性回归是研究一个应变量与多个 自变量之间线性依存关系的统计方法，是一 元直线回归分析的推广。 式中b0是常数项，bi（i1，2，m）称 为偏回归系数。 (1)b0是常数项，是各自变量都等于0 时，应变量的估计值。有时，人们 称它为本底值。 (2)b1，b2，bp是偏回归系数 (pertial regression coefficient)，其统计学意义是在 其它所有自变量不变的情况下，某 一自变
2、量每变化一个单位，应变量 平均变化的单位数。 与直线回归一样，建立多重回归方程常用 最小二乘法(least square method)原理求bi （i1，2，m），再求b0，即求出使 估计值 与观测值y之间差异的平方和 达到最小的一组解作为bi的估计值。 多重线性回归模型的前提条件 1. 1. 线性（线性（linearlinear） 2. 2. 独立（独立（independentindependent） 3. 3. 正态（正态（normalnormal） 4. 4. 等方差性（等方差性（equal varianceequal variance） 例1 同样身高的20名健康男子的收缩压（kPa
3、）、 年龄（岁）和体重之间的多元线性回归方程。 编号 收缩压 年龄 体重 y x1 x2 1 15.60 50 76.0 2 18.80 20 91.5 3 16.53 20 85.5 4 16.80 30 82.5 5 15.60 30 79.0 6 16.67 50 80.5 7 16.40 60 79.0 8 16.67 50 79.0 9 17.60 40 85.0 10 16.40 50 76.5 表表1 201 20名健康男子的收缩压、年龄和体重测定值名健康男子的收缩压、年龄和体重测定值 n20,X1=44.05, X2=82.80,Y=17.82 Y=356.35, X1=881
4、, X2=1656.0, X12=41467, X22=137953.5, Y2=6408.2049, X1Y=15788.50，X2Y=29653.27， X1X2=72669.5 由样本计算得到得偏回归系数由样本计算得到得偏回归系数b b i i 是总体偏回归系数是总体偏回归系数 i i 的估的估 计值，即使总体偏回归系数等于计值，即使总体偏回归系数等于0 0，但由于抽样误差，仍可使样，但由于抽样误差，仍可使样 本偏回归系数本偏回归系数b b i i 不等于不等于0 0，因此仍要作假设检验，以判断其是否，因此仍要作假设检验，以判断其是否 有统计学意义。有统计学意义。 假设检验包括方程的假设
5、检验和每个偏回归系数的假设检验。假设检验包括方程的假设检验和每个偏回归系数的假设检验。 （一）多元回归方程的假设检验 1. 建立假设和确定检验水准： H0：1=2=3=m0 H1：1、2、3、m不全为0 =0.05 假设检验 总 = n-1 回归=m 剩余=n-m-1 SS误差 = SS总 - SS回归 总 = 20-119 回归=2 剩余=20-2-117 SS误差 = SS总 - SS回归25.2829 n20,X1=44.05, X2=82.80,Y=17.82 Y=356.35, X1=881, X2=1656.0, X12=41467, X22=137953.5, Y2=6408.2
6、049, X1Y=15788.50，X2Y=29653.27， X1X2=72669.5 查F界值表得：F0.05（2，17）3.59，F F0.05（2，17），P0.05，因此在=0.05 水平上，拒绝H0，可以认为收缩压与年 龄和体重之间有回归关系，所建立的回 归方程有意义。 （二）回归系数的假设检验 1. 建立假设和确定检验水准： H0：i=0 H1：i0 =0.05 2. 计算统计量t 查t界值表得：t0.05（17）2.110，t1 t0.05（17），P0.05，因此在=0.05水 平上，拒绝H0，可以认为收缩压与年龄 之间有线性回归关系。 查t界值表得：t0.05（17）2.1
7、10，t2 t0.05（17），P0.05，因此在=0.05水 平上，拒绝H0，可以认为收缩压与体重 之间有线性回归关系。 因为m个自变量都具有各自的计量单位 以及不同的变异度，所以不能直接用偏 回归系数的数值大小来反映方程中各个 自变量对应变量Y的贡献大小。为此， 可计算标准化回归系数。 标准化回归系数标准化回归系数 复相关系数复相关系数 R2称为决定系数，可定量评价y的总变 异能被自变量解释的比重。 偏相关系数偏相关系数 扣除其他变量的影响后，变量y与x的相 关，称为y与x的偏相关系数。 如：r12.3 在一个有统计学意义的方程中，可能某 些自变量对应变量影响较大，而另一些 影响很弱甚至完
8、全没有意义。 为使回归方程中仅包含有意义的自变量 ，有必要对偏回归系数作检验和进行自 变量筛选。 自变量筛选的常用方法 1. 所有可能自变量子集选择； 2. 向前选择法； 3. 向后剔除法； 4. 逐步选择法 自变量筛选的原则：残差均方缩小或调整决 定系数（Ra2）增大。 多重线性回归的注意事项： 1. 自变量必须是相互独立的； 2. 自变量的联合作用； 3. 样本含量； 4. 正确看待选入和未选入的自变量。 多重共线性问题及对策： 多重共线性指的是自变量间存在着近似 的线性关系，即某个自变量可以近似地 用其他自变量的线性函数来描述。 对策：对策： 1. 1. 增大样本量；增大样本量； 2. 2. 采用多种自变量筛选方法相结合的方式；采用多种自变量筛选方法相结合的方式； 3. 3. 因子分析和主成分分析；因子分析和主成分分析； 4. 4. 通径分析；通径分析； 5. 5. 岭回归分析；岭回归分析； 6. 6. 从专业和实际角度，去除次要的、缺失值较多、从专业和实际角度，去除次要的、缺失值较多、 测量误差较大的共线性因子。测量误差较大的共线性因子。