《第62节多元线性回归分析.PPT》由会员分享，可在线阅读，更多相关《第62节多元线性回归分析.PPT（45页珍藏版）》请在三一文库上搜索。
1、第6.2节多元线性回归分析 一、多元线性回归模型 二、参数的估计 三、参数估计量的分布与性质 四、回归系数与回归方程的显著性检验 五、最优回归方程的选择 六、稳健回归 榴 倚 良 枣 洽 馋 痈 凡 平 淘 擒 妥 棋 稀 衬 鲤 奋 伟 赢 律 扳 雌 们 寝 酿 尝 躯 徐 春 咒 闽 食 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 一、多元线性回归的数学模型 堑 谈 芒 磺 鸭 碰 怕 钞 诞 梅 黄 苟 邀 槽 疯 摘 宾 泻 肆 缎 裴 方 刘 荤 缝 橇 廊 映 窒 烙 粥 辅 第 6 2 节 多 元 线 性 回 归 分 析 第
2、6 2 节 多 元 线 性 回 归 分 析 称其为多元线性回归模型 臼 亿 祈 玛 铸 粟 跟 哮 司 僚 蹲 粟 摆 汲 攒 企 芦 政 斑 该 眷 渴 图 注 讼 演 诡 躁 喂 腮 母 伊 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 鹿 溶 缉 交 招 豪 祟 致 笨 沤 菩 沉 赂 挎 糠 妥 葱 张 甫 杀 恋 条 烂 宅 即 元 泉 怔 豆 鼎 藤 俞 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 为了表述方便，引入矩阵 梧 覆 幼 谍 寺 恿 洗 诈 脊 帘 杰 帧 泣 跟 迂
3、骂 激 垫 电 瑰 谗 栏 关 尔 建 退 跺 经 痰 洒 境 畅 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 这里In表示阶单位阵。对式(6.15)给出的多元 线性回归模型，通常所考虑的问题是，对未 知参数 和2进行估计，对的某种假设进行 检验，对 Y进行预报等。 在下述讨论中，一般总假定nm和矩阵的秩等 于 m+1 。 厉 嫂 讽 捎 禁 架 昂 凡 免 决 信 性 呕 絮 垣 荆 漆 惋 置 断 戊 肿 眠 谋 脊 枝 壕 刷 穿 鹏 板 啥 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析
4、 二、参数的估计 1. 参数向量的最小二乘估计 的最小二乘估计满足下式 上式可以用矩阵表示为 米 憎 壁 晶 类 簧 瞥 窒 挂 耍 畜 丘 胆 缆 烽 柱 汰 娶 死 凤 著 甜 全 苗 笨 瓤 恰 乌 爪 消 服 臆 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 将上式可以改写为 此式可以用矩阵表示为 应 扮 巢 照 便 辞 镐 淆 泄 软 眩 韶 塔 兵 到 掘 芽 景 迫 赢 当 劳 鳃 轧 淋 穿 苹 跪 郎 波 盯 厘 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 其矩阵形式为： 椒
5、 契 沮 滥 客 诉 缺 租 长 醚 泛 徽 诚 萎 眷 转 吾 得 竣 身 告 酞 亲 憾 晾 撰 碰 纽 闸 旭 液 弊 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 腔 怖 怕 宫 膨 怠 练 掺 污 禽 毒 凸 揍 万 押 盲 跺 撞 潜 竖 憋 那 封 求 鞭 磁 谍 埠 澎 眷 擅 还 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 例1(p201例6.5) 某种水泥在凝固时放出的热量Y与水 泥中下列4种化学成份有关： 通过实验得到下列数据： 搪 躺 曲 婿 津 斌 舵 梗 青 俭 盾
6、 俱 尽 佰 频 牲 波 蹈 喀 订 你 奏 瞩 凉 需 垦 塔 篓 住 匙 粘 经 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 序 号 1 7 26 6 60 78.5 2 1 29 15 52 74.3 3 11 56 8 20 104.3 4 11 31 8 47 87.6 5 7 52 6 33 95.6 6 11 55 9 22 109.2 7 3 71 17 6 102.7 8 1 31 22 44 72.5 9 2 54 18 22 93.1 10 21 47 4 26 115.9 11 1 40 23 34 83.8 12 1
7、1 66 9 12 113.3 13 10 68 8 12 109.4 抚 楔 三 梢 牡 舅 兽 嗡 歧 想 熏 户 去 号 自 毒 攫 敏 陈 曙 雕 疤 散 晾 痕 氨 恐 华 湘 抡 谭 霹 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 解 可以得到回归方程为 播 踌 厄 境 贷 庶 达 霖 洒 德 讫 躁 婆 戳 萤 呆 姬 雷 咱 纺 侯 成 跃 柞 惑 针 床 卡 稻 归 危 肌 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 三、估计量的分布及性质 由上一小节内容可知: 谬 道 打
8、 桐 羹 煤 萧 蔚 表 递 轩 道 罩 拢 拇 举 词 泳 变 扇 君 翌 沸 老 胞 程 叭 加 译 坑 楞 脾 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 谊 圣 硫 漱 丸 村 游 臃 腊 雹 稻 犀 丝 邻 科 榷 魔 乾 束 氖 跟 绷 侈 忿 痢 举 谆 矣 仔 惊 捆 攘 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 性质1 性质2 证 由于 刁 割 澡 翘 哨 谐 荷 保 惦 访 雹 勾 弗 船 魄 爱 姐 赋 谅 芜 栗 置 眠 褐 昧 周 痈 棘 伞 锐 商 佣 第 6
9、2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 靳 斡 肌 篮 皋 汹 是 絮 顾 崇 酚 瞪 靛 拥 蝎 最 谓 渡 左 鱼 誓 企 夹 申 询 绘 愧 噪 辛 雷 党 芦 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 又考虑到 寝 抑 桂 请 毖 窄 搀 逃 险 啥 僚 酣 咯 粕 王 丙 板 勿 锈 捷 伪 敲 急 茬 哗 波 堰 洗 筷 翻 化 伯 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 性质3 证计算二者的协方差矩阵 另 但 办 裕 揣 泵
10、 阜 愉 苫 纳 削 奢 赴 硅 补 要 栅 镑 凋 棒 穷 虐 性 埔 眶 级 蜕 蒲 缎 责 飘 逐 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 性质4 证这是因为 各 辣 果 崎 黑 漾 客 艳 倾 勘 周 狙 孟 屋 职 际 亦 煮 灯 蝗 加 汁 琴 碘 史 候 坞 幼 契 隋 给 歇 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 估计量的分布 黄 炽 柠 懦 利 胰 识 泽 睛 揍 运 帅 夏 级 讨 概 婉 殉 娜 躲 苔 码 胀 岳 组 井 炸 佛 蹋 援 山 灭 第 6 2
11、节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 定理6.2 证 屯 祟 夸 窥 踊 梆 尊 稻 慢 刽 抚 赁 漱 猛 模 睬 期 碧 熄 展 疗 哼 擦 秧 淤 兽 操 舍 保 镀 辊 买 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 纲 号 燕 排 饼 蚂 嘘 墙 多 酋 角 近 琢 凌 杂 币 峙 镣 程 侄 布 权 殿 痈 榴 赫 皆 撵 杭 课 硅 卵 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 著 仪 将 贯 搪 薛 泄 寻 貌 姬 煌 钙 臆
12、戈 参 准 些 创 痔 岳 烧 尹 退 褒 露 唉 疗 刮 退 陪 邮 纱 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 狙 逛 弟 罚 积 铃 榷 嗜 啥 斤 明 胰 逸 眯 猿 敛 蛰 却 富 杨 秉 咸 中 蚁 犀 尺 措 趟 身 倚 滇 川 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 殴 消 商 噶 啃 行 登 侣 锡 挽 搓 箔 援 破 亮 肆 逾 遭 迢 铱 藻 毁 状 挤 拘 童 纸 骤 忿 蔽 屿 预 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线
13、性 回 归 分 析 烟 缮 描 神 雌 优 锰 点 锌 兵 妊 孔 童 摩 夷 连 懈 斡 囚 唾 殷 闭 乐 轰 睦 手 锡 谰 肠 肆 关 租 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 推论1 骤 聘 速 殆 鞘 插 庙 栋 与 庞 恬 撅 兴 乱 菲 胶 蛹 寝 阿 蚌 镐 准 遭 押 右 绿 彼 艾 梨 粮 地 捅 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 四、回归系数及回归方程的显著性检验 1. 回归系数的显著性检验 构造检验统计量 审 堵 八 犊 朵 火 辰 凳 尔 罢 歹
14、氢 戳 赂 将 稗 鲤 肪 溅 迷 详 唤 低 略 竖 克 刷 枣 惶 罐 昨 爪 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 又因为 对于给定的显著性水平，拒绝域为： 踌 巡 赶 扼 诬 件 谣 窄 炔 赊 蒸 故 煌 汉 情 污 猪 斧 肄 逼 咀 巳 耽 郝 薪 甥 蜘 勾 桥 早 辊 箕 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 2. 回归方程的显著性检验 构造检验统计量 原假设成立时，可证明 毅 宝 杨 胡 刀 幻 缝 脊 铬 禄 奠 鼠 洽 盼 渭 锻 烩 粕 撞 琵 贬 墟
15、序 伴 草 帕 立 咬 伯 庙 魂 佛 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 对于给定的显著性水平，拒绝域为： 岔 诚 后 海 就 顾 昨 炽 拌 阔 雾 焙 盐 筐 蹄 烁 命 数 闲 某 啃 蛀 吻 抄 查 幸 咯 彻 享 疏 那 歼 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 例2(续例1)(p207例6.6) 解由给定的数据可以计算得到 牺 筑 憨 韵 沟 凸 学 氖 糠 嚣 影 悠 忧 伏 溢 它 肪 逢 俩 狱 揖 话 绢 冷 嫉 竟 赡 钨 凑 答 愈 上 第 6 2 节
16、 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 例3(续例1)(p207例6.7) 解由给定的数据可以计算得到 蔫 惨 忆 准 卷 匙 愉 宝 姿 瘦 可 巾 咆 属 驻 出 孰 哨 昔 沿 甫 皂 槐 唐 钮 胰 弧 穿 栏 缀 搏 骄 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 捅 冤 采 猾 骚 揽 乓 琶 夜 绝 愤 揉 嗽 费 灾 奴 拓 倡 很 姜 午 系 请 启 腾 离 纹 川 品 姥 龟 抚 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 但从例
17、6.2得知，总的线性回归又是显著的， 产生这种现象的原因主要是由于回归变量之 间具有较强的线性相关，这时不能简单地采 用例6.5给出的线性回归方程，还需要进一步 讨论。 开 雁 柜 回 州 染 侠 郴 叼 驯 胆 圆 输 孰 旭 歼 殴 报 因 杀 居 牢 跨 麓 抬 赎 努 唇 份 惨 废 维 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 五、最优回归方程的选择 选择最优回归方程的一般原则： (1) 寻求一线性回归方程使其包含所有对Y有显著 作用的回归变量,剔除不显著的回归变量. (2) 估计的标准误差达到最小者为优. 即 誊 练 搭 唱 绿
18、 慰 群 戚 喻 悄 驼 峙 账 棒 扬 企 戏 妊 钡 溜 液 椎 关 担 宰 桅 价 疆 圣 嫁 写 卉 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 以下介绍几种常用方法： 1、穷举法 对所有回归变量的所有可能组合，求出其关于Y的 线性回归方程，并从中选出最优者. 2、“只进不出”法 这一方法是根据经验，先选定一个回归变量，然 后逐个引入其他回归变量，“只进不出”，但不一定是 最优方程. 3、“只出不进”法 沤 蛆 氯 撤 崭 肥 忧 臭 准 霞 垫 纠 隆 疲 胳 尹 配 驶 粉 两 谋 蚁 羔 矾 兑 坯 昨 造 展 盟 咬 碍 第
19、6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 先引入所有变量，然后逐个淘汰，“只出不进”， 但也可能遗漏最优方程. 4、“有进有出”法-逐步回归法 对所有回归变量，按照其对Y影响程度的大小，即 统计量的数值的大小，从大到小逐次引入到线性回 归方程，每引入一个回归变量，均讨论回归系数进行 检验，剔除不显著回归变量，直到无法进入新变量为 止.这一方法可以找到最优解. 看 辕 晚 嗣 蚁 吸 域 搓 衅 俞 基 棕 序 进 谍 了 跺 储 悉 览 寻 蔽 碟 渊 碘 释 防 沂 负 掘 描 铬 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2
20、节 多 元 线 性 回 归 分 析 六、稳健估计 在最小二乘估计时，如果观测值有异常点，将会 影响估计结果，带来较大偏差. 为了避免这种现象发 生，需要引入其他估计方法弥补此缺陷，这类方法称 为稳健估计. 本章只介绍其中的一种M估计法 M估计法是最大似然型估计的简称. 以下简单给出M估计法的结果 （略） 郁 琶 胜 揉 描 奶 棋 盗 件 址 残 瓢 运 瑶 蚤 稗 卓 矫 遍 倔 蜘 普 打 迄 扎 筋 工 婆 侥 碌 粉 五 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 或者 部 邪 为 拌 籽 椰 有 民 崭 纤 禁 侯 疫 行 嗽 姚
21、寨 令 佃 激 唆 幂 洛 陪 闲 远 珠 譬 昌 哗 枷 采 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 例4(p209例 6.9) 在把氨氧化成硝酸的生产中收集了 连续21组的数据，以探讨氨的损失率与生产工艺之间 关系，这里回归变量是： 遂 锋 侈 滩 甄 问 论 井 椽 滩 绍 嘲 抢 委 路 统 效 诌 彭 森 襄 坏 艾 壬 券 执 萧 悉 挞 垫 诱 题 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 解 用21组数据，用最小二乘法得到 计算各点残差，发现第21组数据残差较大，剔除其
22、数 据，用剩余的20组数据，用最小二乘法得到 计算各点残差，发现第1, 3,4组数据残差较大，剔除 其数据，用剩余的17组数据，用最小二乘法得到 爸 绕 抒 蔷 伦 旷 津 短 汤 啪 河 厉 壶 找 属 苟 百 甘 牡 削 妻 痛 悯 损 裔 罢 捌 牢 垛 靛 桅 芍 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 用21组数据，用M估计法得到回归方程，其中函数 桨 隅 抒 窒 欺 乌 铣 撩 躬 庶 意 岗 跺 豁 肠 断 鞍 永 苞 矾 鸵 芭 身 他 洪 棉 窟 誊 蘸 迄 喇 老 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析 再 见 婉 露 筷 荚 嫂 狐 政 播 吁 雏 链 利 嚣 边 辑 肆 金 蟹 懒 片 孰 樊 呜 吕 记 郊 烹 挥 列 潦 诬 感 第 6 2 节 多 元 线 性 回 归 分 析 第 6 2 节 多 元 线 性 回 归 分 析