《最小二乘法原理及其简单应用.pdf》由会员分享，可在线阅读，更多相关《最小二乘法原理及其简单应用.pdf（2页珍藏版）》请在三一文库上搜索。
1、科技信息SCIENCE & TECHNOLOGY INFORMATION2010 年第 23 期 y(%)1.000.90.90.810.60.560.35 x(%)3.63.73.83.94.04.14.2 最小二乘法原理及其简单应用 邹乐强 （河南工程技术学校河南焦作 454000） 【摘 要】最小二乘法是从误差拟合角度对回归模型进行参数估计或系统辨识，并在参数估计、系统辨识以及预测、预报等众多领域中得到 极为广泛的应用。然而，最小二乘法因其抽象、难懂常常被大家所忽视。本文就最小二乘法的引入，原理的证明，简单的应用进行归纳和总结，使 读者对最小二乘法有更为清晰、系统、全面地认识。 【关键词
2、】最小二乘法；回归模型；参数估计；系统辨识 最小二乘法作为一种传统的参数估计方法， 早已经被大家所了 解。 然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘 法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统 辨识以及预测、预报等众多领域都有着广泛的应用。 本文就最小二乘 法的引入、最小二乘法原理的简单证明、最小二乘法在线性参数估计、 欧氏空间、多项式拟合以及经济领域的模型参数估计等应用方面进行 具体的阐释。 本文的一些理论建立在学习过高等代数、数值分析及了 解简单的经济计量学的基础上。 本文的理论简明易懂，仅对现实中常 见的问题用最小二乘法理论结合阐释。 1问题的引入 例
3、已知某种材料在生产过程中的废品率y与某种化学成分x 有关。 下列表中记载了某工厂生产中y与相应的x的几次数值： 我们想找出y对x的一个近似公式。 解把表中数值划出图来看， 发现它的变化趋势近于一条直线。 因此我们决定选取x的一次式ax+b来表达。 当然最好能选到适当的 a，b使下面的等式 3.6a+b-1.00=0 3.7a+b-0.9=0 3.8a+b-0.9=0 3.9a+b-0.81=0 4.0a+b-0.60=0 4.1a+b-0.56=0 4.2a+b-0.35=0 都成立。 实际上是不可能的，任何a，b代入上面各式都会发生误 差。 于是想找a，b使上面各式的误差的平方和最小，即找到
4、a，b使 (3.6a+b-1.00)2+(3.7a+b-0.9)2+(3.8a+b-0.9)2+(3.9a+b-0.81)2+(4.0a+ b-0.60)2+(4.1a+b-0.56)2+(4.2a+b-0.35)2 最小。这里讨论的是误差的平方即二乘方，故称为最小二乘法。现 在转向为一般的最小二乘法问题： 实系数线性方程组 a11x1+a12x2+a1nxn-b1=0 a21x1+a22x2+a2nxn-b2=0 am1x1+am2x2+amnxn-bm= ? ? ? ? ? ? ? ? ? ? ?0 1.1 可能无解。 即任何一组实数x1,x2,xs都可能使 m i=1 (ai1x1+ai
5、2x2+ainxn-bi)2 （*） 不等于零。 我们设法找到实数组x 0 1,x 0 2,x 0 s使最小，这样的x 0 1,x 0 2,x 0 s称为方 程组的最小二乘解。 这样问题就叫最小二乘法问题。 1 2最小二乘法原理的证明 2.1最小二乘法原理的初等证明 定理：X=(x1,x2,xn)T是矛盾方程组（1.1）的最小二乘解的充要条 件是X是方程组 ( m i=1 a 2 i1)x1+ m i=1 ai1ai211 x2+ m i=j ai1ain11 xn= m i=1 ai1bi m i=1 ai2ai111 x1+ m i=1 a 2 i211 x2+ m i=1 ai2ain1
6、1 xn= m i=1 ai2bi m i=1 ainai111 x1+ m i=1 ainai211 x2+ m i=1 a 2 in11 xn= m i=1 ainbi ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2.2 的解2 证明：设Y= m i=1 bi- n k=1 aikxk11 2 2.3 把Y整理为关于xj(1jn)的二次函数得 Y= m i=1 a 2 ij11 x 2 j+2 m i=1 (aj(ai1x1+ai,j-1xj-1+ai,j+1xj+1+a1nxnbj)xj + m i=1 (ai1x1+ai,j-1xj-1+ai,j+1xj+1+a
7、inxn-bj)2 j=1,2,3,n 必要性：设X=(x1,x2,xn)T是方程组的最小二乘解，由定义1 知式中Y有最小值，且X是最小值点。 由二次函数的性质得知二次 函数 m i=1 a 2 ij0（j=1,2,n），故aij不全部为零（与A列满秩的假设一 致），且X满足： X= m i=1 aij(ai1x1+ai,j-1xi,j-1+ai,j+1xi,j+1+ainxn-bn) m i=1 aij (j=1,2,n)2.4 化简得： m i=1 aijai111 x1+ m i=1 aijai211 x2+ m i=1 aijai,j-111 xj -1+ m i=1 a 2 ij11
8、 xj+ m i=1 aijai,j+111 xj+1+ m i=1 aijain11 xn= m i=1 aijbi(j=1,2,n) 这就是方程组。 不难看出方程组的系数矩阵为ATA（AT表示 A的转置矩阵），由A列满秩知|ATA|0 ，故 有唯一解。 必要性得证。 充分性：设X是方程组（2）2.2的解，由xj( j=1,2,.,n)满足方程组 2.2，也就是满足式，再由于A列满秩，aij(i=1，2，.，m)不全为零，故 中二次项系数 m i=1 a 2 ij0，因此，中式Y有最小值且最小值点为X=(x1， x2，.，xn)，所以X是方程组的最小二乘解。 2.2利用欧氏空间证明最小二乘法
9、下面我们利用欧氏空间的概念 来表达最小二乘法，并给出最小二乘解所满足的代数条件。 令 A a11a12a1n a21a22a2n am1am2amn B= b1 b2 bm X= x1 x2 xm Y= n j=1 a1jx1 n j=1 a2jx2 n j=1 amjxm =AX2.5 职校论坛 282 科技信息2010 年第 23 期SCIENCE & TECHNOLOGY INFORMATION （上接第256页）学生预测文章的发展方向，通过找到文章的关键词、 主题句来帮助学生理解文章。 在快速阅读中，那些与问题联系最大的 句子中往往含有一定的词汇重复，如同义词、反义词、上下义词等，教
10、师可以利用词汇衔接对学生进行查找特定信息的训练，从而降低答案 搜索的盲目性，提高答题的速度和准确性。 44教师应该把写作训练与阅读教学结合起来。 教师应在指导学生 借助词汇衔接分析语篇的同时，引导学生运用词汇衔接手段进行英语 写作训练，从而使阅读和写作起到相辅相成的作用。 总之，要使学生的阅读能力得到提高，关键要让学生学会对语篇 的分析技巧。 在学生语言水平相当的情况下，应用词汇衔接理论进行 高职英语阅读教学可以提高学生对文章中心思想的把握。教师在教学 中引导学生分析词汇衔接方法和作用，对于学生阅读能力的提高有很 大益处。 学生只要真正掌握词汇衔接理论，并能运用这一理论多加练 习，一定会使自己
11、的阅读能力得到大幅度提高。 【参考文献】 1胡壮麟.语篇的衔接与连贯M.上海：上海外语教育出版社，1994. 2黄国文.语篇分析的理论与实践M.上海：上海外语教育出版社，2001. 3Halliday,M.A.K.&Hasan,R.Cohesion in EnglishM.London:Longman,1976. 4林朝霞.培养学生英语阅读能力的方法J.广西教育，2006（35）. 5马国英.英语阅读能力的培养J.太原科技，2005（5）. 6何青.高职英语阅读课语篇教学之探讨J.职教论坛，2005（35）. 7田婷.如何提高英语阅读能力J.大学英语：学术版，2004（4）. 8周彦涵.词汇衔
12、接理论与大学英语阅读教学J英语教学，2009，6 作者简介：陈俊俊，女，济南铁道职业技术学院讲师，山东师范大学大学外 语教育学院2008级同等学力研究生，研究方向为课程与教学论（英语）。 责任编辑：王静科 科 用距离的概念，（*）就是|Y-B|2 最小二乘法就是找x 0 1,x 0 2,x 0 s使Y与B的距离最短，但从（*），知 道向量Y就是 Y=x1 a11 a21 am1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 x2 a12 a22 am2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 +xn a1n a2n am
13、n 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 把A的各列向量分别记为1,2,，n。 由它们生成的子空间为L (1,2,，n)，Y就是L(1,2,，n)中的向量。 于是最小二乘法问题可 叙述成： 找X 使（ *）最小，就是在L(1,2,，n)中找一向量Y，使得B它的 距离比到子空间L(1,2,，n)中其它向量的距离都短。 应用前面所讲的结论，设 Y=AX=x11+x22+xnn 是所要求的向量，则 C=B-Y=B-AX 必须垂直于子空间L(1,2,n)。 为此只需而且必须 (C,1)(C,2)=(C,s)=0 根据矩阵乘法规则， 上述一串等式可以写成矩阵相乘
14、的式子，即 1C0, 2C0， nC0 而 1, 2, n按行正好排成矩阵A ，上述一串等式结合起来就是 A(B-AX)=0或AAX=AB 这就是最小二乘解所满足的代数方程， 它是一个线性方程组，系 数矩阵AA，常数项是AB 3最小二乘法简单运用举例 3.1用最小二乘法求中学数学中直线型经验公式的最佳近似解 例一个弹簧的长度L和它悬挂的重量W间的关系如下： 求关于L、W的经验公式。 解设所求的经验公式为 L=kW+b 把表中各数据代入此方程得方程组： 2k+b=6.8 4k+b=10.1 6k+b=11.2 8k+b=12.0 10k+b=13.1 12k+b=13. 2 2 2 2 2 2
15、2 2 2 2 2 2 2 2 29 有最小二乘法原理知： 364k+42b=519.2 42k+6b=69. 2 2 解得：k=0.497b=8.054 3.2实验数据的最小二乘法拟合 例 在落体运动中，物体的位移S与时间t的关系可表为S=S0+t 1 2 gt2 S0表出位移，v表初速，g为重力加速度。 在一次落体实验中，得到 如下数据： 试根据以上数据确定S0和v、g. 解 现在要用五个实验点拟合的是二次多项式（n=5,m=21） 即S=a0+a1t+a2t2 有最小二乘法的曲线拟合原理知 Y= S1 S2 S3 S4 S5 S6 2 2 2 2 2 2 2 2 2 2 2 2 2 2
16、2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 = 0.6 17.0 41.0 76.0 120.5 175. 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 21 ,M= 1t1t 2 1 1t2t 2 2 1t3t 2 3 1t4t 2 4 1t5t 2 5 1t6t 2 6 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 = 100 10.10.01 10.20.04 10.30
17、.09 10.40.16 10.50.2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 25 所以MM= 61.50.55 1.50.550.225 0.550.2250.097 22 9 ， (MM)-1 0.8214-5.8938.929 -5.89372.68-133.93 8.929-133.93267.8 22 6 即V1= a0 a1 a2 22 =(MM)-1MY= 0.9445 104.327 487.6 22 5 所拟合的二次多项式为 S=0.9455+104.327t+487.65t2 所以g=2a224
18、87.65975.3厘米秒 2. 【参考文献】 1 北京大学数学系几何与代数教研室代数小组.高等代数.高等教育出版社, 1988,2：388-390. 2高富德.最小二乘法的初等证明.玉溪师专学报，1989,4：1-2. 3黄铎，陈兰平，王凤.数值分析.科学出版社,2004,3：159-161. 4李子奈，叶阿忠.高等计量经济学.清华大学出版社,2000,1：27-29. 5张保法.经济计量学.经济科学出版社,2000,4：18-24. 6张金槐.线性模型参数估计及其改进. 责任编辑：翟成梁 W24681012 L8.910.111.212.013.113.9 t(秒)00.10.20.30.40.5 s(厘米)0.617.041.076.0120.5175.1 职校论坛 283