支持向量回归机.docx

《支持向量回归机.docx》由会员分享，可在线阅读，更多相关《支持向量回归机.docx（10页珍藏版）》请在三一文库上搜索。

1、支持向量回归机SVM本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression, SVR）是支持向量在函数回归领域的应用。SVR与SVM分类有以 下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点 分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在 两条边界线之间，求最优回归超平面同样等价于求最大间隔。3.3.1 SVR基本模型对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 /（x）=刃x + Z?拟合（为,尤）,，=1,2,., ,项eR"为输入量,y.eR为输出量,即 需要确定co和h 07

2、 = ® 夕+ £v4、cJ二B 折入c-y J5) = max 。,1-砌-e0X图3-3a SVR结构图图3-3b£不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己 经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的 损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。表37常用的损失函数和相应的密度函数损失函数名称损失函数表达式六噪声密度（。）S 不敏感2（l + e 严（啊）拉普拉斯同；exp（一图）高斯2S在exP（ ' ）鲁棒损失（第2, if图Wb；-, otherwise;

3、«2exp（一看），V 圉exp（- 图）,otherwise 2多项式P-exp（一图。）分段多项式<3阳了圉“b图- b , othenvise P<exP（ p，p-J，"圉exp（cr -图）,otherwise标准支持向量机采用£-不灵敏度函数，即假设所有训练数据在精度£下用线 性函数拟合如图（3-3a）所示，»一/（苍）。+刍 /（x.）-yr.+/ = 1,2，,n（）4，心。式中，4E；是松弛因子，当划分有误差时，勺。都大于。，误差不存在取0。 这时，该问题转化为求优化目标函数最小化问题：1 2 /-式（）中第一项使

4、拟合函数更为平坦，从而提高泛化能力；第二项为减小误差； 常数C>0表示对超出误差£的样本的惩罚程度。求解式（）和式O可看出， 这是一个凸二次优化问题，所以引入Lagrange函数：L = 1 e g + C £ © + $；） - £ q 七 + £ - y, + ）2r-lr-1（）-Z a；信；+£-£ + /（E ）1 - £（" + 4"；）/-IJ-l式中，a , a：20,无，7；之0，为Lagnmge乘数，j = 1,2,，"。求函数L对公， b，,，彳的最小化，对

5、区, a；,九，y；的最大化，代入Lagrange函数得到对 偶形式，最大化函数：1 nW(a.a) = -工(4-；)(4-&；)(% 乙)2 /-ij-inn+Z(aM)F-Z(a，+a；)£>-i/-I其约束条件为:OWq,a； < CC怎么来的()求解式（）、O式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有:aj£ + 刍- X + /5)=0H + /(% )11%=。 7；=。一个点不能同时 两个等式都满足()得出aa； = 0 ,表明a ,夕；不能同时为零，还可以得出:()（C-a,）=O 怎么得到的 （C 。；）

6、昂=（从式（）可得出，当生=C，或。；=。时，|/（七）-川可能大于£，与其对 应的士称为边界支持向量（Boundary Support Vector, BSV）,对应图3-3a中虚 线带以外的点；当a；e（0,C）时，|/（七）一卬=£,即4=0，£=0,与其对应 的士称为标准支持向量（Normal Support Vector, NSV）,对应图3-3a中落在£管 道上的数据点；当q=0，a：=0时，与其对应的此为汴支持向量，对应图3-3a 中£管道内的点，它们对w没有贡献。因此£越大，支持向量数越少。对于标准 支持向量，如果0&

7、lt;%<C（a；=0）,此时。=0，由式（）可以求出参数方：I=£- E （%一%" V xfeSV同样，对于满足0<a： <C（q =0）的标准支持向量，有b = y£ （aj-a；）Xj%-8XjSV一般对所有标准支持向量分别计算的值，然后求平均值，即二白 Z 出一 Z (勺-W)K(XjM)-可NSV o<a;<c x,eSV+ ZZ (%.-a；)K(Xj,4)-£o<a/<cXjesv()因此根据样本点（知y ）求得的线性拟合函数为/(x) = 0-x + Z? = Z(/ 一%，)玉x + 少()非

8、线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一 个高维特征空间（Hilbert空间）中，然后在此高维空间中再进行线性回归，从而 取得在原空间非线性回归的效果。 与之前有的解释不一样首先将输入量X通过映射：R” -> H映射到高维特征空间H中川函数式变为:W（a.a） = - Z（4-。；）（%-。；）（以再）（马） 2 r-lj-l与对应+Z(«-a；)'r-Z(%+a；)£i-ii-i()式（）中涉及到高维特征空间点积运算（勺），而且函数是未知的，高 维的。支持向量机理论只考虑高维特征空间的点积运算K5'）=（七）.）， 而不直接使

9、用函数。称KQ，J）为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有: 多项式核：女(x,x)=X,X+ d)。，p c N,d A4； 一加廿.|x-x |-同 斯核：k(x,x ) = exp(-J-)；2b.A.|x-x IIRBF 核：k(x,x) = exp(-J)；2bB 样条核：k(x, xj = B2V+1 (卜-xj|)；1sin(N + -)(K7)Fourier 核：k(x,x) =；sin (x-x)因此式O变成支持向量机的核心要点说明为什么，其次讲一下为什么 引入核函数1W(a.a) = - Z (qa；)(2ja；),K(x,

10、xJ2 r-l.j-lnn()+E3 - a；)X - za + a；)5Z-l可求的非线性拟合函数的表示式为：在变换过后的空间中的表/(x) = co-(x) + h 小式=之(4 -a；)K(x,%) + b ()3.3.2结构改进的支持向量回归机上节所述的SVR基本模型其优化目标为:前半部分怎么解释，分类的时候好解释，回归的时候呢min()s.t. yi -w(Xj)-b< £ + . w</>(xi) + b-yi <£ + * C。SVR结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公 式变形，产生出各种有某一方面优势或者一定应

11、用范围的算法。Suykens提出了最小二乘支持向量机(LS-SVM) ”蛇，与标准SVM相比其 优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转 化成了线性方程组的求解，其优化目标为：麒+9玄空Z Z i = 12 JLS-SVM与标准SVM相比减少了一个调整参数，减少了/个优化变量，从 而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最小二乘支 持向量机有：递推最小二乘支持向量机”阿、加权最小二乘支持向量机“071、多分 辨率LS-SVM”叫及正则化最小二乘方法【附等。Scholkoph等提出的y-SVM方法口叫 引入反映超出£管道之外样本数据点

12、 (即边界支持向量数量)和支持向量数的新参数y,从而简化SVM的参数调节。 其优化目标为：L-而 卜+ C迎+护&:+二) 。方421/s.t. yi _0-。(2)/7 « £ + 4<6y°(xj + b 上 W£()於° 六0i = l,2,/八，表示边界支持向量机的上限和支持向量机的下限。与标准支持向量机相比优 化求解过程不需要设定£值。标准SVM方法中，引入惩罚系数。实行对超出£-带数据点的惩罚。在实际 问题中，某些重要样本数据点要求小的训练误差，有些样本数据点对误差的要求 不是很高。因此，在优化问题

13、描述时，对每个样本点应采用不同的惩罚系数C， 或对于每个样本数据点应采用不同的£-不敏感函数，使回归建模更加准确，这 一类结构变化的支持向量机通常称为加权支持向量机(WSVM)加权支持向量机可以通过对惩罚系数C加权实现，也可以通过对£加权实现。通过对参数 C加权实现时，其优化目标为：/嗯如+匹鼠/")“4力 2(.1<皿.迎(再) + -，<£ + ,(3.26a)yi-co(/>(xi)-b<£ + 通过对£加权实现时，其优化目标为：，啖；h2+c£©+£)< s.t. y

14、卬。(七)一/?4多+ A()卬0(%)+ _£ <4+或gOgNO i = 12 IFriess等提出了一种针对分类问题的SVM变形算法-BSVM算法“皿。与标准SVM相比，BSVM的优化目标多一项，而约束条件少一项等式约束，变为边 界约束条件下的二次规划问题，适合迭代求解。同时可以应用矩阵分解技术，每 次只需更新Lagrange乘子的一个分量，从而不需要将所有样本载入内存，提高 了收敛速度。BSVM算法应用于回归分析，其优化目标为：MEs.t.1114。+于+»©+切y _。(玉)一4£ + 刍心0()i = l,2,，/标准SVM回归算法都是

15、把问题转化为求解凸二次规划。Kecman和HadzicW3 提出用乙范数替代L2范数，从而通过改造用线性规划（LP）代替凸二次规划， 以便于利用非常成熟的线性规划技术求解回归支持向量机。由最优化理论， 也占点-.，据此考虑把原始目标函数的模间、用/,模/- -W1=£（kl+WI）替换。则4模可以改写为：|叫=亡（+4用|叫代替 r-1r-1原目标函数中的卜|;将6y代入原约束条件；增加约束之0,i = 1,2,，可 得：/噌£（/+*）+彳£©+.）七力I/ ,_】/"z（区 a；）（X.-X.） + /?-y « 5 +。,r-1

16、（）/X - Z（6一 a：）a .- b W £ + 彳 /-2门靖吃0, i = l,2,/针对实际问题的特殊性，有时可以选择其他形式的更适宜的惩罚函数。惩罚 带为任意形式的支持向量回归机“川，通过定义推广的£-不敏感损失函数:y - /(a) - %*),y-f(x)> 药(x)；c(x, y,f(x) = < 0,%(X)之 y-f(x) > -%(%)；|y- fM-% (x),y-f(x) <-£< (x);其中g(x),g.(x):/f采用推广的£-不敏感损失函数构造v-SVR问题，将原始最优化问题转化为：您力

17、撑6+可)+。14 4 +咋夕+若© +5)< s.t.0* +/?一£. «£g(xj +。()再q与"/(xJ + J：5mo, i=i,2,/惩罚带为任意形式的支持向量回归机包含了针对惩罚函数改进SVR结构的 所有模型。此外，还有模糊支持向量回归机(FSVR) a】、拉格朗日支持向量机(LSVR) ”习等。333 SVM参数优化方法研究支持向量机的性能取决于超参数C、£、核函数类型及核参数。核函数类型 的选择与所应用的领域有关，核函数特性的不同决定建立的模型也具有不同的特 性，对于静态软测量建模，一般采用rbf核函数，因为

18、其跟踪性能较好且没有记 忆性，符合静态建模的特点。核参数反映了训练数据的范围或分布，它对模型的 预测效果影响较大；调整因子C是模型复杂度和推广能力的折中，它决定了对 损失大于，的样本的惩罚程度，当。-8时:模型优化目标退化为经验风险最小 化，C过小，使经验风险所占比重太少，模型结构复杂度下降，但训练误差可能 超出接受范围；，不灵敏函数是SVR的后要特征，它决定了支持向量的数目， 保证了解的稀疏性，是模型推广性能的象征，但是太平滑的估计乂会降低模型的 精度。目前没有一个理论的方法来设计SVR的参数，现有的软件都是基于建模 者的经验在建模之前设定。常用的设定SVR参数的方法主要有以下几种：1)交叉

19、检验法交叉检验法是用的最多的一种参数选择方法，其基本思想是将样本集分为训 练集、检验集和测试集，选择若干组模型参数，用训练集推导模型系数，选择其 中使检验集误差测度最好的参数用于测试集。根据样本集的长度，可以设定交叉 检验的次数。2）经验选择法经验选择就是根据建模者的经验在建模之前选择参数。Vladimir等提出了一 种根据训练集数据特性选择模型参数的方法叫 其中C = max（| 了 + 3b J,忻- 3b J）式中y,a分别表示训练数据集中y的均值和标准偏差；fin7<7为噪声的标准偏差，为样本数。上述经验公式是基于噪声水平已知的假设， 并没有理论上的证明。3）网格优化选择法网格优

20、化算法是一种大范围点集搜索方法。搜索范围的确定仍需建模者设 定。该方法简单易行，但是训练时间较长，一般用来确定参数范围，再用其他方 法进行渐近搜索。4）统计学习理论的VC维学习方法囚77网采用统计学习理论的方法导出模型推广错误的界，并用VC维来表示，用统 计学习理论选择的核和调整因子C可以使VC维的上界最小，从而可以确定模型 的参数。但这种方法需要在非线性空间计算超球半径。5） Bayesian学习方法James Tin-Yau Kwok基于权值空间的观点给出了 SVM的贝叶斯解释“此 说明了 SVM可以解释为MacKay证据体系的第一层推理，还说明了证据体系下 的第二层、第三层推理也可以应用到SVM：第一个层次的推导考虑卬的概率分 布（在一个潜在的无限维空间），确定正则项和损失函数的可能性；第二层推理 是调整因子C的推导；第三个层次的推理是获得核参数。2.2 £-支持向量回归机当构造的两类样本ZT,。-线性不可分时，通过对硬间隔的软化和引入罚参数， 同样可以考虑在高维空间构造超曲面来达到回归的目的。对于给定的训练样本集T,选择合适的精度参数£>0,罚参数C>0以及合适的