《SVM习题集.pdf》由会员分享，可在线阅读，更多相关《SVM习题集.pdf（11页珍藏版）》请在三一文库上搜索。
1、SVM 1.判断题(1) 在SVM 训练好后， 我们可以抛弃非支持向量的样本点，仍然可以对新样本进行分类。(T) (2) SVM对噪声（如来自其他分布的噪声样本）鲁棒。(F) 2简答题现有一个点能被正确分类且远离决策边界。如果将该点加入到训练集，为什么 SVM的决策边界不受其影响，而已经学好的logistic回归会受影响？答：因为 SVM采用的是 hinge loss，当样本点被正确分类且远离决策边界时，SVM给该样本的权重为 0，所以加入该样本决策边界不受影响。而logistic回归采用的是log损失，还是会给该样本一个小小的权重。3产生式模型和判别式模型。（30 分，每小题10 分）图 2
2、：训练集、最大间隔线性分类器和支持向量（粗体）（1）图中采用留一交叉验证得到的最大间隔分类器的预测误差的估计是多少（用样本数表示即可） ? 从图中可以看出，去除任意点都不影响SVM的分界面。而保留所有样本时，所有的样本点都能被正确分类，因此LOOCV 的误差估计为 0。（2）说法“最小结构风险保证会找到最低决策误差的模型”是否正确，并说明理由。(F)最小结构风险（SRM）只能保证在所有考虑的模型中找到期望风险上界最小的模型。（3）若采用等协方差的高斯模型分别表示上述两个类别样本的分布，则分类器的VC维是多少？为什么？等协方差的高斯模型的决策边界为线性，因为其VC维维 D+1。题中 D=2. 4
3、、SVM 分类。 （第 15 题各 4 分，第 6 题 5 分，共 25 分）下图为采用不同核函数或不同的松弛因子得到的SVM 决策边界。但粗心的实验者忘记记录每个图形对应的模型和参数了。请你帮忙给下面每个模型标出正确的图形。(1)、211min, s.t.2NiiCw00,1,1,.,TiiiywiNw x其中0.1C。线性分类面，C较小，正则较大， |w|较小， Margin 较大 , 支持向量较多（c）(2)、211min, s.t.2NiiCw00,1,1,.,TiiiywiNw x其中1C。线性分类面，C较大，正则较小， |w|较大， Margin 较小支持向量的数目少（b）(3)、
4、1111max,2NNNiijijijiijy y k x x1s.t. 0,1,.,0NiiiiC iNy其中2,TTk x xx xx x。二次多项式核函数，决策边界为二次曲线(d) (4)、1111max,2NNNiijijijiijy y k x x1s.t. 0,1,.,0NiiiiC iNy其中21,exp2k x xxx。RBF核函数，决策边界为曲线, =1 较大，曲线更平滑(a) (5)、1111max,2NNNiijijijiijy y k x x1s.t. 0,1,.,0NiiiiC iNy其中2,expk x xxx。RBF核函数，决策边界为曲线, =sqrt(1/2)
5、较小，曲线更弯曲(e) (6) 考虑带松弛因子的线性SVM分类器：211min, s.t.2NiiCw00,1,1,.,TiiiywiNw x下面有一些关于某些变量随参数C 的增大而变化的表述。如果表述总是成立，标示“ 是” ；如果表述总是不成立，标示“ 否” ；如果表述的正确性取决于 C 增大的具体情况，标示“ 不一定 ” 。(1) 0w不会增大（不一定）(2) ? w增大（不一定）(3) ? w不会减小（是）(4) 会有更多的训练样本被分错（否）(5) 间隔 (Margin) 不会增大 （是）5、 考虑带松弛因子的线性SVM分类器：2T011min, s.t. 1,2NiiiiiCywiw
6、w x。在下图中，0.1, 1, 10, 100C，并且已经标出分界面和支持向量。请给每幅图标出最可能的C的取值，并分析原因（20 分） 。答：2T01, subject to 1,2iiiiiCywiww x等价于2T01, subject to 1,2iiiiiywiCww x所以221,Cww，即margin减小 (当C增大到一定程度时，Margin不再变化 )，不允许错分太多样本 （对错分样本的惩罚大）， 支持向量 （落在 Margin内的样本和错分的样本）的数目减少。6. SVM (1) 下面的情况，适合用原SVM 求解还是用对偶SVM 求解。1) 特征变换将特征从D维变换到无穷维。
7、(对偶 )2) 特征变换将特征从D维变换到 2D维，训练数据有上亿个并且线性可分。(原)(2) 在线性可分情况下，在原问题形式化中怎样确定一个样本为支持向量？在原问题中，给出了w,w0，支持向量满足：*01Tiiywxw。7SVM和松弛因子。考虑如图给出的训练样本，我们采用二次多项式做为核函数，松弛因子为C。请对下列问题做出定性分析，并用一两句话给出原因。(1) 当C时，决策边界会变成什么样？答：当 C很大时，错分样本的惩罚会非常大，因此模型会尽可能将样本分对。（记住这里决策边界为二次曲面）CC0(2) 当C0时，决策边界会变成什么样？可以错分少量样本，但Margin 大(3) 你认为上述两种
8、情况，哪个在实际测试时效果会好些？我们不能过于相信某个特定的样本，因此C0的效果会好些，因为它最大化样本云团之间的Margin.(4) 在图中增加一个点，使得当C时，决策边界会不变。能被原来的分类器正确分类，不会是支持向量。(5) 在图中增加一个点，使得当C时，该点会显著影响决策边界。能被原来的分类器正确分类，不会是支持向量。当C很大时，错分样本的惩罚会非常大，因此增加一个不能被原来分类器正确分类的样本会影响决策边界。8对 outlier 的敏感性。我们知道在 SVM 用于回归时，等价于采用不敏感的损失函数（如下图所示），即SVM 的目标为：2,11?min,2.0,0Niiiiiiiiiii
9、Cstyfyfw wwxx。课堂已经讨论 L2损失对 outliers比较敏感，而L1损失和 huber损失相对不敏感些。(1) 请说明为什么 L2损失比较 L1损失对 outliers更敏感。Outlier为离群点，因此其预测残差r会比较大。 L2 损失为残差 r的平方 r2，L1损失为残差 r的绝对值 |r|。当 r1时，r2|r|，从而 L2 损失在 outliter样本点的值会非常大，对结果影响更大。(2) 请给出一个 outlier 影响预测子的例子。(3) 相比于 L2损失和 L1损失，分析 SVM 的不敏感的损失函数对outliers敏感性。不敏感的损失函数对outliers的敏
10、感性更接近于L1损失，因此比L2损失更不敏感。初看起来， 不敏感的损失函数在区间-, 不施加惩罚，似乎比L1对outliers更不敏感。但实际上outliers对应的残差通常很大，所以不会落在区间-, ，所以 不敏感的损失函数对outliers的敏感性和 L1损失相似。(4) SVM 也等价于 MAP 估计，则该 MAP 估计对应的先验和似然是什么？同岭回归类似，先验为0均值得高斯分布，但方差为2C，同时各维独立，即0,2jpCwN，似然函数在区间-, 为常数，其他地方为Laplace 分布：1022|,1exp22TTyp yyotherwisew xw xw x9. 多个数据源的SVM 假
11、设你在两天内用两个不同的仪器收集了两批数据，你觉得数据集1标签的可信度为数据集2的两倍。我们分别用111,NiiiyxD表示数据集 1，221,NiiivuD表示数据集 2，数据集 1的松弛因子表示为 ，数据集 2的松弛因子表示 ，二者的 Lagrange乘子分别表示为 和 。关于怎样处理这两批数据，你的朋友们给出了不同的建议。张三：将数据集1的松弛惩罚乘以2，因此优化问题为：112, ,11T01T02121min22subject to 1,1,2.,1,1,2.,0,1,2.,0,1,2.,NNijijiiijjjijCCy wiNvwjNiNjNwww xw u李四：将数据集1的Lag
12、range乘子乘以 2，因此优化问题为：12111222121111111112111max 22,2,2subject to 20,1,2.,0,1,2.,20NNNNNNNNijijijijijijijijijijijijijijijNNiijjijCCy yy vvvciNcjNyv ,x xx uuu王五：将数据集 1的数据点复制一份 （即数据集 1中的每个样本点变成2个），然后照常处理。问题：请说明上述处理是否等价（得到的分界面相同）。解：我们从张三的建议的对偶表示开始，即1212122011TT001111121, ,2211subject to 1,2.,1,2.,0,0,0NN
13、ijijNNNNiiiiiiiiiiiiiiiiijiLwCCywvwefiNjNee,fwww xw uT01T02T0T0,0 1,1,2.,1,1,2.,0,010,10jiiijjjiijjiiiijjjjfy wiNvwjNefywvww xw uw xw u优化0,we,fw，目标函数对0,we,fw求导等于0，12110NNiiiiiiiiLyvwxuw，(1) 1211000NNiiiiiiLyvw，(2) 02iiiLCe，(3) 0iiiLCf，(4) 由于有约束0, 0, 0, 0 ijijef，公式 (3)(4)变成20,0,ijcc。将上述公式代入L，消除0,ijw
14、w，得到对偶表示：121112221211111111121111,22subject to 20,1,2.,0,1,2.,20NNNNNNNNijijijijijijijijijijijijijijijNNiijjijLCCy yy vvvciNcjNyvx xx uu u可以看出，这和下面李四的建议不同。12111222121111111112111max 22,2,2subject to 20,1,2.,0,1,2.,20NNNNNNNNijijijijijijijijijijijijijijijNNiijjijCCy yyvv vciNcjNyv , xxx uu u。王五的建议如下，1112, ,1111min2NNNiijiijCCCww，和张三的建议相同，即张三= 王五 。