《利用梯度下降法的分类实现.docx》由会员分享，可在线阅读，更多相关《利用梯度下降法的分类实现.docx（14页珍藏版）》请在三一文库上搜索。
1、模式识别题 目 利用梯度下降法的分类实现专业班级学生姓名学 号1、问题重述利用Matlab软件编写梯度下降法函数，利用该函数对以下三组数据进行分类1)数据一：第一类：(0,0) (0,1 )第二类：(1,0) (1,1 )2)数据二：第一类：(90,150) (90,160) (80,150) (60,140)第二类：(60,105) (50,80) (50,90) (80,125)3)数据三：第一类：(0,0) (1,1 )第二类：(1,0) (0,1 )要求在以下不同情况下进行测试，并对结果进行对比分析。1)初始权值取3种不同的值；2)步长取不同的值，可以尝试变步长方法；3)采用单样本修正
2、法和全样本修正法两种方式；4)单样本情况下不同的样本迭代次序，从 1到n,和，从n到1。2、算法流程梯度下降法利用函数的极值原理来进行寻优，是一种常用的线性分类方法。2.1 算法特性梯度下降法的运算结果和执行过程具有不定性，这是由算法本身特点所导致的。梯度下降算法往 往会随着实验的重复展现不同的结果。最终的寻优结果与初始权值的选择和样本数据的迭代顺序有 关。止匕外，在使用梯度下降法之前最好首先确定所求结果的大致位置，这样可以缩短运算时间，提高 运行效率和准确程度。2.2 定步长与变步长梯度下降的步长直接影响着算法的效率。合理选择步长dt可以极大的减轻运算压力，提高算法的精度。常用的固定增量法是
3、按定步长的方式进行运算的，每次迭代算法以同样的速率前进，直到找 到最优结果。随着运算次数的增加，权向量越来越接近最优结果，此时适当的减小步长，可以提升算法的运行 效率。除了定步长方式，本次作业还选择了线性变步长的算法，即 dtk+1=a*dtk。根据黄金分隔定律, 将a选为0.618 ,以此实现变步长的梯度下降法。2.3 固定增量法固定增量法是一种代表性的梯度下降法，它的核心是迭代运算。每次迭代利用误分类的数据修正 权向量，直到权向量满足要求或者算法运行时间达到上限。根据修正方法的不同，固定增量法又分为单样本修正法和批量修正法。单样本修正法是每出现一个误分类的样本就修正一次权向量。而批量修正法
4、则是将所有样本数据 都计算一次后，再根据误分类的样本修正权向量，之后再进入下次迭代。单样本修正算法和批量修正算法的核心流程如下图所示。单样本修正法输入样本Yn、权向量A利用感知准则构建增广向量Yn,计算样本数量n连续n组数据，存在 AYn =0i=0jll1TAX 0批量样本修正法输出权向量A输出权向量A ，图1固定增量法算法流程3、运行结果3.1数据一1）在步长为1,单样本修正条件下，三种不同初始权值的分类图2三种不同初始权值下的分类结果表1三种不同初始权值下的分类对比初始权值寻优结果寻优轮数0,0,01,-2,0410,10,101,-4,211100,100,1001 , -27,247
5、9对比三条输出曲线，可以发现不同的初始权值会导致出现不同的分类函数。此外，初始权值选择 的越合理，越接近寻优结果，代码的运行次数越少。因此一个合理的初始权值可以有效的提高代码效 率，提升分类结果的满意程度。2）在初始权值为0,0,0,单样本修正方法下进行的不同步长的分类坤09 0 7，06 1 05 q.4 -0.3 0.2，01b.1/10 -麦步长dtflHJI，岭网.610出卜1）k00.9L:.S0.7E炉0.5. .0236-181=0Qi1-100.20 40.62.30?口与Q1 ,C 0 20.40.60 61表2三种不同步长下的分类结果X dt寻优结果寻优轮数55,-10,0
6、40.10.1,-0.2,04初值0.1 ,以0.689的速度线性变化0.0236,-0.0382,02步长的选取会对最后的寻优结果产生一定的影响，但更多的是影响寻优的效率。随着权向量接近越来越接近寻优结果，适当减小步长可以提升算法的运行效率。3）在初始权值0,0,0,步长dt=1条件下，单样本与多样本的分类结果对比图4单样本修正与批量样本修正下的分类结果对比表3三种不同步长下的分类结果修止方式寻优结果寻优轮数单样本1,-2,04批量0.1,-0.2,05因为算法的不同，单样本修正与批量样本修正下的寻找的分类函数会有一定的不同，代码的运算效率也因此产生差异3.2数据二1）在步长为0.01 ,单
7、样本修正方式下，初始权值为-700,0,0下进行分类，以直线的形式将 线性分类函数的搜索过程展现在下图当中。史I图5单样本搜寻过程图6批量修正搜寻过程图5和图6分别将单样本和多样本修正法对分类函数的寻优过程呈现出来。根据两幅图像，可以 明显的发现两种寻优方式的计算轨迹是有所不同的2）在步长为0.01 ,单样本修正方式下进行的，三种不同初始权值的分类图7三种不同初始权值下的分类结果表3三种不同初始权值下的分类对比初始权值寻优结果-700,1,10-1559.9,4,9.521461-200,0,10-200.07,-3.7,9.55125,0,1-155.89,0.4.0.95555084改组数
8、据可以明显的体现初始权值的选取对寻优结果和运行效率的影响。3）在初始权值为0,0,0,单样本修正方法下进行的不同步长的分类表4三种不同步长下的分类结果X dt寻优结果寻优轮数10-156665,402,955347230.01-765.01,0.3,5.411初值0.1 ,以0.618的速度线性变化-765.0024,1.8111,4.80043合理的选取步长会缩短代码的运行时间。此外合理选择变步长方式可以有效的提升运行效率。4）在初始权值0,0,0,步长dt=1条件下，单样本与多样本的分类结果对比图9单样本修正与批量样本修正下的分类结果对比表5三种不同步长下的分类结果修正方式寻优结果寻优轮数
9、单样本-765.01,0.3,5.411批量-765.02,-0.4,5.721批量修正法和单样本修正的运行效率不同，训练出来的分类函数也不同，但二者都可以成功对训练样本进行分类3.3数据三图10非线性可分数据搜寻过程 表6数据三的分类结果寻优结果寻优轮数（上限10000）初始权值0,0,0,dt=0.1 ,单样本修正法无10000初始权值0,0,0,dt=0.1 ,批量修正法无10000初始权值0.5,0.5,0.5,dt=0.1 ,单样本修正法无10000初始权值0.5,0.5,0.5,dt-0.1变步长，批量修正法无10000无论以哪种方式进行分类，都无法得到合适的分类结果。这表明梯度下
10、降法是无法解决非线性问题的附录:固定增量法函数代码9值定增量法求线性判别函数%俞入变量：X1-第一类样本数据矩阵，n*m,n代表数量,m代表维度%X2-第二类样本数据矩阵，n*m,n代表数量，m代表维度%A- 权向量初值%dt-步长，默认为1%mode-0 选择单样本修正法，1选择批量修正法，默认为0% dt_fix-0 变步长，1-定步长，默认为1function output,N=FixedIncrement(X1,X2,A,dt,mode,dt_fix)%合定参数dt、mode dt_fix 的默认值if nargin4dt=1;mode=0;dt_fix=1;elseif nargin
11、5mode=0;dt_fix=1;elseif nargin6dt_fix=1;endn1=size(X1,1);Y1=ones(n1,1) X1;n2=size(X2,1);Y2=ones(n2,1) X2;Y=Y1;-Y2;%增广矩阵n=n1+n2;x1min=min(abs(Y(:,2);x1max=max(abs(Y(:,2);x2min=min(abs(Y(:,3);x2max=max(abs(Y(:,3);Error=0;time=0;deadline=10000;% 上限Object=0;AX=A;%记录A的变化if mode=0; % 单步修正法 while Objectn f
12、or i=1:n if A*Y(i,:)=0 Object=0; if dt_fixdeadline % 防止死循环 Error=1; break; end end elseif mode=1 %批量修正法 while ObjectnAw=zeros(1,size(A,2); Object=0; for i=1:n if A*Y(i,:)=0 if dt_fixdeadline Error=1; break; end end endif Error0output=zeros(1,size(A,2);%表示没有找到合适的结果else output=A; m=size(AX,1); ColorA=
13、copper(m);%渐变颜色figure; scatter(X1(:,1),X1(:,2),A,r); hold on;scatter(X2(:,1),X2(:,2),o,b);for j=1:mfun=(x1,x2) AX(j,:)*1;x1;x2;hf1=ezplot(fun,x1min*0.5,x1max*1.5,x2min*0.5,x2max*1.5); set(hf1,Color,ColorA(j,:); end fun=(x1,x2) AX(m,:)*1;x1;x2; hf1=ezplot(fun,x1min*0.5,x1max*1.5,x2min*0.5,x2max*1.5); set(hf1,LineWidth,1.5,Color,b); hold off; end N=time;%计算的轮数