《四川大学模式识别期末考试内容.docx》由会员分享，可在线阅读，更多相关《四川大学模式识别期末考试内容.docx（28页珍藏版）》请在三一文库上搜索。
1、一.计算题1、在图像识别中，假定有灌木和坦克 类型w 1和W2分别表示灌木和坦克，2种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示。其中,判决ai=w 1，a2=W2。现在做了 2次实验，获得2个样本的类概率密度如下:P(x | r ) =0.20.5P(x | 2)二 0.60.3状态 损失决策W1W2a10.52a241.0(1)试用最小错误率贝叶斯准则判决2个样本各属于哪一类？坦克、灌木。(2)试用最小风险决策规则判决 2个样本各属于哪一类？灌木、灌木。答：(1 )最小错误率贝叶斯准则0.2* 0.70.2* 0.7 0.6* 0.314 二 0.437532第一个样本：
2、P(1|x) = 2P(x| '1)P( J 无 p(x|叫)Pgj)j 1P( 2 |x) =1 -P( 1 |x) =1 -0.4375=0.5625P( 2 |x) P( 1 |x2，决策为坦克0.5* 0.70.5* 0.7 0.3* 0.335 : 0.79544第二个样本：P( . |x) = 2P(X| 1)" 1) 迟p(x|叫)P(叫) j 19 P( 2 | x) = 1 - P( r | x) : 1 - 0.795 二 0.205 二44P( 2 | x) : P( j | x) = x j，决策为灌木(2)最小风险决策规则：11 =0.5：12 二
3、2 ' 21 二 4 /,，22 =1.0第一个样本2R(a1 |x)八 rPLj |x)二'nPC '1 |x)，12P( '2 |x)j三= 0.5* 0.43752* 0.5625 =1.353752R(a2 丨 X)八'2j P( ' j 丨 X)二'21 P( '1 丨 X) ，22 P(，2 丨 X) j壬= 4* 0.43751.0*0.5625 =2.3175R(a1 | x) : R(a2 |x,决策为灌木第二个样本2R(ai | x)八 r PC j | x) Y；iiP( i | x) 12P( 2 |x)j
4、 4= 0.5*0.795 2* 0.205 = 0.80752R2 |x) - '，2jP( j I X)='f；2lP( 1 |x) fP( '2 | X)j 4=4* 0.795 1.0* 0.205 =3.385R(a1 |x) :：: R(a2 |x)二 x巾 决策为灌木2、给出二维样本数据(-1,1),(2,2),(1,-1),(-2,-2)，试用K-L变换作一维数据压缩。答：数据压缩结果：0, 2.、2，0，- 2.、2答：数据压缩结果：0, 141，0, -242L样本的均值向量为1(0、虫=很丿2自相关矩阵-2_ lpo 6 一103. 求特征值与特征
5、向量Li-2.5-1.5-1.5 a-2.5特征向埶标准)分别是:2Y -1打 2422 -J2< 2< 2 >4取更大的特矩值所对的特征向量为变换矩澤9将原徉本变换成一维曲(分别用石'左乘咲每原数据華轨得L迟+璧逼忙十迟T旦至邑5昱S2 2 2 2 2 2 2 2=(0 142 0 -22)0-尊岀m后应该把它当作坐标原点重新计算其他坐标值3| A E-A|=0(A E-A)"X=0 0 向量平移总帕值向环为新坐癖的殿 求随机向量X的自相关矩阵求自相关矩阵的林个特征值及其对应的特征向量瞬征舷犬到小排序取前m个大稠正飾对应的碗向量构阵 将n维向量旻渙为m维新
6、向量已知两类的数据：3 1： (1,0),(2,0),(1,1) ； 3 2： (-1,0),(0,1),(-1,1)，试求该组数据的类内与类间散布矩阵。 答:1) .取均值向量1亍mixNxr_2 2 V<"3 3丿(41 Y一 | ,m2 =<33丿2) .分别计算两个类与均值向量的距离平方和-111T2_1 T_133_33-3S2=x(x -m2)(x -m2)T =X=；2r12 T 1211 T_ 111133_33-33).计算Sw与£X G1S = = (x - g)(x -m1)T3(-12T3123<11 T3Sw = SS2311Sb
7、 二® -m2)(m1 - m2)T3U36_1 |13< 3丿1)_ 1 -1z36-61 一3.丿961 >3(04丿其中Sw为类内，Sb为类间已知欧氏中两类9 个训练样 本 W1：(-1,0) T,(-2,0) T,(-2,1) T,(-2,-1) Tw2：(1,1)T,(2,0)T,(1,-1)T,(2,1)T,(2,2)T,试分别用最近邻法和K近邻法求测试样本(0,0)T的分类，取K=5 , 7。答：最近邻法：最近邻为(-1 , 0)T分类为w1K近邻法：K=5 : 5 个近邻为 1 类的(-1,0) T,(-2,0)T , 2 类的(1,1)T,(2,0)T,
8、(1,-1)T 分类为 W2K=7 : 1 ）若近邻为1 类的(-1,0)T,(-2,0)T,(-2,1) T,(-2,-1)T, 2 类的(1,1)T,(2,0)T,(1,-1)T，则分类为 wi2 ）若近邻为为w 21 类的(-1,0) t,(-2,0) T,(-2,1) T或(-2,-1) T两个之一，2 类的(1,1) t,(2,0) T,(i,-i) T,(2,i)T，则分类5.已知两类的训练样本:W1（0,0）T,（0,2）t；W2（2,0）T,（2,2）T，试用最小平方误差准则算法进行分类器训练，求解向量w*。训练样本的增广矩阵：蛊=00-1-101110-1-汹伪逆矩込）9詔-
9、1-13/21 一 1-1/2 1/2;令£7 = 1, Z?(1> = (UJlT,则硏=(-2,Q1)7误差向量：e, = x 常-b（l）=的各分量为0 F* = TF=C-Q1)决策面方程：-肚】+ I二0简答题简答题1什么是模式与模式识别？模式：对象之间存在的规律性关系；模式识别：是研究用计算机来实现人类模式识别能力的一门学科。/*模式：广义地说，模式是一些供模仿用的、完美无缺的标本。本课程把所见到的具体事物称为模式，而将它们归 属的类别称为模式类。模式的直观特性：可观察性，可区分性，相似性模式识别：指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的 ）信息进
10、行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。*/2个典型的模式识别系统主要由哪几个部分组成3什么是后验概率？系统在某个具体的模式样本 X条件下位于某种类型的概率。4确定线性分类器的主要步骤 采集训练样本，构成训练样本集。样本应该具有典型性 确定一个准则J=J（w,x），能反映分类器性能，且存在权值w*使得分类器性能最优 设计求解w的最优算法，得到解向量 w*5样本集推断总体概率分布的方法5、肆木集椎断雄体辄率分布的方法？1、審数佛计I. 曲瞥移蓟仙计：样本所嘴英别及类条件总体槪率密度前数的形式已知，某些裁 数未知II. 非盟督鞋駅佔计：已知J0休撕率密度矗做形式15栄如样本类
11、St要郴断某兰移甥非参担估计：已知样木类别，未知总体駄率畫度帽数形式.囈求直接推斷槪率密度p月覧本身6近邻法的基本思想是什么？作为一种分段线性判别函数的极端情况，将各类中全部样本都作为代表点，这样的决策方法就是近邻法的基本 思想。7什么是K近邻法？取未知样本x的k个近邻，看这k个近邻中多数属于哪一类，就把 x归为哪一类。7监督学习与非监督学习的区别利用已经标定类别的样本集进行分类器设计的方法称为监督学习。很多情况下无法预先知道样本的类别，从没有 标记的样本集开始进行分类器设计，这就是非监督学习。/*监督学习：对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法
12、的 训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号的训练数据集，一般用来对数据集进行分析。如聚 类，确定其分布的主分量等。*/8什么是误差平方和准则？对于一个给定的聚类，均值向量是最能代表聚类中所有样本的一个向量，也称其为聚类中心。一个好的聚类方法 应能使集合中的所有向量与这个均值向量的误差的长度平方和最小。9分级聚类算法的2种基本途径是什么按事物的相似性，或内在联系组织起来，组成有层次的结构，使得本质上最接近的划为一类，然后把相近的类再 合并，依次类推，这就是分级聚类算法的基本思想。聚合法：把所有样本各自看为一类，逐级聚合成一类。基本思路是根据类间相似性大小逐级聚合
13、，每级只把相似性 最大的两类聚合成一类，最终把所有样本聚合为一类。分解法：把所有样本看做一类，逐级分解为每个样本一类。10. 特征抽取与特征选择的区别？特征抽取：原始特征的数量可能很大，或者样本处于一个高维空间中，通过映射（或变换）的方法可以用低维空 间来表示样本，这个过程叫特征抽取。所谓特征抽取在广义上就是指一种变换。特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这个过程叫特征选择。 特征抽取是通过变换的方法组合原始高维特征，获得一组低维的新特征，而特征选择是根据专家的经验知识或根据 某种评价准则来挑选出那些对分类最有影响力的特征，并未形成新的特征。11. 什么是
14、最优搜素算法？最优搜索算法：至今能得到最优解的唯一快速算法是“分支定界”算法。属于自上而下的算法，具有回溯功能。 由于合理地组织搜索过程，使得有可能避免计算某些特征组合而不影响结果为最优。12统计学习理论的核心问题统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。主要内容包括4个方面：（1）经验风险最小化原则下统计学习一致性的条件(2) 在这些条件下关于统计学习方法推广性的界的结论(3) 在这些界的基础上建立的小样本归纳推理原则(4) 实现这些新的原则的实际方法13什么是支持向量机？支持向量机：在统计学习理论基础上发展出的识别方法，在解决小样本、非线性及高维模式识别问题中表现出其
15、 优势。问答题问答题1描述贝叶斯公式及其主要作用捅埔址叶斯舍式及其丄藍作用SH叶斯公式匸曲个书物X与w联介川现的槪率祢为联件槪荟 利用该輕式可以计算后验梯吟3 =叫 I T)r(r)3请详细写出感知器训练算法步骤給运初始值t蜀E0.权向Ew(町为任意值，可选0<c1猫入样本 xmE x1hx2/*xn,计算判决g(xm)=wT(k)xm按如卜规則修改权向屋7V xm Ewi, JI g(xm) W(h 则 w(k+1)=w(k)+cxm若)cm Ewji £L fl(xm) >Qf 则 wk+1)=w(k)-cxm J令k=k+1,返回第二步，倉到w对所肓样木植龙不变.條
16、朿4.请详细写出Fisher算法实现步骤5什么是两分剪辑近邻法和压缩近邻法13.卄么是分剪辑班邻法与压縮近邻法将瓯始禅木通机分为两个集仆 預測集T和雾粵集肉 来自预测集和書粤集的样本分别处 成号试和笑垮任势，相互独立伍剪絹的施砰上，也去摊悅分这样的样九仃助于进-步缩缸计祥吋间和降低存储姿求匚 这类方法叫作从端血邻法亠6.请详细介绍初始聚类中心的选择方法11.再納升綃钊端衆炎中4>旧込萍万袪任取前c个样本血柞为樹始聚黄中业凭絵验选择将全部数撫随机分为c費，计謝重心作為聚类中心密度济选择代衷点(具冇统计轻性)从c-1炎划井中产生心类划分问题的知始聚类巾心8.什么是离散K-L变换以及离散有限
17、K-L展开K-L展开式就是这样一种展开方法。离散K-L变换又称主成分分析(PCA)，是一种基于目标统计特性的最佳正交变换，被广泛应用于数据压缩、 特征降维等方面。一个非周期性随机过程用具有互不相关系数的正交函数的级数展开。t- 11/2（15分）设有两类正态分布的样本集，第一类均值为，第二类均值出十,0），方差龙计1/21为込=（2,2）T，方差工2 =、1-1/2-1/2 1，先验概率P（r） = p（ 2），试求基于最小错误率的贝叶斯决策分界面。解 根据后验概率公式 pg x）p(x)(2'及正态密度函数p（XCOj） =1/2 exp-(x - )二i (x -叫)/2 ,i =
18、1,2 。 (2')基于最小错误率的分界面为p（01） P仙）=P（x|cc2）p（国2），(2')两边去对数，并代入密度函数，得II(x )T 即(X _巴)/2 _In |鬲| = (X -巴)T-巴)/2 In12(1) (2'由已知条件可得 匸2，:4/3-2/3-2/34/3 一4/32/32/34/3，(2')设X=（X1,X2）T，把已知条件代入式（1），经整理得x,x2 -4x2 -为 4 =0，(5')（15分）设两类样本的类内离散矩阵分别为 S = I 11/21/2 1，§ -1/2-1/2，各类样本均值分别为1（ 1,0
19、）T，2（ 3,2）T，试用fisher准则求其决策面方程，并判断样本x =（ 2,2）T的类别。02(2 ')1/2投影方向为宀Sf °1/:卧口(6')阈值为 y0 =wT(7 "2)/2 - -1斗3(4')*T二-4 . y0，属于第二类（3'）给定样本的投影为 y = w T x- 122丨1-1（15分）给定如下的训练样例实例x0x1x2t（真实输出）111112 12 0 13 101-14 112-1用感知器训练法则求感知器的权值，设初始化权值为W。二w = W2 = 0 ；1第1次迭代wK(p)y（P）AW000111110
20、0000012011000000101-11-10-1-10-1112-1-10002第2次迭代-10-11111-111101012011000010101-11-10-1-11112*1J000（2 '3第3和4次迭代-100-11222-100-111111201101211-1-1-111 -110-110010-1T"12-111111000-12-112011000-12-1101*1-1000四、 （15分）i. 推导正态分布下的最大似然估计；ii.根据上步的结论，假设给出如下正态分布下的样本",1.1,1.01,0.9,0.991，估计该部分的均值和
21、方差两个参数。1设样本为K=x1, x2，xN,1t一亠正态密度函数p(®=nWii1/2exp-(xUi (x-7)/2(2')则似然函数为= p(K | B) =p(X1,X2,.,xn | 9)p(x k | 9N对数似然函数H ( 9 = 7 In p(xk | 9 kJ最大似然估计9ml = argmaxi (9)en五、解（对于正态分布？ml二Xk ,N y根据1中的结果-N、Xk=1，k丄(2')1 N吒l(耳 一？)2 =0.00404N k(5')（15分）给定样本数据如下：（-6,-6 ）T , （ 6,6 ）T（1）对其进行PCA变换（2
22、）用（1）的结果对样本数据做一维数据压缩1）PCA变换1求样本总体均值向量 心（-6,-6 ）T（ 6,6）T（ 0,0 ）T2 求协方差矩阵 R=( -6,-6 )t(-6,-6 )+(6,6 )t(6,6)/ 3(2')3求特征根，令 36一儿36 =0，得人=72，入2=0。（1'）3636 人由R% =屮i，得特征向量 = |"/ J2，1 ，一1则PCA为吓2戸七一严近，一6（2）要做一维压缩，就是向最大特征根对应的特征向量做投影，得(5')(5')五、（12分，每问4分）在目标识别中，假定有农田和装甲车两种类型，类型-.1和类型 .2分别代
23、表农田和装甲车,它们的先验概率分别为 0.8和0.2，损失函数如表1所示。现在做了三次试验，获得三个样本的类概率密度如下：0.3，0.1，0.6P（刃®）： 0.7 ， 0.8 ， 0.3（1）试用贝叶斯最小误判概率准则判决三个样本各属于哪一个类型；（2）假定只考虑前两种判决，试用贝叶斯最小风险准则判决三个样本各属于哪一类；（3）把拒绝判决考虑在内，重新考核三次试验的结果。表1判决X'损失类型1«1145111P（码）-? P（珂 I 码）.？解：由题可知： P（q） = 0：P他）二 0一3, 融方，P（ia）方,Pgg） _ 1 Pg 丨码）_ ?_|-，_ &
24、#39;：1 一（1）（ 4分）根据贝叶斯最小误判概率准则知：P（和昭）_ p刚）pg | 班）/ Wp临 | q） 、F（曲） -I .，则可以任判；3二丨 叮，则判为2 ，则判为*;P（弼）（爲厂张）二0 3（弘1）二4（2）（ 4分）由题可知： 户）（為给广诙"方则14 ，判为；_| -一，判为 1；-1 - <'，判为匚；（3）（4分）对于两类问题，对于样本 ：，假设二I已知，有R（丐I X）=久（码|対）刊码I X）+ 2（丐|範）P（曲| X）=_加丐|昭）戸（疋|码）刊斫）+ 乂（丐丨绥）P（X |码）卩（）F(x)则对于第一个样本，即 5x0.21 &#
25、187; | . 4x0.21 2. 2x0,21R(® I 对= 口 、R(% I x)=“.、卫© I M =、-，则拒判;103. .0.59 巩.0,24R(坷 | X)- * R© | * - -,曲碣 I x) - - . .1. ，则拒判；2 19丽耙心0.51，拒判。r 1 1/211/2 1已知一组数据的协方差矩阵为 I丿，试问1. 协方差矩阵中各元素的含义。2. 求该数组的两个主分量。3. 主分量分析或称K-L变换，它的最佳准则是什么？4. 为什么说经主分量分析后，消除了各分量之间的相关性。1 1/21答：协方差矩阵为U21丿，则1）对角元素是
26、各分量的方差，非对角元素是各分量之间的协方差。2）主分量，通过求协方差矩阵的特征值，用P对应特征向量为x =-为： _ 这两个特征向量即为主分量。3） K-L变换的最佳准则为:对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。4）在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关消除。四、设有两类正态分布的样本基于最小错误率的贝叶斯决策分界面,分别为X2=0，以及X1=3,其中两类的协方差矩阵 因卜国I,先验概率相等，并且有bl答：设待求由于二卜二，先验概率相等。则基于最小错误率的 Bayes决策规则，在两类决策面分界面上的样本X应满足二（ 1）
27、其中按题意12（注：为方便起见，在下面计算中先去掉系数4/3）。按题意分界面由x1=3及x2=0两条直线构成，则分界面方程为对（1）式进行分解有XTSf1X-241X+SfViXT刃-申X-细:却-址巧X +得'I .1 .(3)由（3）式第一项得M11/21|"21Lb=k/1 - a) + 2旳也1/2 -b) +xj(l - c)将(4)式与(2)式对比可知:卜（4）a=1,c=1又由c=1与，得b2=1/4，b有两种可能，即 b=1/2或b=-1/2，如果b=1/2，则表明丨' 1-.；，此时分界面方程应为线性，与题意不符，只有 则（4）式为：2X 1X2（
28、5）b=-1/2将相应结果带入（3）式第二项有r 1 1/21T1/2 1= 2(72)1-1/2YI-Jr 彳(og) -O31 - +畑号2严出(2 如1+#22)引 +(6)-22 +|>3则结合（5） （2）应有"宀,则轴2（7）13 2-1_2 + - = 3r 1-1/21得r 11/21-1/21J1/211/十三、试分析五种常用决策规则思想方法的异同。答、五种常用决策是：1. 基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小的分类规贝U。2. 基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在01损失函数条件下，基于
29、最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决策。3. 在限定一类错误率条件下使另一类错误率最小的两类别决策。4. 最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小贝叶斯奉 献最大的先验概率，以这种最坏情况设计分类器。5. 序贯分类方法，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一部分特征 分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。十四、假设在某个地区细胞识别中正常（W1 ）和异常（W2）两类先验概率分别为 P（wi）=0.9, P（W2）=0.1, 现有一待识别的细胞，其观察值为x，从类条件概率密度分布曲线上查得P（x
30、WiH 0.2，P(x w2) =0.4，并且已知仆=0，' 12 =6， 21 = 1，122试对该细胞x用一下两种方法进行分类:1.2. 基于最小错误率的贝叶斯决策；3. 基于最小风险的贝叶斯决策；请分析两种结果的异同及原因。答：1.解：利用贝叶斯公式分别计算出g及叱的后验槪率*尸® |巧=_T0.2xO,9 + 0：4XOn三°3P(亦*)=1扒w根据贝叶斯决策规则式(2-2),有Pg =818>P(Jjr)=O 182所以合理的决策是把x归类于正常状态2.解巳卿条件为旅jt |gJ=0 2、Aj = 1 1根据1葩讣篁结果可知后脸概率为>) =
31、0* 818,P(w) =»(K 1pCr 1)=0. 4 人 ij G兀=°P(ws|jr)=0< 182再计茸出黃件风险Ral | x > =： >ifP細 at) =|x) L 092R(a: x = P (tai | x) = 0» 81R由于R(nJjX»R(o；ljr>即抉策为働的条件凤险小于决策为帥的条件风险，因此我们采取决策行动敛，即判断待识 别的细胞工为气类一异常细L将1与2相对比其分类結杲IE好相反，这是因为这里辭响决策结果的因索又多了一个円即"损失蔦而且卿类错僂决策所造成的损失梅差很悬殊”因此“损失
32、”就起了主导作用*十七、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。两类别问题：判别函数gi(x) = AuPtcoJx) +At2p(<Da|x) gO = A21p(<o1|x)十 X22p(w2|x) 决策面方程：gl(x) = g2(x)c类别问题：判别函数CgiO)=i = 1,疋j=i决策面方程：gi(x) = gj(x), i 工 j i = 1,j =c十八、请论述模式识别系统的主要组成部分及其设计流程， 并简述各组成部分中常用方法的主要思想。信号空间特征空间信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或以为波形。预处理：去除噪声，加
33、强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的 特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。十九、有两类样本集Xi1 珂0,0,0T，x； =1,0,0T，x； =1,0,1T，x： =1,1,0T1T2T3T4TX2 珂0,0,1，x2 二0,1,0，x2 =0,1,1，x2 珂1,1,11用K-L变换求其二维特征空间，并求出其特征空间的坐标轴;2. 使用Fisher线性判别方法给出这两类样本的分类面。(1) Exxtri 1? 71 1421 1二 414141'
34、其对应的本征值和本征向量为:21-2-v61-v62_2 1-V3J V31 VS LV3对应的坐标32'o J-2III -1丄 一 4 3 一 4 33 1-1XIL«ij'* c-lr、#wmi+w*1 m2ow = Sw1(m1 一 m2)二 -6 , y0 -3.6.r 6iT所以判别函数为：g(x)= -6 x + 3-6.二十二、简述支持向量机的基本思想。答：SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开（训练错误率为0）,且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也 就是寻找一个分类面使它两侧的空白区域（marg in）最大。过两类样本中离分类面最近的点，且平行于最优分类面的超平面上Hi, H2的训练样本就叫支持向量。