2第二章贝叶斯决策理论.docx

《2第二章贝叶斯决策理论.docx》由会员分享，可在线阅读，更多相关《2第二章贝叶斯决策理论.docx（96页珍藏版）》请在三一文库上搜索。

1、第二章贝叶斯决策理论引言 2-1贝叶斯分类器 2-2正态分布决策理论 2-3关于分类的错误率分析 2-4最小风险Bayes分类器 2-5 Bayes分类器算法和例题2-6聂曼-皮尔逊判别准则2-7最大最小判别准则 2-8序贯分类学习指南/这一章的主要内容是说明分类识别中为什么会有错分类?/在何种情况下会出现错分类？/错分类的可能性会有多大？ /在理论上指明了怎样才能使错分类最少?/另一方面，错分类有不同情况，例如误将A错分为B类，或将B类 错分为A类就是两种不同的错误。不同的错分类造成的危害是不同 的，有的错分类种类造成的危害更大，因此控制这种错分类则是 更重要的。引入了一种“风险”与“损失”

2、概念,希望做到使风险最小。这一章的关键是要正确理解先验概率,类概率密度函数，后验概率这三种概率，对这三种概率的定义，相互关系要搞得清清楚楚。Bayes公式正是体现这三者关系的式子，要透彻掌握。课后思考/I、机器自动识别分类，能不能避免错分类，如汉字识别 能不能做到百分之百正确？怎样才能减少错误？，2、错分类往往难以避免，因此就要考虑减小因错分类造 成的危害损失，譬如对病理切片进行分析，有可能将正确 切片误判为癌症切片，反过来也可能将癌症病人误判为正 常人，这两种错误造成的损失一样吗？看来后一种错误更 可怕，那么有没有可能对后一种错误严格控制？/3、概率论中讲的先验概率，后验概率与概率密度函数等

3、 概念还记得吗？什么是贝叶斯公式？4、什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态分布是最重要的分布之一?17本章知识结构框图 模式识别的分类问题就是根据识别对象特征的观察值将其分到某个类 别中。 统计决策理论是处理模式分类问题的基本理论之一。 贝叶斯(Boyes)决策理论方法是统计模式识别中的一个基本方法。用 此方法进行分类时要求： 1)各类别总体的概率分布式是已知的； 2)要决策分类的类别数是一定的。 本章所要研究的主要问题就是，在特征空间中观察到的样本，将其分 到哪一类才最合理。 待识别物理对象的描述问题。假设一个待识别的物理对象用其 d个属性观察值描述，称之为d个特征，这组成

4、一个d维的特征 向量，而这d维待征所有可能的取值范围则组成了一个d维的特 征空间。例子：假设苹果的直径尺寸限定在7厘米到15厘米之间， 它们的重量在3两到8两之间变化。如果直径长度x用厘米为单 位，重量y以两为单位。那么，由x值从7到15, y值从3到8包围 的二维空间就是对苹果进行度量的特征空间。 贝叶斯决策理论方法所讨论的问题：,已知总共有C类物体，也就是说待识别物体属于这C类中的一个 类别，对这C类不同的物理对象，以及各类在这d维特征空间的 统计分布，具体说来是各类别3尸的先验概率P(Q)及类 条件概率密度函数p(x | Q)已知的条件下，如何对某一样本按其 特征向量进行分类的问题。 由

5、于属于不同类的待识别对象存在着呈现相同观察值的可能， 即所观察到的某一样本的特征向量为X,而在c类中又有不止一 类可能呈现这一X值，这种可能性可用P（Q IX）表示。如何作出 合理的判决就是贝叶斯决策理论所要讨论的问题。 机器实现自动分类有两大类方法：一种是模板匹配方法，而另 一种就是对特征空间划分为子空间（每类的势力范围）的方法。 本章是针对第二种方法的。 核心问题是：样本为特征向量X时，它属于哪一类可能性有多 大，如能确定属于各个类别的百分比（概率），分类决策就有了依 据。 例如某个样本的特征向量为X, X属于第一类样本的可能性为 60%,而第二类的可能性为40%。在没有任何样本信息的情况

6、 下，则应将样本决策为第一类以使错分类可能性小（40%）,这 就是这一章考虑分类问题的出发点。2-1 Bayes分类器基本概念/先验概率：从以往的数据分析中得到的经 验值；即根据大量统计确定某类事物出现 的比例O如在我国大学中，一个学生是男生的先验 概率为0.7,而为女生的概率是0.3,这两类 概率是互相制约的，因为这两个概率之和 应满足总和为1的约束。/类条件概率密度函数：同一类事物的各个属性都有一 定的变化范围，在这些变化范围内的分布概率用一种 函数形式表示，则称为类条件概率密度函数。这种分 布密度只对同一类事物而言，与其它类事物没有关系。 为了强调是同一类事物内部，因此这种分布密度函数

7、往往表示成条件概率的形式。例如X表示某一个学生的特征向量，则男生的概率密 度表示成尸男生)，女生的表示成尸凶女生)，这两者 之间没有任何关系，即一般的情况下 P(x|W1)+P(x|w2Vl,可为从0,2之间的任意值。/后验概率：得到信息之后，对以往数据加以修正的概率（一般也是条件概率）；或一个具体事物属于某种类别的概率。例如一个学生用特征向量X表示，它是男生或女生的概 率表示成片男生lx）和户（女生|x）,这就是后验概率。 由于一个学生只可能为两个性别之一，因此有P（男生 |x） + P（女生1x） = 1的约束,这一点是与类分布密度函 数不同的。后验概率与先验概率也不同，后验概率涉及一个具

8、体 事物，而先验概率是泛指一类事物，因此片男生lx）和 Q（男生）是两个不同的概念。一、两类问题例如：细胞识别问题 孙正常细胞，32异常细胞Px/gp(xgP ( 1) P (0 2), X 0?(?)2) P)(4)g(x) = In AR -In 史,(取对数方法)2、决策规则：)PQ)/ 1(l)P(cO/x) P (co 9 /x ) = x e ,(2)P(x/co1)P(co1) P(x/co2)P(co2) = X(3) P(x(4)g(x) = In P (coP(x/co2) CO)P(x/ l)ln P( 2)nP (x/co 2) CO 1 co ?CO 1GCO 2co

9、 1co 93、决策面方程：g(x)=oX为一维时，决策面为一点，X为二维时决策面为曲线，X为三 维时，决策面为曲面，X大于三维时决策面为超曲面。:例：某地区细胞识别；尸(C0)=O.9,只32)=。1，未知细胞X,先从类条件概率密度分布曲线上查到：Px/ co )=0.2,只M 32)=0.4:解：该细胞属于正常细胞还是异常细胞，先计算后验概率:P(co1/x) =P(x/co1)P(co1)ZP(x/c0j)P(cOj) 产i 0.2x0.90.2x0.9 + 0.4x0.1=0.818P(co2/x) = l-P(cO/x) = 0.182,因为 P(cox) P(cd2/x),. x

10、e 必属正常细胞。决策结果取决于实际观察到的类条件概率密度只M Q)和先验概率只)。对于 本例,因为P(g) P2)，所以先验概率起很大作用4、分类器设计:阈值单元决策15根据Bayes法则，对于一个两类问题，有如下结论： .若对于某一样本X,有P(X|3尸P(XM),则说明X 的类条件概率没有提供关于类别状态的任何信息， 判决完全取决于先验概率。 2.若P)=P2),则判决完全取决于类条件概率。/ 3.除此之外，Bayes法则提供最小错误概率的判决。6 4 2O-2-4-6CM0m eou.二多类问题,样本与样本空间表示:、=占/2，.一，总厂xeRX = XX2XN,类别与类别空间：M个类

11、别（类别数已知）。二孙 ,?,如1 .判别函数：M类有M个判别函数g(M，,gm(M，9m(M.每个判别 函数都能表示为上面的四种形式。2 .决策规则：g(x) = P(x)P( J=max P(x/04P j) = x e 内=1,2,，M) i j x e ai1 J3、决策面方程：gi(x) = gj(x),即 gKx) - gj(x)=。4、分类器设计：18 2-2正态分布决策理论P24 一、正态分布判别函数1、为什么采用正态分布:Q、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，Ng,。1只有均值和方差两个参数。2、单变量正态分布：N(02)P(x) = 2 exp -其

12、中:/ = E(x) = f xP(x)dx,(均值或数学期望) J-oO小=士y=匚(x- JLl) P(x)心,(方差)。称为标准差 概率密度函数应满足下列关系式f P (x ) 0,( -oo x oo )口 -10 .9519| j P (x )dx = 1思考正态分布（又称高斯分布）中。的大小对你所 画的图有什么影响？如果有两种高斯分布 山二口 2，你能将它们画在一起吗？ 两者有什么不同？均值口和标准差。两个概念十分重要，一定 要弄清楚。3、（多变量）多维正态分布（1）函数形式：尸（=（2 万）/，xp其中：X =（当，、2,，储?）7 ,维特征向量 二（1，2，-，“尸，维均值向量

13、z为 x 维协方差矩阵，z ”为Z的逆阵，,内Z的行列式,8N / =石（x i ） = | x j P x j ）dx jJ - Xe = （x - a）（x - y （. 一 .） E 0A单变量正态分布是多元正态分布的特种形式，实际上单变量正态分布只是维数为1的多元分布。当n=l时，工只是一个1X1的矩阵，也就是只有1个元素的矩阵，退化成一个数,也就是标准差。，厂】也就是。-2,而(X r)t(x 也 变成(X-#2。多元正态分布要比单变量时复杂得多，具有许多重要的特性(2)、多元正态分布性质:P26、U与二对分布起决定作用P仅)=N(u，E),|J由n 个分量组成，由n(n+l)/2元

14、素组成。所以，多维正态分 布由n+n(n+l)/2个参数所完全决定。N 1、等密度点的轨迹是一个超椭球面。区域中心由 口决定，区域形状由E决定。(E)、不相关性等价于独立性。（证明见书P27）数理统计中，若二个随机变量不和为之间不相关，并不意味着它们之 间一定独立。不相关和独立定义：若EXjXj=ExJ - EXj,则随机变量为和为不相关;若pXj, xj=pxj pXj,则随机变量Xj和Xj独立。但对多维正态分布的任意二个分量不和Xj,若不和外互不相关，则它们 之间一定独立。也就是正态分布中不相关性等价于独立性。、线性变换的正态性Y=AX, A为线性变换矩阵，且是非奇 异的（即存在逆矩阵）。

15、若X为正态分布，贝IJY也是正态 分布。（证明见书P29）、边缘分布和条件分布的正态性。（证明见书P28）、线性组合的正态性。（证明见书P30）判别函数：类条件概率密度用正态来表示&(X)二尸0同)尸(叫)=(2/)%上.-卜) x: 一 )卜3)等价于gj(x) = In p(x/处)+ In p(4)、=In .冒x 1%exP -1(x-，)T X ：(x - ，) - + ln尸3,) 二-；(X - /4 )7 Z ： (x 4)- . In 2万一；In 区 J + In P(q)口决策面方程：g|(x) - g j(x) = 0即 g i(x ) - g j(x ) = - ；(

16、x - N i)Z(x - i )-(x - N jE ： (x - N j)-In - + In0(口 二 02 区j |(P二、最小错误率（Bayes）分类器一般说来，3类不同的物体应该具有各不相同的属 性，在n维特征空间，各自有不同的分布。当某一特征 向量值X只为某一类物体所特有，即 P5=.对其作出决策是容易的，也不会出什么差错。问题在于出现模棱两可的情况（如P=0.5）。此时，任何决策都存在判错的可能性。这一节讨论的是使错误率为最小的决策方法，从最小错误率这个角度来分析Bayes分类器1.第一种情况：各个特征统计独立，且方差相等。 （最简单情况）30即:(52,只有方差，协方差为零。

17、c)2判别函数（先验概率不相等）g1（x） = ；（X （X _ L） yin 271-yinJ + In P（coJ因为Z I = o2i，E：=+i,2J=o2n?in2冗都与1无关。对分类无影响。g1(x) = ；(x L)+lnP(coJ 乙2X LI -.? z xT z 、=+lnP(co)其中 Jx-iiJl = (x l) (x 匕):如果m类先验献率相等：P（O1）=P（Ct 2 ）=.=P（0 叫）则， g，（x）一N? 欧氏距离口最小距离分类器：计算|x-L，然后把X归于具有 min卜-出的类,111(X jLlJT(X |Hi)= X，X2RTiX + |LlJ|Ll,

18、因为二次项 X” 与 i 无关 简化可得：g|(x) = w：x + w1o,(线性判别函数)1 1其中：W1=一rjLLrWio =一尸NiNi+lnPlcOi) b2bo 判别规则：gk(x) = max gi(x) x e cok1对于二类情况 g(x) = g2(x)-g1(x)1 z、t 1 z TT 、 P(co2) co2决策面方程：g1(x)-gj(x) = 0在广。21的特殊情况下，此方程可改写为w T(x - x0) = 0其中， w = i - N JP(3jP(C9j)P31-32*。3 +巴)一讪巴儿2 J lk-1A讨论:二类情况下叫=叫,2(a)：因为Z =。2,

19、协方差为零。所以等概率面是一个圆形。8):因亚与伏-乂0)点积为0,因此分界面H与w垂直又因为w二出-%二5-四2，所以W与卜I1-口2同相(同方向) ，决策面H垂直于N的联线。(C)：如果先验概率相等P(叫)=P(%)，H通过卜I联线的中点。否则就是P(S1)wP(%),H离开先验概率大的一类。(d):对多类情况，用各类的均值联线的垂直线作为界面。 2、第二种情况：1 =E相等，即各类协方差相等。因为Z 1 = Z 2 =Z m = Z与i无关 g,(x)= 一;( 从尸工-i(x 4)+ 111尸(0)若先验概率相等尸(g) =P()=尸(以)=例)g,(x) = -;(-一1(一4)=一

20、,(马氏距离平方)乙对于未知X,把x与各类均值相减，把X归于2最小的类别。最小距离分类器。把(x-出尸2 7(x-m)展开；xTA与i无关。Egj(x) = W：x + Wjo,(线性函数)其中W1 = Z 出Wio = -一十i + lnP(g)决策规则：g,(x) = vr：x + Wo =maxMx + WonxQ 1 jm对于二类情况g(x) = &(%)-&(%) = (2 -4尸 一t(4：4In J n.e 2乙 5 产1p) co?决策界面：若例与叼相邻.g7(x)-gj(x) =。 wT (x - x0) = 0,其中w = Z T(M - %)。1 p(g),、1/、由即)

21、口(也卬(j()A讨论：针对3, 32二类情况，如图：（。）：因为X尸所以等概率面是椭圆，长轴由Z ,本征值决定S）:因为卬与（%-%）点积为0,所以枚与（%-/）正交，通过看点。（c）:因为w= Z M -勺）；所以鼓与（4-勺）不同相;不垂直于以值联线。（办若各类先验概率相等，则/ =；（4-勺），则通过均值联线中点；否则离开先验概率大的一类。A3、第三种情况（一般情况）：%为任意，各类协方差矩阵不等，二次项EiX与i有关。所以判别函数为 二次型函数。判别函数：g(x) = -/(x-巴)-/In区 J+ lnp(31) =x1WX + W：X + Wjo，其中W，（nxn矩阵）亚1 =

22、2丁出（11维列向量），W1 = -J+lnP3）= X 3j决策规则：gi(x) = xTWfx +wx +wi01TTlj尸（叫）= 尸（。2）一1CO 2决策面方程：g, (x) - g/(x) = 0下面看一下决策界面的各种图形: 对于二类问题，条件：1)二类情况叫以；2)“/2为条件独立;3).先验概率相等。刨隋圆(洲(。)抛物线44决策面形式的不同仅取决于方差项的差异。上图 中用圆或椭圆的尺度表征相应类别的方差。图是两个超球体等密度分布的情况，由于这两 图（b）的情况只是在X2轴方向有扩展，因而圆形 分布及决策面都演变成椭圆;类分布离散度不同,决策面是一个圆图（C）表示决策面为抛物

23、面的一个例子；图（d）与（e）中两类分布的差别在于均值点相互关系 不同，造成决策面的形式很不相同，由于中出 现了对称性情况，双曲线退化成直线。正态分布的Bayes决策例解两类识别问题：医生要根据病人血液中白细胞的浓度 来判断病人是否患血液病。根据医学知识和以往经验，医生知道:-患病人，白细胞浓度服从均值2000,标准差1000 正态分布；未患病人，白细胞浓度服从均值7000, 标准差3000正态分布；一般人群中，患病的人数比例为0.5%。-一个人的白细胞浓度是3100,医生应该做出怎样 的判断？数学表示：用3表示“类别”这一随机变量， 必表示患病，32表示正常；X表示“白细胞浓 度”这个随机变

24、量。本例医生掌握的知识非常充分，他知道：1）类别的先验分布：户（coj = 0.5%户心2）= 99.5%先验分布：没有获得观测数据（病人白细胞 浓度）之前类别的分布2)观测数据，白细胞浓度分别在两种情况下的类 条件分布：尸(x )22000,10003户(x| 32)27000,30002) P(3100g)=2.1785e-004(31001 w2) = 5.7123e-005计算后验概率-31 13100) = 1.9%F(w213100)=98.1%医生的判断：正常讨论守基于Boyes决策的最优分类器 Bayes决策的三个前提:-类别数确定。侬| x）二尸屹）尸）2?（X I %）尸（

25、叼）-各类的先验概率尸（。）已知 -各类的条件概率密度函数p（xl%）已知问题的转换:-基于样本估计概率密度-基于样本直接确定判别函数特别强调一点是P（X|3）与P（X|2）两者没有联系，都是指各 自条件下出现X的可能性，不能仅因为前者比后者大，就 认为X是第一类事物的可能性较大，只有考虑先验概率这 一因素，才能决定X是叫类，还是2类的可能性比较大。为什么后验概率要利用Bayes公式从先验概率和类条件概 率密度函数计算获得。这是因为计算概率都要拥有大量数 据才行。在估计先验概率与类条件概率密度函数时都要搜 集到大量的样本，而对某一特定事件（如x）要搜集大量样本 是不太容易的。因此只能借助Bay

26、es公式来计算得到。对基于最小错误率的贝叶斯决策来说，以后验概率值的大小作判据是最基本的方法。下面说明按这种规则进行分类确实使错误率为最小。 2-3关于分类器的错误率分析从前面的切片细胞例子中我们知道，用后验概率作为判据，将细胞 X分为正常细胞。 尽管类别2呈现出状态X的条件概率要高于31类呈现此状态的概率, 但是考虑到P1)远大于P(2)，因此状态X属于类别1的可能性远 比属于类别2的可能性大。将该细胞判为正常，在统计的意义上 讲出错率要小得多。 P(cojx)和P2|x)、P(xC0)和P(xo2)两对概率的区别：A P|x)和P21x),是指在同一条件x下，比较必与32出现的概率， 如果

27、我们只考虑两类1和2，则有P(1|X)+P(CO21X尸1。而对两者进 行数值上的比较，如P(1|X)P(2X)则可以下结论，在X条件下， 事件1出现的可能性大。 P(X|CO)和P(x|32),是在不同条件下讨论的问题，因此比较两者没有 意义，而且即横只有两类1与32，P(x|g)+P(x|c02)l。 E1、一般错误率分析：P11二类问题：若P(q/x)P(g/x),则x g q,这时错误率为p(g|x)./. P(e/x)=P(g/x),当x g 0】P(q/x),当x g g这时错误率最小。平均错误率:尸(e) = f Pe x)dx = fJ-coJ -oO第一类判错：(e) = P

28、(x e&/。1)= L P(x/?)dx2Pe | x)P(x)dx2)P(x/3i)尸( 1)A 1 X第二类判错:P2(e) = P(x g 凡/g) =1P(x/co2)dxP(o)2)P2(e) P3)Pi(e)错误率总错误率：P(e) = P(q)A(e) + P(g)巴(e) =L Pcdx )P(x/cdx )dx + P(g)P(x/g)公使错误率最小条件：P(例)P(x/0) = P(g )P(x)(证明略)(Yt6P(e)min = J P(g)P(x/g)dx + f 尸3)尸(x/Rdx Js对于多类问题：总错误率P(e) = P(x e及2/华)+2(不 &/q)+

29、尸=e 及r/)尸(？)+ 尸(X RjCD) + P(X G R3 ) + . + P(X R、JCD? ) P()+ .+ 尸(x g R /coM ) + P(xe R2/o)M ) + . + P(xg Rm_Jo)m )M M= P(x & /? )P3 )(计算量很大)z=l j=laM用平均正确分类概率：P(M) = p”RM)P)Z=1= P(xM)P)dxi= 错误率：尸(e) = l-尸(四)，计算相对简单。2、正态分布最小错误率(在正态分布情况下求最小错误率)设：P(co1) = P(co2) = i43P(x/coD =exp2)P(x/q)，可解出X值就是3值. 把匕

30、代入P(e)可得P(e)mm。P(e)mm = J； PQ )P(” g)dx + J： P2 )P(x/ a2 )dx =其中：U-,左= L( 一J2 b -2b2若已知4, 外，b可以计算左，可计算P(e)n而对多元正态分布：P(x/R = nZ J,P(x/%) = N(2，Z 2)尸(e)nun =7： exp-,水=；3 JZ T(1 一2)(错误率最小)若已知从, 2,Z可以计算左因此可计算出最小错误率。 2-4最小风险Boyes分类器Pi3基于最小错误概率的决策方法，在分类时所作的判决（称之为决策）单纯取决于观测值x对各类他称自然状态）的后验概率中之最大值，因而也就无法估计作出

31、错误决策所带来的损失。为此不妨将作出判决的依据从单纯考虑后验概率最大值,改为对该观测值X条件下各状态后验概率求加权和的方式，表示成:&（x）= Z /（% X）7 = 1为表示观测样本X实属类别力而被判为z类别时所造成的 损失；为则表示观测值X被判为Z,类时损失的均值。如果我们希望尽可能避免将某状态/,错判为状态g,则可将相 应的值看选择得大些，以表明损失的严重性。加权和R1用来 衡量观测样本X被判为状态Q所需承担的风险。而究竟将X判 为何类则应依据所有R, （i=l,m）中的最小值，即最小风险来 定。假定要判断某人是正常）还是肺病患者2），于是在判断中可 能出现以下情况：/第一类，判对（正常

32、一正常）汨；,第二类，判错（正常一肺病）及；/第三类，判对（肺病一肺病）儿2 ；,第四类，判错（肺病一正常）入12 在判断时，除了能做出“是 Q类或“不是” Q类的动作以 外，还可以做出“拒识”的动作。为了更好地研究最小风险 分类器，我们先说明几个概念：行动的：表示把模式X判决为g类的一次动作。损耗函数入九（%/3。表示模式x本来属于g类而判为g所受损失。因为这是正确判决，故损失最小。损耗函数%=入（卬/）表示模式X本来属于%类错判为Q所受损失。因为这 是错误判决，故损失最大。风险R （期望损失）：对未知x采取一个判决行动a（x）所付出的代价（损耗）条件风险（也叫条件期望损失）：R(aJx)

33、= E叼/x),，= L2,.,a(av/W)J=1在整个特征空间中定义期望风险:R = R（oti/x）P（x）dx,（平均风险）条件风险只反映对某一x的取值采取决策行动环所带来的风 险。A期望风险则反映在整个特征空间上对所有x的取值采取相应的决策行动a(x)所带来的平均风险。最小风险Boyes决策规则：若 R（%/x） =min R（ajx1=1,2 W 7,x e cok当所采取的每一个决策都使其条件风险最小，则对所有的X所作的决策，其期望风险也必然最小。这样的决策就 是最小风险贝叶斯决策48最小风险分类规则：R（ajx） x /, 母（4一41）尸/x）（4）-42）2（。2 /x）

34、= X “叫用0-1函数:4/叼）=4产MR（ajx） = Z/叼）2（叼/%）= 乙尸（叼/x）=2P（Jx） y=i评评=1 -尸3/工）,尸3 /%）后验概率KQ/x）最小，就相当开/x）最大，这时便得到最小错误翰类器。基于最小错误率的Bayes决策可作为最小风险Bayes决策的 一种特殊情形。50*例1、有训练集资料矩阵如下表所示，现已知，N=9、N5、N2=4s n=2、 M=2,试问，X=(O,O)t应属于哪一类？训练样本号k12 3451234特征占1 10-1-1010-1特征工20 1110-1-2-2-2类别叫002：解1、假定二类协方差矩阵不等(工产工2)贝IJ均值:7

35、= y(l + 1 + 0 - 1 - 1) = 0,T =文;二氏；%)T=(01)月= M，%)T=(O,1)T.协方差矩阵为：JI(c c 、(C C (请看下面协方差Xi的计算方法)U1 、22 )22 /15_CU = -rE(Xik - Xi】)“,左-x】i)3 1 k=1二:(1 0)2 + (1- O)2 + (0 0)2 + (1 0)2 + (-1 - 0)2= 15_。12 (% XH )7 (X2k 一 *12 ) = 04 k=i21 = 0123 lb-(25-C 22 = 7Z (工2左X12 y(X2k - X12 ) 4 k=i协方差矩阵为（计算方法同上）5

36、7-12r3204J= 0.59先验概率：尸(3j = *,尸(3?) = 31n 鼻)=0.22319-9 P(co2)利用公式：g(x) = g2(x)-&(x)=；(x -(X - E) - g(x - 07(X+ -ln2小怒:。X =(6户2)，将X = (x1?x2)7 = (0,0)T代入得：g(x) = -5.450 所以算比二(0,0尸属于外类。12令g(x) = 0得分界线方程为:X； +-x； +18% +5.45 = 023这是一个非线性椭圆取呈:x；十(x2 +13.5)2 _ 15.23213.192X毋解2、假定两类协方差矩阵相等10 1汇=臼+汇22=242f；

37、 一所以代入x =(0,0厂得：g(x) =(X2 - X1 尸T X + ；(X：Z 】X1 - X：Z X2)Tn故应把x = (0,0)7判为p类,-47分界线方程为g(x)= X2 2.68 = 0从而得M=-0.61为一直线，如图中虚线所示.待定样本2 /%/ 1i0 x1-IZX-O,61分界线/ C09- = -2.680 PM):,例J2：有训练集资料矩阵如下表所示，现已知，N=9、N1=N2=N3=3,n=2、M=3,试问,未知样本X=(O,O)T应属于哪一类？训练样本号k12 3123123特征X10 12-2 -1 -20 1-1特征X21-2 110-1-1 -2 -2

38、类别31川2u)3:解1、假定三类协方差不等;-5-5均值 Xi =(l,0)T,X2 =(-50)T,X3 =(09-)t(I 0、f1o p 0协方差矩阵为：= 0 3，=i0 1w ”o1J I 3)56所以 S 1 =oJ2 2=(oJ,Z 3 =(o3区卜3,区卜工| 二；先验概率尸（乌）=P（co2） = P（fy3）=代入多类判别函数g,（X）= xTWtx + wfx +叫o,其中町=一；X 广，吗=Z :%，叱。=；/X :从-1ln|E，| + InP（G-if 1）所以gi（x） =%；Tx； 21 + 4.3 g2(x) = _，(3x； +x; +10/ + 7.2)g3(x) = -(x； +3x; +10x2 + 7.2) 2将X = (O,O)T代入得：&(X)= -2.15,g2(x) = g3(x) = -3.6故应判样品x = (o,o)T为期类分别令 gl(x) = g2(x),g2(x) = g3(x)，g3(x) = g1(x) gl(x)-g2(x)=3