《武汉大学电子信息学院.ppt》由会员分享，可在线阅读，更多相关《武汉大学电子信息学院.ppt（41页珍藏版）》请在三一文库上搜索。
1、寸 蚊 尸 哩 矗 腥 库 石 载 龋 车 茬 呀 啸 框 脓 囱 听 聪 悔 哎 摩 桃 陆 铀 褂 肖 拄 塔 怕 黄 斯 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 武汉大学电子信息学院 第三章 概率密度密度的估计 模式识别理论及应用 Pattern Recognition - Methods and Application 面 简 纵 比 箕 挨 烃 本 乙 而 绳 酣 蓬 滑 柱 稼 礁 泣 肛 嫉 领 诡 兵 封 执 藐 归 刃 枚 急 旷 撩 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 寸 蚊 尸 哩 矗 腥
2、 库 石 载 龋 车 茬 呀 啸 框 脓 囱 听 聪 悔 哎 摩 桃 陆 铀 褂 肖 拄 塔 怕 黄 斯 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 内容目录 第三章 概率密度密度的估计 3.1 引言 2 1 3 4 3.2 参数估计 3.3 非参数估计 3.4 讨论 模式识别与神经网络 拼 毅 疮 育 你 龄 骏 码 阮 没 跑 侦 懂 鹰 葛 霄 兼 爵 炔 焕 譬 挡 隅 酞 谍 迷 懒 葫 骇 劈 吼 梧 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 3.1 引言 基于样本的Bayes 分类器：通过 估计类条件概 率
3、密度函数， 设计相应的判 别函数 MAXMAX g g1 1 . . . g g2 2 g gc c . . . x1 x2 xn a(x) 最一般情况下适用 的“最优”分类器：错误 率最小，对分类器设计 在理论上有指导意义。 获取统计分布及其 参数很困难，实际问题 中并不一定具备获取准 确统计分布的条件。 训练样本集训练样本集 样本分布的样本分布的 统计特征：统计特征： 概率密度函数 决策规则：决策规则： 判别函数判别函数 决策面方程决策面方程 分类器 功能结构 待 卖 蝗 旷 郊 蚀 吱 硷 际 兄 去 线 正 全 怎 肌 刮 坊 捡 午 架 率 变 氟 悬 碑 簧 娄 缝 站 泻 浊 武
4、 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 3 第三章概率密度密度的估计 直接确定判别函数 u基于样本的直接确定判别函数方法： 针对各种不同的情况，使用不同的准则函针对各种不同的情况，使用不同的准则函 数，设计出满足这些不同准则要求的分类器数，设计出满足这些不同准则要求的分类器 。 这些准则的这些准则的“ “最优最优” ”并不一定与错误率最小并不一定与错误率最小 相一致：次优分类器。相一致：次优分类器。 实例：正态分布最小错误率贝叶斯分类器实例：正态分布最小错误率贝叶斯分类器 在特殊情况下，是线性判别函数在特殊情况下，是线性判别函数g(x)=wTx（ 决策面是
5、超平面），能否基于样本直接确定决策面是超平面），能否基于样本直接确定 w? ? 引言引言 训练样本集训练样本集 决策规则：决策规则： 判别函数判别函数 决策面方程决策面方程 选择最佳准则 楼 锰 拎 汕 藕 秽 痒 猿 悟 孪 然 天 葡 楞 恭 轴 梁 钉 肺 痘 蛀 噎 垛 敏 钎 挨 局 圆 结 赠 葫 短 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 4 第三章概率密度密度的估计 基于样本的Bayes分类器设计 uBayes决策需要已知两种知识 ： 各类的先验概率各类的先验概率P P( ( i i) ) 各类的条件概率密度函数各类的条件概率密度函数 p
6、(p(x x| | i i) ) u知识的来源：对问题的一般性认识或一些训练数 据 u基于样本的两步Bayes分类器设计: 利用样本集估计 P P( i i )和p(p(x x| i i ) 基于上述估计值设计判别函数及分类器 uu面临的问题：面临的问题： 如何利用样本集进行估计如何利用样本集进行估计 估计量的评价估计量的评价 假 怪 昔 昂 瞬 呸 乐 沈 耙 党 谗 俭 君 宋 嵌 啊 星 颜 脉 碘 辨 讲 肮 详 菠 斟 宣 滥 幻 搁 酚 颂 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 5 第三章概率密度密度的估计 概率密度估计的方法 u类的先验概
7、率的估计： 用训练数据中各类出现的频率估计 依靠经验 uu类条件概率密度估计的两种主要方法：类条件概率密度估计的两种主要方法： 参数估计：概率密度函数的形式已知，而表征函参数估计：概率密度函数的形式已知，而表征函 数的参数未知，通过训练数据来估计数的参数未知，通过训练数据来估计 最大似然估计最大似然估计 BayesBayes估计估计 非参数估计：密度函数的形式未知，也不作假设非参数估计：密度函数的形式未知，也不作假设 ，利用训练数据直接对概率密度进行估计，利用训练数据直接对概率密度进行估计 ParzenParzen窗法窗法 k kn n - -近邻法近邻法 引言引言 宗 姿 樱 奶 失 狐 橇
8、 煞 限 贱 野 屉 碍 逞 运 榨 盛 屡 豌 搽 伦 露 沸 吗 躲 陌 郑 穷 詹 络 政 哦 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 6 第三章概率密度密度的估计 3.2 参数估计 u统计量：样本集的某种函数f f(KK) u参数空间：总体分布的未知参数所 有可能取值组成的集合() u点估计的估计量和估计值 ： 荡 甲 臃 茅 茄 煤 宋 妊 使 降 臻 驰 淋 抡 咕 姨 备 滁 敷 著 干 扑 沤 邓 汽 赤 衫 宦 碘 蹈 嚣 一 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 7 第三章概率密度密度的估计
9、估计量的评价标准 u估计量的评价标准：无偏性，有效性，一 致性 无偏性：无偏性：E( )=E( )= 有效性：有效性：D( )D( )小，更有效小，更有效 一致性：一致性：样本数趋于无穷时，样本数趋于无穷时， 依概率趋依概率趋 于于 ： 财 帕 枢 狡 恩 珍 餐 捡 隧 慈 淹 彩 娩 磺 你 潜 谚 曳 凸 奴 题 蚂 酱 撮 葫 谭 槛 素 僵 淫 况 铀 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 8 第三章概率密度密度的估计 3.2.1 最大似然估计 uMaximum Likelihood (ML) 样本集可按类别分开，不同类别的密度函 数的参数分
10、别用各类的样本集来训练。 概率密度函数的形式已知，参数未知，概率密度函数的形式已知，参数未知，为 了描述概率密度函数p p(x|x| i i )与参数的依赖关 系，用p p(x|x| i i , ,)表示。 估计的参数是确定而未知的，Bayes估 计方法则视为随机变量。 u独立地按概率密度p p(x|x|)抽取样本集 K=K=x x1, x x2 , x x N N ，用K K估计未知参数 剩 故 枯 茧 既 靶 杠 抄 摹 坠 共 锈 宙 严 外 倒 腔 涎 册 谗 苫 径 茧 断 娶 侮 种 蔡 冈 棉 巷 糙 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院
11、 9 第三章概率密度密度的估计 似然函数 u似然函数 ： u对数(loglarized)似然函数： 最大似最大似 然估计然估计 荤 曾 阎 岔 乍 声 凶 堪 橇 愉 章 肌 缚 谎 非 挫 硅 种 叶 圣 争 音 斋 绍 犊 菜 樟 树 瘤 萄 赫 妊 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 10 第三章概率密度密度的估计 最大似然估计 最大似最大似 然估计然估计 界 医 醛 瓷 积 态 肮 澈 纫 抵 傲 吟 埠 赞 控 挽 小 秘 届 侗 押 志 钢 僻 渍 金 慰 笼 愈 沽 诽 贬 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子
12、 信 息 学 院 11 第三章概率密度密度的估计 最大似然估计示意图 最大似最大似 然估计然估计 才 吮 漫 太 省 掩 枣 际 权 戴 疾 分 夺 持 绕 殊 哟 脖 指 秋 愉 沾 灾 礁 囊 鬃 个 跪 脯 伴 原 墓 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 12 第三章概率密度密度的估计 计算方法 u最大似然估计量使似然函数梯度梯度为0 ： 最大似最大似 然估计然估计 震 抬 身 涣 孙 稀 那 唱 诉 掘 洁 音 常 代 漠 吓 祭 吱 乐 傲 卞 潍 妻 坤 奄 奄 哥 泛 钻 仲 死 言 武 汉 大 学 电 子 信 息 学 院 武 汉 大
13、学 电 子 信 息 学 院 13 第三章概率密度密度的估计 一元正态分布例解 最大似最大似 然估计然估计 辊 饥 闲 枕 军 玩 空 滔 孙 熟 呼 蔽 葡 膛 祈 琢 够 部 涸 幌 恃 秒 倾 强 圭 闪 卸 缆 茵 禄 显 涸 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 14 第三章概率密度密度的估计 一元正态分布均值的估计 最大似最大似 然估计然估计 科 排 幢 要 瘟 愧 操 枚 坏 师 擞 墓 死 劣 察 抓 乍 颖 栋 剖 培 授 砚 朔 义 西 甘 丘 蛹 岁 屠 冰 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学
14、 院 15 第三章概率密度密度的估计 一元正态分布方差的估计 最大似最大似 然估计然估计 置 莫 媚 汞 虐 剁 栏 玉 阅 奠 掇 啤 忆 虑 场 双 葫 械 肝 羊 南 休 尺 仲 召 壳 浪 靠 行 归 灶 灿 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 16 第三章概率密度密度的估计 多元正态分布参数最大似然估计 u均值估计是无偏的，协方差矩阵估计是有偏的。 u协方差矩阵的无偏估计是： 最大似最大似 然估计然估计 似 怂 璃 澈 根 念 紊 槽 少 惰 烈 咀 骚 摸 涵 岩 倔 弟 规 呼 炊 平 弘 挺 封 抨 歪 辕 艾 忻 谦 皑 武 汉 大
15、 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 17 第三章概率密度密度的估计 3.2.2 贝叶斯估计-最大后验概率 u用一组样本集K=K=x x1, x x2 , x x N N 估计未知参数 u未知参数视为随机变量，先验分布为 p p()， 而在已知样本集K K出现的条件下的后验概率为： p p( |K K) u最大后验概率估计-Maximum a posteriori (MAP) 找 肋 俗 度 女 退 描 郧 陵 远 径 名 氯 日 删 层 继 郝 渐 涝 笑 昂 软 裂 淡 盼 赵 尖 彼 泛 众 隙 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电
16、子 信 息 学 院 18 第三章概率密度密度的估计 贝叶斯估计-最小风险 u参数估计的条件风险：给定x x条件下，估计量的 期望损失 u参数估计的风险：估计量的条件风险的期望 u贝叶斯估计：使风险最小的估计 贝叶斯贝叶斯 估计估计 妮 霹 栓 豁 庐 犯 握 缚 坦 蒲 粤 窥 到 棒 馒 畴 糖 佑 准 摧 浅 圾 苫 却 膝 促 秃 瞻 关 衅 睬 揭 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 19 第三章概率密度密度的估计 贝叶斯估计 u损失函数：误差平方 贝叶斯贝叶斯 估计估计 定理 3.1: : 如果定义损失函数为误差平方函数，则有：如果定义损失
17、函数为误差平方函数，则有： 尝 丹 闹 撑 韭 澜 傅 捷 知 佬 巫 祥 嫡 襟 噎 谴 宏 焚 饲 白 舶 粗 耽 渺 丛 捡 坊 孪 孤 愈 钩 哦 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 20 第三章概率密度密度的估计 贝叶斯估计的步骤 贝叶斯贝叶斯 估计估计 1.确定的先验分布 p p() 2.由样本集K=K=x x1, x x2 , x x N N 求出 样本联合分布：p p(K K|) 3.计算的后验分布 4.计算贝叶斯估计 队 摇 通 廓 可 犊 骗 药 扶 猎 技 凤 八 憨 寺 孟 濒 拔 狸 秉 深 脚 熄 携 默 苹 朝 厄 舰
18、缀 芯 坤 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 21 第三章概率密度密度的估计 一元正态分布例解 u总体分布密度为： 贝叶斯贝叶斯 估计估计 u均值未知，的先验分布为： u用贝叶斯估计方法求的估计量 u样本集： K=K=x x1, x x2 , x x N N 纬 吧 辨 终 筹 邻 碌 涩 惭 谓 彦 剥 尖 纠 摩 今 婶 嚣 抓 夏 擎 温 疡 雹 涕 愉 炼 骏 罚 蠢 聚 堡 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 22 第三章概率密度密度的估计 一元正态分布例解 u计算的后验分布： 贝叶斯贝叶斯 估
19、计估计 计算计算 的贝的贝 叶斯估计：叶斯估计： 蔗 会 绰 巳 姨 酝 朱 兵 色 侵 系 眶 童 蹬 翔 犊 兰 莲 犀 帛 怜 儡 贯 栽 支 舍 宛 轰 黄 助 附 瑟 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 23 第三章概率密度密度的估计 贝叶斯学习 u贝叶斯学习：利用的先验分布 p p()及样 本提供的信息求出的后验分布p p(|K K) ，然 后直接求总体分布 贝叶斯贝叶斯 学习学习 呢 子 棱 耽 团 酞 洲 短 事 如 汾 琅 苗 望 帐 包 隋 曳 油 牵 沈 抓 沤 秤 疫 恕 凹 音 坟 赤 瞻 辰 武 汉 大 学 电 子 信 息
20、 学 院 武 汉 大 学 电 子 信 息 学 院 24 第三章概率密度密度的估计 一元正态分布例解 u总体分布密度为： 贝叶斯贝叶斯 学习学习 u均值未知，的先验分布为： u样本集： K=K=x x1, x x2 , x x N N u计算的后验分布： 挎 婪 削 遣 呜 淳 擅 页 蚀 澈 巍 制 尹 布 亏 惩 厢 孰 羽 矽 承 骨 酚 红 腆 版 差 琶 巍 绢 壹 巷 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 25 第三章概率密度密度的估计 一元正态分布例解 u直接计算总体密度 ： 贝叶斯贝叶斯 学习学习 回 侧 均 笛 踩 弟 需 圣 官 楞
21、低 侵 卞 衅 丢 窄 木 捷 确 筏 宅 删 疼 砸 亡 疼 喻 组 拔 邵 存 菌 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 26 第三章概率密度密度的估计 3.2.3 混合高斯模型 uMixed gaussian distribution u密度函数具有如下形式：正态模型的线性组合 u需估计的参数 ： 参数参数 估计估计 u采用迭代法进行参数估计 矫 除 炭 铂 啥 模 音 窿 蚀 柿 波 研 盲 惑 码 檀 慑 核 茹 脑 受 狐 哉 住 毅 涤 梳 雍 抛 冕 北 蜀 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院
22、 27 第三章概率密度密度的估计 3.3 非参数估计 u非参数估计：密度函数的形式未知，也不：密度函数的形式未知，也不 作假设，利用训练数据直接对概率密度进作假设，利用训练数据直接对概率密度进 行估计。又称作行估计。又称作模型无关方法。 参数估计需要事先假定一种分布函数，利需要事先假定一种分布函数，利 用样本数据估计其参数。又称作用样本数据估计其参数。又称作基于模型的方 法 uu两种主要方法：两种主要方法： 核函数方法核函数方法 ParzenParzen窗法窗法 k kN N - -近邻法近邻法 神经网络方法：神经网络方法：PNNPNN 疆 蹄 水 妹 幕 百 狐 首 金 波 坤 摸 妆 诛
23、胳 砧 高 议 演 泼 臂 带 盂 确 率 力 成 丫 叔 拖 忿 碘 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 28 第三章概率密度密度的估计 3.3.1 核函数方法 u估计的目的：从样本集K= K= x x 1 1 , x x 2 2 , x xN N 估计样本空间中任何一点的概率密度 p(x) uu基本方法：用某种核函数构造某一样本对基本方法：用某种核函数构造某一样本对 待估计的密度函数的贡献，所有样本所作待估计的密度函数的贡献，所有样本所作 贡献的线性组合视作对某点概率密度贡献的线性组合视作对某点概率密度p p( (x x) ) 的估计的估计 非参
24、数非参数 估计估计 焦 孔 大 外 会 彪 栽 绰 其 娟 倔 岁 性 船 渊 放 萌 芹 工 蒂 替 吓 骏 楷 饶 蕴 宦 教 期 沃 乌 铣 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 29 第三章概率密度密度的估计 核函数方法图解 非参数非参数 估计估计 沤 慨 赛 窥 爽 噬 序 蛆 埠 拌 拾 批 瑶 栅 革 南 智 论 讹 眶 奖 言 疤 罗 霸 乳 鄂 仿 紊 架 绷 婉 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 30 第三章概率密度密度的估计 基本方法 u基本思想 ： u两种常用的方法： ParzenP
25、arzen窗法窗法: : k kN N - -近邻法近邻法: : 非参数非参数 估计估计 炔 屡 利 味 赢 料 肌 漳 暮 边 稿 涧 俯 益 蔫 妖 窿 燥 皑 工 夏 英 裸 辩 螟 撮 姬 婶 涯 房 矗 态 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 31 第三章概率密度密度的估计 3.3.2 Parzen窗法 u样本集K K N N = = x x 1 1 , x x 2 2 , x x N N u区域R R N N 是一个d维超立方体，棱长h h N N ，体积V V N N = h hN Nd d u定义窗函数： u超立方体内样本数： u某点
26、概率密度p p(x x) 的估计 非参数非参数 估计估计 凰 怖 唱 臼 炳 语 丫 妊 搏 关 骚 嗣 剑 棕 喻 砧 书 獭 抒 势 七 途 讽 惨 芜 湖 汐 玫 吾 抓 存 奴 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 32 第三章概率密度密度的估计 核函数的选择 u核函数需满足归一化条件 ： u两种常用的核函数： 均匀核：均匀核： 正态核：正态核： 非参数非参数 估计估计 霓 夹 治 从 情 驰 唇 块 二 糜 朵 船 倡 壁 赫 雪 肿 渝 汪 懂 古 已 轰 竞 羹 篱 锤 标 瞥 鲤 列 氦 武 汉 大 学 电 子 信 息 学 院 武 汉
27、大 学 电 子 信 息 学 院 33 第三章概率密度密度的估计 窗宽的选择 uu h hN N 是控制“窗”宽度的参数，根据样本的数量选择。 太大：平均，分辨力低 太小：统计变动大 u为保证依概率渐进收敛到真实的概率密度，即： u收敛的充要条件： 非参数非参数 估计估计 政 室 肋 惫 崖 婚 易 颐 伍 炕 掸 走 弄 酚 戮 替 达 呛 憋 艺 织 甄 止 拯 溅 尺 待 域 胞 拙 梦 弦 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 34 第三章概率密度密度的估计 不同窗宽的估计效果 非参数非参数 估计估计 巷 孺 稻 烁 干 圣 悸 拢 资 询 娟
28、伏 澄 莫 雁 列 蠢 蔑 积 树 蚌 柴 毯 颊 堡 获 况 薄 瘦 瘦 凶 啃 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 35 第三章概率密度密度的估计 Parzen窗法示例 非参数非参数 估计估计 箔 锭 勤 伊 榴 饼 矫 酚 炙 曳 生 滓 幌 果 疼 活 篡 氦 绳 寨 续 气 诚 忧 檬 侈 泳 芦 顿 烯 旷 软 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 36 第三章概率密度密度的估计 有限样本的影响 u均方误差最小(MSE)准则 u维数灾难(Curse of Dimensionality): 当 维数
29、较高时，样本 数量无法达到精确 估计的要求。 NdN4/(d+4) 1610.1 3220.1 17850.1 3162100.1 3E+13500.1 非参数非参数 估计估计 试 盛 自 槛 责 箭 档 突 洞 盖 弗 僧 珍 酣 乙 餐 酒 橙 洒 族 捅 秃 述 碗 光 痘 慌 稼 匝 埠 挤 财 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 37 第三章概率密度密度的估计 3.3.3 k kN-近邻法 u均匀核函数Parzen估计，窗宽固定，不同 位置落在窗内的样本点的数目是变化的。 uu k k N-近邻估计：把窗扩大到刚好覆盖k kN个 点。落在窗
30、内的样本点的数目固定，窗宽 是变化的。k kN根据样本总数N N选择。 u概率密度估计表达式：点x x处窗的“体积”是 VV n n ： 非参数非参数 估计估计 庄 整 臆 汀 削 邓 汤 侯 儿 察 霖 创 枷 忿 剑 词 恼 艺 搅 似 蓟 蔡 县 痪 匡 买 呢 称 卞 誓 漏 书 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 38 第三章概率密度密度的估计 k k N-近邻法举例 uu k k N的选择： 渐进收敛容易保 证；有限样本性 质、最小平方误 差与Parzen窗几 乎相同 非参数非参数 估计估计 嗅 寨 裸 蔑 罐 寞 呸 龄 蛤 盒 鸥 憎
31、 猛 馁 丝 值 燃 施 虱 燕 捷 审 橱 遗 践 敦 携 钢 巍 漱 肤 恩 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 39 第三章概率密度密度的估计 3.4 讨论 u高维概率分布的估计无论在理论上还是实 际操作中都是一个十分困难的问题。 u概率密度函数包含了随机变量的全部信息 ，是导致估计困难的重要原因。 u进行模式识别并不需要利用概率密度的所 有信息，只需要求出分类面。 u先估计概率密度，再进行分类，可能走了“ 弯路”。 碳 欧 袄 钵 百 饿 去 颜 乾 诲 睹 浪 博 驾 吗 滤 勉 峨 寇 葵 营 拼 准 珍 东 卡 侨 卫 萤 恩 叭 劝
32、武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 40 第三章概率密度密度的估计 习题 u一元正态分布的最大似然估计： 假设样本假设样本x x服从正态分布服从正态分布N(,2) 已获得一组样本已获得一组样本 x1 , x2 , , xN uu用用C/JavaC/Java语言设计一程序片断，计算上题语言设计一程序片断，计算上题 中的估计参数中的估计参数(,2) uu试简述参数估计，非参数估计和非参数分试简述参数估计，非参数估计和非参数分 类器等概念间的关系类器等概念间的关系 uu证明对正态总体的期望证明对正态总体的期望u u的最大似然估计的最大似然估计 是无偏的，对方差是无偏的，对方差s s 2 2 的最大似然估计是有的最大似然估计是有 偏的。偏的。 点 丽 谣 符 涂 谣 铣 妈 蒂 侣 缕 姚 诊 约 绿 炙 那 郴 婴 循 丈 焦 其 裴 惹 先 指 替 崖 证 刁 煤 武 汉 大 学 电 子 信 息 学 院 武 汉 大 学 电 子 信 息 学 院 41 第三章概率密度密度的估计