[理学]马敏030202067小波域的图像建模.doc

《[理学]马敏030202067小波域的图像建模.doc》由会员分享，可在线阅读，更多相关《[理学]马敏030202067小波域的图像建模.doc（44页珍藏版）》请在三一文库上搜索。

1、内蒙古工业大学本科毕业设计说明书学校代码： 10128学 号：030202067 本科毕业设计说明书（ 题 目：小波域的图像建模 学生姓名：马 敏学 院：信息工程学院系 别：自动化系专 业：自动化班 级：自动化03-3班指导教师：肖志云 副教授二 七 年 六 月摘 要小波理论比短时傅立叶分析有更多的优势，可以抽取更多的特征信息。它已经成功地用于图像处理、断点检测、去噪和数据压缩等方面。图像经小波变换后小波系数的统计分布具有非高斯特性，可以用广义高斯模型(GGD)进行描述，或者，也可以用广义拉普拉斯模型来逼近。目前，广义高斯分布在信号处理和图像处理等领域都有广泛的应用。本文从广义高斯概率密度函数

2、及其统计特性出发，给出了GGD形状参数和尺度参数的估计方法，即矩估计法和极大似然估计法。Grouse等提出了一种用高斯混合模型来近似各子带系数的总体分布，这是由于小波分解后大部分小波系数都是小的，而小部分小波系数是大的。在小波域上分别建立大状态和小状态的概率密度分布模型，最后用混合模型拟合总体分布。本文描述了高斯混合模型，并介绍了参数估计的方法，描述最大似然参数估计问题，介绍如何用EM 算法求解最大似然参数估计。首先给出EM 算法的抽象形式，然后研究EM 参数估计方法的一个应用：求高斯混合密度的参数，推导出高斯混合密度参数的迭代公式。在图像处理中，人们观察到的图像常被各种各样的噪声所污染，这种

3、噪声图像不仅不利于观测，而且很难对其进一步处理。本文最后给出了小波域图像建模的应用，阐述了小波去噪的最优准则(贝叶斯)，并分析了利用小波系数建模的常用方法，最后探讨了小波域图像降噪的发展方向。关键词：小波变换；高斯混合模型；广义高斯分布；参数估计；EM算法； 图像去噪AbstractThe wavelet theory, which has more merits than the short Fourier analysis and extracts more characteristic information, is a developed analyzing technique tha

4、t has been successfully applied in many fields, such as image processing, fractal analy- zing, De-noise, data compression, etc.The statistics of image wavelet coefficients is non-Gaussian, it can be described by Generalized Gaussian Distribution (GGD), also can be approximated by Generalized Laplaci

5、an. It is widely applied in the fields of signal processing, image processing and so on. In the paper, we discuss the estimate method of shape parameter and scale parameter according the probability density function of Generalized Gaussian Distribution and its statistic, such as maximum likelihood p

6、arameter estimation. Because of the coefficients which is resolved by wavelet from image are mainly small, Grouse proposed that the overall distribution of coefficients of every subband can be approximated by the Gaussian Mixture Model. I introduce the Gaussian Mixture Model and the method of parame

7、ter estimation in chapter two. We describe the maximum likelihood parameter estimation problem and how the EM algorithm can be used for its solution. First, we introduce the abstract form of the EM algorithm.Then we develop the EM parameter estimation procedure for one application: finding the param

8、eters of a mixture of Gaussian densities. We derive iterative formula of the parameters of a mixture of Gaussian densities.The figures are always polluted by variant noises, these figures which are hard to be observed, can not easily to be explored by following. At the last of this paper, there are

9、the apply for bringing up image models. It gives the optimization criterion of wavelet domain image denoising. Then, we describe the methods of image denoising, and analyze the building model methods capitalized on wavelet coefficients. At the end, the future trend of wavelet domain image denoising

10、is pointed out.Keywords：Wavelet transform; gaussian mixture model; generalized gaussian distribution; parameter estimation; EM-algorithm; image denoising目 录引 言1第一章 小波分析理论基础21.1 小波理论的发展21.2 小波分析31.2.1小波变换的定义31.2.2小波变换的特点41.3 离散小波变换51.4 多分辨率分析61.5 图像的小波变换7第二章 基于小波域的高斯混合模型102.1 小波域的图像建模102.2 小波系数分析132.

11、3 高斯混合模型142.4 算法描述152.4.1 EM算法152.4.2 混合密度参数估计162.5 建模仿真20第三章 广义高斯模型的研究233.1 广义高斯模型介绍233.2 图像子带小波系数的统计特性与GGD参数估计243.3 仿真结果27第四章 小波域统计模型在图像去噪中的应用294.1 小波域图像降噪概述294.2 小波域图像去噪算法304.3 基于小波域混合模型图像降噪算法314.3.1 小波系数的统计模型314.3.2 基于小波混合模型图像降噪算法324.3.3 图像降噪324.4 小波域图像去噪的发展方向34结论35参考文献36谢辞3739引 言近年来,随着小波理论的应用日益

12、成熟,由于其具有良好的时频局部化特性,因而在图像去噪、分割和压缩等图像处理领域得到广泛的应用。在小波域图像处理中,如何准确地刻画图像的小波系数,起着至关重要的作用,因为小波系数统计模型能准确地反映图像的结构。小波函数具有较好的时频特性，同时其变尺度特性使得小波变换对信号具有一种集中的能力，如果一个信号的能量在小波变换域集中于少数系数上，那么相对来说这些系数的取值必然大于小波变换域内能量分散于大量小波系数上的信号。在小波领域图像建模已经有了一定的发展，基于小波域的统计模型其算法的基本思想是把统计模型作为小波系数的先验概率模型然后利用这个先验信息在贝叶斯框架下对原始图像进行估计。Simoncell

13、i 等人把原始图像小波系数的先验模型建模为广义拉普拉斯模型Moulin 等人把原始图像小波系数的先验模型建模为广义高斯模型Synyavskyy等人把先验模型建模为Student分布模型Crouse等人用隐马尔可夫树(HMT)模型进行降噪Sendur 等人用一种双变量收缩函数模型进行降噪Portilla 等人则通过一种高斯尺度混合模型对图像进行降噪Mihcak等人提出了一种局部的空间自适应统计模型并将其应用到图像降噪中这些先验模型有的是尺度内模型有的是尺度间模型。对于一般的自然图像,在局部区域,小波系数可以很好地利用高斯混合模型来逼近。对于自然图像经小波变换后其小波系数呈非高斯性即小波分解后各子

14、带系数总体上服从非高斯分布, 这种分布类似于一种广义高斯分布,或用广义拉普拉斯分布来逼近以这两种分布作为图像的先验概率模型应用于图像降噪问题,取得了一定的效果,但这些模型是全局概率模型,不具有局部自适应能力。目前在小波域上进行图像建模已经有了广泛的应用例如图像去噪并且小波域去噪方法已成为图像去噪的重要研究方向,但大多数文献仅对高斯噪声去噪进行了广泛的研究,而对非高斯噪声去噪的研究还远远不够。目前国内外已开始转向这一领域,但是如何将对高斯噪声去噪的研究成果推广到非高斯噪声的去噪,仍然是个难点。第一章 小波分析理论基础本章介绍一些小波理论的基础知识，为更容易地对本课题的理解做准备。主要内容有小波变

15、换的定义和性质，离散小波变换及其实现。1.1 小波理论的发展傅里叶变换一直是信号处理领域中最完美、应用最广泛、效果最好的一种分析手段。但傅里叶变换只是一种纯频域的分析方法，它在频域的定位是完全准确的（即频域分辨率最高），而在时域无任何定位性（或分辨能力），即傅里叶变换所反映的是整个信号全部时间下的整体频域特征，而不能提供任何局部时间段上的频率信息。实际中，对于一些常见的非平稳信号，如音乐信号，在不同时间演奏不同音符，其频域特性都随时间而变化，称为时变信号。对这类信号进行分析，通常需要提取某一时间段（或瞬间）的频域信息或某一频率段所对应的时间信息。因此要寻求一种具有一定的时间和频率分辨率的基函数

16、来分析时变信号，一直是信号处理界人士长期以来努力的目标3。为了研究信号在局部时间范围的频域特征，1946年Gabor提出了著名的Gabor变换，之后又进一步发展为短时傅里叶变换（STFT又称为加窗傅里叶变换）。目前，STFT已在许多领域获得了广泛的应用。但由于STFT的定义决定了其窗函数的大小和形状均与时间和频率无关而保持固定不变，这对于分析时变信号来说是不利的。高频信号一般持续时间很短，而低频信号持续时间较长，因此，我们期望对于高频信号采用小时间窗，低频信号采用大时间窗进行分析。而STFT在处理这一类问题时已无能为力了3。此外，在进行数值计算时，人们希望将其函数离散化，以节约计算时间及存储量

17、。Gabor基无论怎样离散，都不能构成一组正交基，给数值计算带来不便。这些不足之处，恰恰是小波变换的特长所在。小波变换不仅继承和发展了STFT的局部化的思想，而且克服了窗口大小不随频率变化，缺乏离散正交基的缺点，是一种比较理想的进行信号处理的数学工具。在小波变换的系统理论发展起来以前，其基本思想已经在许多领域的应用中所体现，如Burt在1982年提出的金字塔式图像压缩编码概念，通信及语言处理中的子带编码，数字信号处理中的多采样率滤波器组，计算机视觉中的多分辨率分析等，这些方法都可以用小波变换作为理论基础。小波变换的思想来源于伸缩与平移方法。小波分析方法的提出，最早是1910年Haar提出的规范

18、正交基。1938年，Littlewood-Paley对傅里叶级数建立了L-P理论，1965年Galderon发现了再生公式，它的离散形式已接近小波展开。1981年Stormberg对Haar系进行了改进，证明了小波函数的存在性。1982年Battle在构造量子场论中采用了类似于Galderon再生公式的展开形式。小波概念提出之后，逐渐引起广大数学家、观察学家、物理学家甚至企业家的重视，并不断将小波分析的理论发展与实际应用推向高潮。之后，小波变换作为信号处理的一种手段，逐渐被越来越多领域的理论工作者和工程技术人员所重视和应用，并取得了显著的效果。目前小波在许多领域得到了广泛应用。如J.Morle

19、t等将小波用于地震信号的分析与处理；S.Mallat将二进小波变换用于图像的边缘检测、图像压缩与重构；M.Farge将连续小波变换用于涡流的研究；M.V.Wickerhauser将小波包的理论用于图像的压缩；M.Frisch等将小波变换用于噪声中的未知瞬态信号等。总之，小波变换作为一种数学理论和方法在科学技术界引起了越来越多的关注和重视。在今后数年中，它将成为科技工作者经常使用的又一锐利的数学工具，会极大地促进科技及工程应用的各个领域的新发展。1.2 小波分析小波分析或多分辨分析是傅立叶分析史上里程碑式的进展，近年来在法、美、英等国家成为众多学科共同关注的热点。它被看成是调和分析这一数学领域半

20、个世纪以来工作的结晶，其基础理论知识涉及到泛函分析、傅立叶分析、信号与系统、数字信号处理等诸方面，同时具有理论深刻和应用十分广泛的工程的双重意义1。1.2.1小波变换的定义小波变换的概念是1984年法国地球物理学家J.Morlet分析处理地球勘探资料时提出来的。小波，顾名思义就是小的波形。所谓“小”即是指它具有衰减性，而被称为“波”是因为它的波动性，其振幅具有正负相间的震荡形式。小波分析方法是一种窗口大小（即窗口面积）固定但其形状可改变，时间窗和频率窗都可改变的时频局域化分析方法，即在低频部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，所以被誉为数

21、学显微镜。正是这种特性，使小波变换具有对信号的自适应性。小波变换的含义是：把一称为基本小波的函数（小波母函数）做位移后，再在不同尺度下与待分析信号做内积： （1-1）等效的频域表示是： （1-2）式中，分别是，的傅里叶变换。小波变换的时频窗口特性与短时傅立叶的时频窗口不一样，因为仅仅影响窗口在相平面时间轴上的位置，而不仅影响窗口在频率轴上的位置，也影响窗口的形状。这样小波变换对不同的频率在时域上的取样步长是可调节的，即在低频时小波变换的时间分辨率较低，而频率分辨率较高；在高频时小波变换的时间分辨率较高，而频率分辨率较低，这正符合低频信号变化缓慢而高频信号变化迅速的特点。这便是它优于经典的傅立叶

22、变换和短时傅立叶变换的地方，从总体上来说，小波变换比短时傅立叶变换具有更好的时频窗口特性4。1.2.2 小波变换的特点小波分析是Fourier分析、调和分析和数值分析等数学分支的完美结合，它具有许多其它的处理手段所不具备的优良特性。原则上说，凡是传统上使用分析的地方，都可以用小波分析代替。小波分析在时域和频域同时具有良好的局部化特性，而且对高频采用逐渐精细的时域和空域取样步长从而可以聚焦到分析对象的任何细节。小波变换具有以下特点和作用：（1）具有多分辨率（也叫多尺度）的特点，可以由粗到细地逐步观察信号；（2）我们也可以把小波变换堪称用基本频率特性为的带通滤波器在不同尺度下对信号作滤波。由于傅立

23、叶变换的尺度特性，如果的傅立叶变换是，则的傅立叶变换为，因此这组滤波器具有品质因数恒定，即相对带宽（带宽与中心频率之比）恒定的特点。（3）适当的选择基本小波，使其在时域上为有限支撑，在频域上也比较集中，便可以使小波变换在时、频两域都具有表征信号局部特征的能力，这样就有利于检测信号的瞬态或奇异点4。总之，小波变换作为一种数学理论和方法在科学技术和工程界引起来越来越多的关注和重视。尤其在观察应用领域，特别是在信号处理、图像处理、模式识别、语言识别、量子物理、地震勘测、流体力学、电磁场、CT成像、机器视觉、机械状态监控与故障诊断等领域被认为是今年来在工具和方法上的重大突破。1.3 离散小波变换在实际

24、应用中，为了便于计算机进行分析、处理，信号都要离散化序列，和也必须离散化，成为离散小波变换，记为DWT。在连续变换的尺度和时间值下，小波基函数 具有很大的相关性，所以一维信号作小波变换成二维的WT后，它的信息是冗余的。在理想情况下，离散后的小波基函数 满足正交完备性条件，此时小波变换后的系数没有任何冗余度，这样大大地压缩了数据，并且减少了计算量。另外在很多情况下，例如音频信号或视频信息等都是经过采样后得到的一些离散数据，因此我们也将上述连续变换离散化，以利于对离散信号进行处理。离散小波变换(DWT)：针对尺度参数和平移参数可以对连续小波和连续小波变换离散化。（1）尺度的离散化。目前通行的方法是

25、对尺度进行幂数集离散化，即令取 。此时对应得小波函数是 。 （2）位移的离散化。通常对进行均匀离散取值，以覆盖整个时间轴。为了防止信息的丢失，我们要求采样间隔满足Nyquist采样定理，采样率大于等于该尺度下频率通带的二倍。在尺度下，由于的宽度是的倍，因此采样间隔可以扩大倍，同时也不会引起信息的丢失。改写成: 记为 (1-3)离散小波变换定义为： (1-4)而离散小波变换系数则可表示为 (1-5)然而，怎样选择和，才能够保证重构信号的精度呢？显然，网络点应尽可能密(即和尽可能小)，因为如果网络点越稀疏，使用的小波函数和离散小波系数就越少，信号重构的精确度也就会越低。上面是对尺度参数和平移参数进

26、行离散化的要求。为了使小波变换具有可变化的时间和频率分辨率，适应待分析信号的非平稳性，我们很自然地需要改变和的大小，以使小波变换具有“变焦距”的功能。换言之，在实际中采用的是动态的采样网格。最常用的是二进制的动态采用网格，即,每个网格点对应的尺度为，而平移为。由此得到的小波序列为 称为二进小波。二进小波对信号的分析具有变焦距的作用。假设有一个放大倍数它对应为观测到信号的某个部分内容。如果想进一步观看信号更小的细节，就需要增加放大倍数即减小值；反之，若想了解信号更粗的内容，则可以减小放大倍数，即加大值。在这个意义上，小波变换被称为数字显微镜。二进小波介于连续小波和离散小波之间，它只是对尺度参量进

27、行离散化，而在时间域上的平移量仍保持连续变化，因此二进小波变换仍具有连续小波变换的时移共变性，这是它较之离散小波变换所具有的独特优点4。因此它在图像处理方面十分有用。1.4 多分辨率分析多分辨率分析，又称为多尺度分析是建立在函数空间概念上的理论，但其思想的形成来源于工程。其创建者S.mallat是在研究图像处理问题时建立这套理论的。基本思想是将中的函数表示为一系列的逐级近似，而各级近似对应不同的分辨率（或尺度）。每级逼近都是用某一低通平滑函数对做平滑的结果，在逐级逼近时平滑函数也做逐级伸缩。多分辨率分析是指满足如下条件的中的一系列子空间1。1）单调性：对任意有。2）逼近性：。3）伸缩性：，伸缩

28、性体现了尺度的变换、逼近正交小波函数的变化和空间的变化具有一致性。4）平移不变性：对任意，有。5）Riesz基存在性：存在，使得构成的Riesz基。1.5图像的小波变换1. 对图像数据的行和列做小波变换。在下图的三级小波分解示意图中，L表示低通滤波器，H表示高通滤波器。就信号的小波多分辨率分解的特点而言，信号的小波变换是将信号频谱按倍频程分割，而小波变换结果是原始信号在一系列倍频程划分的频带上的多个高频子带数据和一个低频子带数据。对于三级小波分解后的图像数据而言，高频子带就是HHk，LHk，HLk（k=1，2，3）三个频带序列，低频子带则是最后的LL3频带。其中，HLk子带是通过对一级低频图像

29、数据在水平方向（行方向）上低通滤波后，再经垂直方向（列方向）上高通滤波而得到的。因此HLk子带中包括了更多的垂直方向上的高频信息，相应地在 LHk子带中主要包括原始图像水平方向的高频信息，而 HHk子带是图像中对角线方向高频信息的体现。而且，图像数据的每一级小波分解总是将上一级低频数据划分为更精细的高频数据。在多分辨率分解的第三层中，最低频子带 LL3包含原始图像的最低分辨率信息，而HL3，LH3和HH3是LL3的精细图像信息，第三层图像的 HL3， LH3和 HH3包含第二层参考图像（HL2LH2和 HH2）的粗糙信息，而第二层图像（HL2，LH2和HH2）包含第一层参考图像（HL1，LH1

30、和HH1）的粗糙信息。基于小波变换的图像多分辨率分解特点表明，它具有良好的空间方向选择性，与人的视觉特性十分吻合。 图1-1 图像三级小波分解示意图2. 直方图变换。直方图是图像的一种统计表达，是图像的重要统计特性，对一幅灰度图像，其灰度统计直方图反映了该图中的不同灰度级出现的统计情况。按照随机过程理论，图像可以看作是一个随机场，因此具有相应的统计特征，其中最重要的特征是灰度密度函数。通常图像的灰度密度函数与像素所在的位置有关，例如设图像在点处的灰度分布密度函数为,那么图像的灰度密度函数为5：其中D是图像的定义域，S是区域D的面积。一般地讲，要精确地得到图像的灰度密度函数是比较困难的，在实际中

31、可以用数字图像灰度直方图来代替。灰度直方图是一个离散函数，它表示数字图像每一灰度级与该灰度级出现频率的对应关系。假设一幅数字图像的像素总数为N,有L个灰度级，具有第k个灰度级的灰度的像素共有个。则第k个灰度级或者说出现的频率为： MATLAB图像处理工具箱提供了函数来计算和显示灰度图像的直方图，图像trees及其灰度统计直方图可表示为图1-2, 其中横轴表示不同得灰度级，而纵轴表示了图像中各个灰度级像素的个数。密度函数或直方图虽然不能直接反映出图像的内容，但对它进行分析可以得出图像的一些有用特征，这些特征能反映出图像的特点。例如当图像对比度较小时，它的灰度直方图只在灰度轴上较小的一段区间上非零

32、，较暗的图像由于较多的像素灰度值低，它的直方图的主体出现在低值灰度区间上，其在高值灰度区间上的幅度较小或为零，而较亮的图像情况正好相反。看起来清晰柔和的图像，它的直方图灰度分布较均匀。通常一幅均匀量化的自然图像的灰度直方图在低值灰度区间上频率较大，这样的图像较暗区域中的细节常常看不清楚。为使图像变得更加清晰，通常可通过变换使图像的灰度动态范围变大，并且让灰度频率较小的灰度级经变换后，其频率变得大一些，使变换后的图像灰度直方图在较大的动态范围内区域均化5。 图1-2 灰度图像及其直方图第二章 基于小波域的高斯混合模型 小波变换具有很好的时频局域化特性，它可以改变时间窗和频率窗的大小，在图像处理中

33、，可以分析到图像的局部特性。图像经小波变换后，小波系数分为大、小两类，在子带图像中较亮的部分小波系数大，较暗的地方小波系数小，根据不同类小波系数的统计特性分别用不同的模型进行拟合。本章将描述的是一种用高斯混合模型来逼近图像小波系数的方法，以及基于EM算法的混合模型参数估计。2.1 小波域的图像建模在图像处理应用中，如果我们知道图像细节信息的分布特性，就可以更简单的对其进行进一步处理。在第一章我们介绍了图像直方图的概念，它是图像的一种统计表达，是图像的重要统计特性，对一幅灰度图像，其灰度统计直方图反映了该图中的不同灰度级出现的统计情况。我们希望对一幅图像进行边缘检测能得到比较简单的分布函数或是有

34、规律的分布特性。现在对任意的自然图像进行直方图变换，我们看到它的统计特性比较复杂且无规律可循，如图2-1是对Lenna和Elaine的灰度直方图变换。但是将其小波变换之后，图像分解为高频分量和低频分量，高频子带体现了图像的细节信息，低频子带体现了图像的粗糙信息，这时我们再对子带小波系数进行概率统计，可得到比较规则的统计直方图，从而用适当的模型进行拟合其统计特性。如图2-2是图像经小波分解后的小波系数直方图。我们可以看到，每个子带在小波域上都有相似的分布特性。事实上，大多数的自然图像都具有类似的性质，经小波变换后各子带小波系数的统计特性具有极强的规律性和相似性，所以在小波域上对图像模是比较容易的

35、。 aLenna原始图像 b lenna 灰度直方图 celaine原始图像 delaine灰度直方图 图2-1 原始灰度图像的直方图 a1lenna 水平分量 b1elaine水平分量 a2Lenna垂直分量 b2elaine垂直分量 a3Lenna对角分量 b3elaine对角分量 图2-2 小波分解子带系数直方图2.2小波系数分析 观测图像经小波变换后其小波系数是稀疏的，这意味着绝大多数小波系数是“小”的，而小部分小波系数集中了图像的主要信息，这也即小波变换的能量聚集特性。因此，可以将每个子带的小波系数分成两类：其中一类噪声占主导地位，另一类则主要是图像的重要信息。以belmont图像为

36、例，进行3级小波分解，得到各级小波分解系数和不同分辨率的子图像(如图2-3所示)。不同分辨率的子图像对应的频率是不相同的。从各子图像可以看出，高分辨率(即高频)子图像上大部分点的数值都接近于零，越是高频这种现象越明显。图中亮的部分表示系数为“大”的一类，暗的部分表示系数为“小”的一类。 图2-3 原始图像及其三级小波分解图像 考虑到小波系数中含有被分解图像的全部能量信息，因此可通过小波系数来间接地估计各层子图像所具有的能量情况。为实现这一目的，今构造能量评价公式如下: （2-1）式中，为第子图像的能量；和分别为第二子图像小波系数和全部小波系数的2范数，即： （2-2） 和 （2-3）其中，表示

37、小波系数矩阵中的第个元素，表示小波系数矩阵的行数和列数。下面给出均值和方差的公式。均值即是矩阵元素的平均数，其公式为： （2-4）均值表示数据的集中位置。 方差是描述数据取值分散性的一个度量，它是数据相对于均值的偏差平方的平均其公式如下： （2-5）其中，和的含义同上。2.3高斯混合模型Crouse 等提出了一种用高斯混合模型来近似各子带系数的总体分布,其主要基于小波分解后大部分小波系数都是小的,而少部分小波系数是大的,即能量聚集性。已经有实验发现,对于一般的自然图像,在局部区域,小波系数可以很好地利用高斯混合模型来逼近。图2-4所示反映了图像经小波分解的一个子带系数的高斯混合统计特性。 图2

38、-4 图像小波分解垂直分量及其高斯混合统计特性假定我们有一系列观察值由混合分布产生，该分布由k个独立同方差的高斯分布构成,即有个成分。首先选取一个成分然后基于该成分产生一个样本从而得到数据点。设定有N个点组成了指定的数据集，=，将数据集在d 维空间中的对应的点作为一定分布的样本值，则此分布可由 k个高斯密度函数的加权平均所表示的概率密度函数描述如下： （2-6）其中也即是多个高斯密度函数的有限组合，称为高斯混合密度或高斯混合模型（GaussianMixtureMode） ,简记为GMM。模型中x表示随机向量,d是向量x的维数，是参数向量集合。是混合模型中基模型高斯密度函数的权重，为均值向量，为

39、协方差阵（正定矩阵）。2.4算法描述 通常，我们是通过极大似然函数对混合模型进行参数估计的。而对于混合模型进行极大似然估计的一个很好的工具就是EM 算法。EM 算法又称期望最大(Expectation Maximization) 算法，最初由Dempaster,Laird 和Rubin 提出的。它是一种在观测数据为不完全数据时求解极大似然估计的迭代算法。大大降低了极大似然估计的计算复杂度。EM 算法自Dempster 等 1977 年提出以来,已成为获得最大似然估计的一种有效算法,当涉及到的一些随机变量不可观测,即有缺失数据时,用最大似然估计参数,EM 算法提供了一种直观的方法。2.4.1 E

40、M算法EM 算法有两个主要的应用：一个是用于数据确有缺失情况下的参数估计，另一个应用是通过假定存在另外一些缺失参数(这些参数可能是不存在的或隐藏的)，这样可以大大简化似然函数。后一种在统计自然语言领域的应用更为普遍。 对于最大似然估计问题,这里有取决于参数集的密度函数7。如果完全数据向量X 是可观测,假设这些向量独立同分布,因此样本密度为这里， 称为给定数据的似然函数的对数似然函数是在最大似然问题中,目标是找使最大。即： 假设完全数据,这里表示观测到的不完全数据, 表示缺失数据,这时联合密度函数为：用这个新的密度函数,定义完全数据似然函数这里缺失数据是随机变量。 EM 算法首先是找完全数据对数

41、似然函数的期望值,即对于给定的观测数据和当前参数估计,求未知数据Y 的期望值。定义为： （2-7）这里是当前参数估计, 是最优化使增大的新参数。对于高斯混合分布，我们用EM算法对混合密度参数估计具体步骤：E-步：计算，这里。M-步：在中找这样的使。E步和M步交替地重复,直到这里规定是很小的量。2.4.2 混合密度参数估计9混合密度参数估计问题是EM 算法广泛应用的一种。假设概率模型为： 这里参数是且每个是依赖于参数的密度函数。对数据的密度，不完全数据对数似然表达式为：因为包含和的对数,最优化是困难的。如果为不完全的，假设不可观测数据 存在, 的值使得分量密度产生一个数据项,似然表达式被大大简化

42、。即对每一i,如果样本由混合分量产生,则。如果知道的值,对数似然表达式变为：当给定分量密度的特殊形式,使用多种技术能达到优化。问题是在于不知道的值。 但是,如果假设是随机向量,则能继续进行。首先,必须产生一个未观测到数据分布的表达式。关于混合密度,假设是似然函数的参数。 对每个i和j ,给定,容易计算。 另外,混合参数被认为是每个混合分量的先验概率,即因此,用贝叶斯公式,能够计算：和这里，是未观测数据独立抽取的事例，在这里假设隐变量存在且给出分布的初始参数，式（2-6）有形式: （2-8） 这时大大简化。首先注意对 （2-9）因为。利用公式2-9把式2-8写为： （2-10）为了最大化这个表达

43、式，在此分别最大化包含和的项，这两项相互独立。求得表达式，引入拉格朗日乘子，在约束条件下，求的偏导，令其等于0有：对于给定的分布，的表达式往往是另外一些参数的函数。例如，如果假设维高斯分量分布有均值和协方差阵，这时，从而 （2-11）两边取对数代入式（2-10）右边得 （2-12）求式（2-12）关于的导数且令它等于0得 求，式（2-12）可写为： =这里。对求导得 ，。令导数为0，即，于是。从而得到即 总之，在旧参数已知的情况下，新参数的估计由下面式子给出： （2-13） （2-14） （2-15）上面的方程同时完成了EM算法的期望步和最大步。这个迭代公式经过若干次迭代，直至收敛，从而完成了高斯混合密度的参数估计。 以上介绍了如何用EM算法求解最大似然参数估计。给出了算法的抽象形式，应用在高斯混合密度的参数估计，推倒出高斯混合密度参数的迭代公式。2.5建模仿真本节就前面所讲的基于EM算法的高斯混合模型，以图像(大小为512512)Lena为例，作仿真结果。用MATLAB语言求概率直方图和相应的高斯混合模型参数，再画出直方图和混合高斯分布曲线。读入图像Lena，并对其用db8小波进行小波变换。求出混合模型参数画出分布曲线如下图： a原始图像 b高频子带水平分量h1的混合模型 c高频子带垂直分量v1的混合模型 d高频子带对角分量d1的混合模型