《图像处理ppt课件.ppt》由会员分享，可在线阅读，更多相关《图像处理ppt课件.ppt（63页珍藏版）》请在三一文库上搜索。
1、图像处理,1,Global Contrast based Salient Region Detection,基于全局对比度的显著性区域检测,图像处理,2,视觉显著性的提出,基于视觉注意的显著性区域检测对于图像分析过程有着非常重要的意义。注意是人类信息加工过程中的一项重要的心理调节机制。能够对有限的信息加工资源进行分配，使得感知具有选择能力。如果能将这项机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的区域，这样必将极大的提高现有的图像处理分析方法的工作效率，显著性区域检测正是在这个基础上提出并发展起来的。,图像处理,3,可靠的视觉显著性估计使得在没有先验知识的情况下也能够对图像
2、进行适当处理。因此，视觉显著性估计仍然是许多计算机视觉任务的重要步骤，其中包括：图像分割、目标识别、自适应压缩、内容敏感图像编辑、图像检索等。 我们提出了一种基于区域对比度的视觉显著性区域检测算法。 又进一步提出了基于该显著性图的图像中视觉显著性区域自动分割方法。（正确率=90%，召回率=90%）,图像处理,4,显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，并且是由颜色、梯度、边缘、边界等图像属性所致。 视觉显著性和我们如何感知、处理视觉刺激紧密相关，并且正在被包括认知心理学、神经生物学和计算机视觉在内的多个学科进行研究。,图像处理,5,Treisman和Gelade,Koch和Ull
3、man的早期工作，以及Itti，Wolfe等人的视觉注意理论提议将视觉注意机制分为两个阶段： 阶段一：快速的、下意识的、自底向上的、数据驱动的显著性提取 阶段二：慢速的、任务依赖的、自顶向下的、目标驱动的显著性提取。,图像处理,6,基于一下观察，提出了提取高分辨率的全局显著性图像的分析方法：,基于全局对比度的方法倾向于将大范围的目标和周围环境分离开。 全局的考虑可以为图像中相似区域分配一个相近的显著性的值，并且可以均匀的突出目标。 一个区域的显著性，主要是由他和周围区域的对比度决定，相距很远的区域起的作用很小。 为了能够适应大规模图像集处理和高效的图像检测与分类的应用需求，显著图检测算法应该具
4、有简单快速的特点。,图像处理,7,图像处理,8,基于直方图统计的对比度（HC）,生物视觉研究关于视觉显著性的观察认为，视觉系统对视觉信号的对比度是很敏感的。据此，我们基于输入图像的颜色统计特征提出了基于直方图对比度（Histogram Contrast, HC）的图像像素显著性值检测方法。具体来说，一个像素的显著性值用它和图像中其它像素颜色的对比度来定义。,图像处理,9,图像处理,10,具体来说，一个像素的显著性值用它和图像中其它像素颜色的对比度来定义。例如:图像 中像素 的显著性值定义为：,图像处理,11,按照像素顺序展开为一下形式：,图像处理,12,我们可以看到，由于忽略了空间关系，在这种
5、定义下，具有相同颜色值的像素具有相同的显著性值。因此我们可以对上式进行重排，使得具有相同颜色值的像素归到一起，得到每个颜色的显著性值：,图像处理,13,基于直方图的加速 加速的关键在于能够减少图像像素颜色的总数。用全色彩空间来代替仅用亮度的方法。为了减少需要考虑的颜色数目，我们先将每个通道的颜色量化得到12个不同的值，这就将颜色数量减少到1728。考虑到自然图像中的颜色只占据整个色彩空间很小的一部分，我们可以将出现率较小的颜色丢掉以减少色彩数目选择高频出现的颜色。,图像处理,14,图像处理,15,颜色空间平滑 虽然我们可以用颜色量化后的颜色直方图来高效计算颜色对比度，但是量化本身可能是会产生瑕
6、疵。为了能够减少这种随机性给显著性值计算带来的噪声，我们用平滑操作来改善每个颜色的显著性值。每个颜色的显著性值被替换为相似颜色显著性值的加权平均。,图像处理,16,我们选择m=n/4个最近邻颜色来改善颜色c的显著性值，见公式： 其中 归一化因数由以下公式得到：,图像处理,17,相似的直方图区间在平滑过后会非常接近，这就表明相似的颜色非常有可能分配到相似的显著性值，因此减少了量化的瑕疵。,图像处理,18,实现细节 为了将颜色区间量化为1728种不同的颜色，我们统一将每个颜色的通道划分为12个等级。虽然颜色量化在RGB颜色空间进行，但为了颜色距离计算与人类感知更加符合，我们在L*a*b*颜色空间来
7、测量颜色距离。实验结果表明，最佳结果是在RGB颜色空间量化，在L*a*b*颜色空间测量距离得到的。,图像处理,19,基于区域的对比度（RC）,人们会更加注意到图像中和周围物体对比度非常大的区域。除了对比度之外，空间关系在人类对比度方面也起到非常大的作用。相邻区域的高对比度比很远区域的高对比度更容易导致一个区域引起视觉注意。在计算像素级对比度时引进空间关系计算代价会非常大，我们引入一种对比度分析方法：区域对比度（Region Contrast, RC）。,图像处理,20,用稀疏直方图比较来计算区域对比度 用基于图的图像分割方法将输入图像分割成若干区域，然后为每个区域建立颜色直方图。对每个区域 ，
8、我们通过测量它与图像其它区域的颜色对比度来计算它的显著性值，,图像处理,21,两个区域 和 的颜色距离为：,图像处理,22,图像处理,23,空间加权区域对比度 通过在显著性值中引进空间权值，我们将空间信息加入进来，增加区域的空间影响效果。近邻的区域增大影响，较远的区域减少影响。特别地，对任意区域 ，基于空间加权区域对比度的显著性定义为：,图像处理,24,基于全局对比度的方法和其它方法的比较,依据以下几个方面来选择其它方法进行对比： （1）引用数（IT和SR） （2）较新的方法（GB，SR，AC，FT and CA） （3）多种类（IT为生物驱动，MZ为纯计算，GB为两者混合，SR在频域进行处理
9、，AC and FT输出全分辨率显著性图） （4）和我们方法最接近的（LC）,图像处理,25,图像处理,26,为了全面测试我们提出方法的准确性，我们用了两种不同的客观比较方法进行试验 第一个实验：固定阈值分割 第二个实验：显著性分割,图像处理,27,固定阈值分割 得到显著性物体的二值分割的最简单方法就是设定一个 的阈值。为了可靠的比较多样的显著性检测方法高亮显著性物体的效果，我们将阈值 设定为在0到255之间变化。,图像处理,28,图像处理,29,图像处理,30,显著性分割 在已有工作中，显著性图以被用于非监督物体分割：Ma和Zhang通过在显著性图上进行模糊区域增长来找到矩形显著地区域；Ko
10、和Nam在图像线段特征上训练支持向量机，然后将这些区域聚类来提取显著性物体；Han等人用颜色纹理边缘特征建立马尔可夫随机场模型，用显著图的种子值来增长显著性物体区域。最近，Achanta等人先通过mean-shift分割得到图像区域，然后在图像区域内对显著性值进行平均化，再通过识别平均显著性值大于整个图像平均显著性值得2倍的图像区域来确定显著性区域。,图像处理,31,迭代应用CrabCut来改善二值化显著性图像，我们用一个固定阈值二值化后的显著性图来得到显著性分割，并用这个显著性分割来自动地进行CrabCut初始化。对于这个阈值，我们经验型的选择固定阈值实验中与95%召回率对应的阈值。,图像处
11、理,32,初始化之后，我们迭代运行CrabCut来改进显著性分析结果，在每一次迭代后，用膨胀和腐蚀操作得到的新的Trimap以进行下一次迭代。,图像处理,33,基于内容感知的图像缩放 在敏感的图像缩放中，显著性图像经常用来指定图像的相对重要区域。我们用提取的显著性图像进行了图像缩放实验。该方法通过变形能量将变形分配到相对非显著性区域，同时保持全局和局部的图像特征。,图像处理,34,图像处理,35,非真实感渲染 艺术家们经常对图像抽象并突出有意义的部分掩盖非重要区域。受此现象启发，一系列用显著性值来进行非真实感渲染的方法产生并产生了有趣的结果。将我们的方法和最近的杰出的显著性检测方法用在NPR技
12、术上进行比较。RC-maps提供更好的掩模，这可以帮助NPR方法更好的保留重要图像部分以及区域边界的细节，同时平滑其它部分。,图像处理,36,RC显著图效果更好，使得风格化绘制保持了重要部分的细节。,图像处理,37,总结,基于全局对比度的显著性计算方法,基于直方图对比度HC,基于空间信息增量的区域对比度RC,特点,速度快 细节精确,特点,产生高质量显著性图像 计算效率较低,图像处理,38,Saliency Detection: A Spectral Residual Approach,显著性检测：谱残差法,图像处理,39,这篇文章提出了一个图像视觉显著性的简单计算模型，这个模型和Irri提出的
13、模型是两个截然不同的模型，Irri模型对于图像视觉显著性主要关注整幅图片突出的部分，通过各种特征的融合提取显著性图，而这个模型一上来关注的点就不在一张图片里突出的地方，而是背景，观察是否大部分图片的背景在某个空间上都满足什么变化，最后剔除背景，自然就只剩下图片突出的部分了。,图像处理,40,一般的模型都是将显著性问题转化为目标特殊性质检测的问题，面对不可预测、无数的视觉模式类别，我们需要一个通用的显著性检测系统。如果要提出一个通用的显著性检测系统，那么根据以往的模型，就必须找到目标通用的特征，但是这基本上是不可能的事，每个目标都有自己与众不同的特性。,图像处理,41,谱残差模型,Barlow提
14、出的有效编码假说指出，感知系统的信息处理过程与外界信号的统计特性密切相关。初级感知系统的作用就是用来去除输入信号的统计冗余。也就是说，大脑之所以能够对外界环境自适应，是因为复杂的外界刺激存在冗余，而大脑的神经元能够有效地去除这些冗余，从而可以利用较少的资源尽可能有效地表达更多的信息。,图像处理,42,从信息论的角度来看，有效编码假说将图像信息H(Image)分为两部分： H(Innovation)表示突出的部分 H(Prior Knowledge)则表示冗余的信息,图像处理,43,Log频谱表示 自然图像的统计特性具有变换不变性：即将图像从原来的空间坐标变换到频率坐标系中，图像在空间中具有的统
15、计特性在频域中仍然保留，这种不变性恰好保证了采用能量谱来刻画自然图像空间相关性的可靠性。,图像处理,44,在自然图像的统计特性中尺度不变性是最经典也是研究最广泛的特性，所以这种特性也被称为1/f法则，即自然图像集合的平均傅里叶谱的幅值A(f)服从下式的分布,图像处理,45,图像处理,46,Log-log谱不利于分析单个图像，这是由于单个图像中不易发现尺度不变性以及log-log谱的数据分布不均衡（低频部分数据跨度大，高频部分数据汇集）所以本文采用log谱表示图像。,图像处理,47,图像处理,48,不同的图像的对数谱具有相似的趋势，但各含统计奇点。曲线的平均光谱分别在1，10和100的图像。这一
16、结果表明平均对数谱满足的局部线性的条件。,图像处理,49,从谱残差到显著图的获得 对于一个系统模型而言，考虑输入刺激信号的统计相似性可以极大地减少多余的视觉信息，这是因为相似性意味着冗余。不同的图像数据，其log谱却有着相似的分布趋势，而且曲线满足局部线性条件。因此，在不同的log谱中我们只需要关注其差异部分忽略相似部分。,图像处理,50,给定一幅图像I(x)首先计算2维离散傅里叶变换，将其从空间域转到频域，对幅值取对数后得到log谱L(f)，由于log曲线满足局部线性条件，所以用局部平均滤波器h(f)对其进行平滑，获得平均频谱：,图像处理,51,图像处理,52,试验中，n取3，因此谱残差就是
17、log谱和其进行均值滤波后的差，可按下面的式子计算：,图像处理,53,图像处理,54,因此，总共需要的式子有：,图像处理,55,图像处理,56,实验对比和结果分析,文章使用一种新的对比方法，计算击中率和误警率，公式如下所示：,图像处理,57,这种评价标准说明一个最优的显著性检测系统其HR值应该在没有被标注为显著目标的区域具有最小值,在被大多数人标为显著目标的区域具有最大值。通过比较可以得到以下结果。,图像处理,58,图像处理,59,图像处理,60,图像处理,61,图像处理,62,图像处理,63,clear clc % Read image from file inImg = im2double
18、(rgb2gray(imread(256.png); %inImg = imresize(inImg, 64/size(inImg, 2); % Spectral Residual myFFT = fft2(inImg); myLogAmplitude = log(abs(myFFT); myPhase = angle(myFFT); mySpectralResidual = myLogAmplitude - imfilter(myLogAmplitude, fspecial(average, 3), replicate); saliencyMap = abs(ifft2(exp(mySpectralResidual + i*myPhase).2; % After Effect saliencyMap = mat2gray(imfilter(saliencyMap, fspecial(gaussian, 10, 10, 2.5); imshow(saliencyMap);,