运动估计算法MATLAB课程设计要点.docx

《运动估计算法MATLAB课程设计要点.docx》由会员分享，可在线阅读，更多相关《运动估计算法MATLAB课程设计要点.docx（26页珍藏版）》请在三一文库上搜索。

1、通信工程应用技术综合训练与实习课程设计课程设计任务书学生姓名：专业班级：指导教师： 工作单位： 题目：运动估计算法初始条件：MATLAB软件平台要求完成的主要任务：1 .设计任务设计视频压缩系统中的运动估计算法： 全搜索法(FS: Full Search)和三步法(TSS: Three Step Search),比较二种方法的搜索点和每帧的峰值信噪比(PSNR： peak signal to noise ratio)2 .设计要求编制算法代码；对视频进行运动估计；计算PSNR时间安排：答辩时间2013年1月24日。指导教师签名：年月日系主任签名：年月日摘要11运动估计算法概念 2.1.1 运功

2、估计算法基本思想2.1.2 运动估计算法实验原理2.2设计原理和方法 3.2.1 三步法3.2.2 新三步法3.2.3 全搜索法4.2.4 峰值信噪比5.3运动估计算法的 MATLAB编程 6.3.1 全搜索法6.3.2 三步法9.3.3 全搜索法指标1.13.4 三步法指标.1.13.5 仿真结果分析1.14小结与体会1.1.参考文献1.1.附录12通信工程应用技术综合训练与实习课程设计摘要运动估计的基本思想是尽可能准确地获得序列图像帧间的运动位移，即运动矢量。因为运动估计越准确，预测补偿的图像质量越高，补偿的残差就越小，补 偿编码所需位数越少，需要传输的比特率就越小。利用得到的运动矢量在帧

3、间进 行运动补偿。补偿残差经过变换、量化、编码后与运动矢量一起经过嫡编码，然 后以比特流形式发送出去。在视频编码和处理系统中，运动估计和运动补偿技术对降低视频序列时间冗 余度、提高编码效率起着非常关键的作用。运动估计的准确程度将直接决定视频 编码器的编码效率。关键词：运动估计、运动补偿技术、位移（运动）矢量AbstractThe basic idea is that the motion estimation as accurate as possible the image sequence interframe motion displacement, i.e. the motion ve

4、ctor. Motion estimation more accurate prediction compensation, the higher the image quality is compensated residuals is smaller, less compensation coding bits required, the smaller the transmission bit rate. Performing motion compensation using the motion vector obtained in the interframe. Compensat

5、ion residuals through transformation, quantization, entropy-coded together with the motion vector is encoded, and then sent out in the form of a bit stream.In video coding and processing system, the motion estimation and motion compensation to reduce the temporal redundancy of video sequence to impr

6、ove the coding efficiency plays a crucial role. The degree of accuracy of the motion estimation will directly determine the encoding efficiency of the video encoder.Keywords: Motion estimation Motion compensation techniques The vector of displacement (movement)24多媒体信息处理1运动估计算法概念视频原始图像中存在着大量的信息冗余，如时间

7、冗余、空间冗余、信息嫡冗 余、谱间冗余、几何结构冗余、视觉冗余和知识冗余等等。运动估计是视频压缩 编码中的核心技术之一，采用运动估计和运动补偿技术可以消除视频信号的时间 冗余以提高编码效率。如何提高运动估计的效率，使运动估计算法的搜索过程更 健壮、更快速、更高效成为目前研究的热点。运动估计的基本思想是尽可能准确地获得序列图像帧间的运动位移，即运动矢量。因为运动估计越准确，预测补偿的图像质量越高，补偿的残差就越小，补 偿编码所需位数越少，需要传输的比特率就越小。利用得到的运动矢量在帧间进 行运动补偿。补偿残差经过变换、量化、编码后与运动矢量一起经过嫡编码，然 后以比特流形式发送出去。运动估计算法

8、多种多样，大体上可以把它们分成四类：块匹配法、递归估计 法、贝叶斯估计法和光流法。其中块匹配运动估计算法因其具有算法简单、 便于 VLSI实现等优点得到广泛应用。所以本文将重点介绍块匹配运动估计算法，并 对各种块匹配算法在计算速度和估计精度上进行简单比较。1.1 运功估计算法基本思想运动估计的基本思想是尽可能准确地获得序列图像帧间的运动位移，即运动矢量。运动估计算法的目标是效率和准确性。 由于在成象的场景中一般有多个物 体作不同的运动，如果直接按照不同类型的运动将图像分割成复杂的区域是比较 困难的。最直接和不受约束的方法是在每个像素都指定运动矢量，这就是所谓基于像素表示法。这种表示法是对任何类

9、型图像都是适用的， 但是它需要估计大量 的未知量，并且它的解时常在物理上是不正确， 除非在估计过程中施加适当的物 理约束。这在具体实现时是不可能的，通常采用基于块的物体运动表示法。 因为 运动估计越准确，预测补偿的图像质量越高，补偿的残差就越小，补偿编码所需 位数越少，需要传输的比特率就越小。1.2 运动估计算法实验原理在帧问预测编码中，由于活动图像邻近帧中的景物存在着一定的相关性。因此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像 中的位置，并得出两者之间的空间位置的相对偏移量， 得到的相对偏移量就是通 常所指的运动矢量，得到运动矢量的过程被称为运动估计。运动矢量和经过

10、运动匹配后得到的预测误差共同发送到解码端，在解码端按照运动矢量指明的位置，从已经解码的邻近参考帧图像中找到相应的块或宏块， 和预测误差相加后就得到了块或宏块在当前帧中的位置。运动估计的准确程度往往用补偿图像与原图像比较的PSN成衡量表示。2设计原理和方法2.1 三步法三步法是应用得相当广泛的一种次优的运动估计搜索算法它的搜索区间一股为-7, 7即在候选区中与编码块相同坐标位置处为原点，将参考块在其上下左右距离为7的范围内按照一定规律移动移到一个位置就做匹配计算它总共进行了三步搜索在下一次搜索时步长减半以前一步搜索得到的最优点为中心。下图为三步法的搜索示意图第一步第二步A第三步三步法（TSS）搜

11、索示意图算法的中心思想是，采用一种由 粗到细的搜索模式，从原点开始，按 一定步长取周围8个点构成每次搜索 的点群，然后进行匹配计算，利用上 一步搜索得到的最小块误差 MBD点 作为当前搜索的中心位置，每做一 步，搜索的步长减1。步搜索算法搜索窗选取（-7, +7）, 最多只需要做25个位置的匹配计算， 相对于全搜索来比，大大减少了匹配 运算的复杂度，而且数据读取比较规则2.2 新三步法TSS假定运动矢量分布特点是在搜索窗口中均匀分布 ，但事实证明运动矢 量是偏置中心的，Renxiang Li等人在TSS的基础上提出了一种增强运动矢量中 心偏置搜索和减小补偿误差的新三步法。NTSS是对TSS的一

12、个改进，对运动量比较小的视频序列如可视电话序列有比较好的性能。对于绝大多数的视频序列，运动矢量的分布都是在中心位置上新三步法(NTSS)搜索示意图的概率最大，随着与中心位置的距离 的增大，概率会急剧地下降，这也就 是前面所说的运动矢量的中心偏移 特性。运动量比较小的视频序列的这 一特性会更加明显。NTSS算法在最好的情况下只需 要做17个点的匹配，在最坏的情况 下需要做33个点的匹配，由于运动 矢量中心偏置在现实视频序列中是普遍存在的，在通常情况下，NTSS算法需要做33点匹配的概率比较小，因此，在低速率视频应用中，如视频电话 或视频会议中，NTSS算法的优点可以得到较好的发挥。2.3 全搜索

13、法全搜索法(Full Search Method, FS)也称为穷尽搜索法，是对(M + 2dx ) x(N +2dy )搜索范围内所有可能的候选位置计算 MAD (i,j)值，从中找出最小 MAD,其对应偏移量即为所求运动矢量。此算法虽计算量大，但最简单、可靠， 找到的必为全局最优点。FS算法描述如下：从原点出发，按顺时针螺旋方向由近及远，在逐个像素 处计算MAD值，直到遍历搜索范围内听有的点，然后在计算的所有点的MAD中找到最小值，该点所在位置即对应最佳运动矢量。但是正因为它是穷尽搜索因此会产生巨大的计算量如7, 7的搜索区间每个宏块16*16需计算225个MAD值，这就直接制约了编码的实

14、时实现。快速算法本质上是一种穷尽搜索法其计算量仍是相当巨大的。全搜索算法是简单也是效果最好的一种匹配算法， 通过的全搜索匹配得到的结果是全局最优的，但由于计算量很大，我们在编解码中往往不采用这种方法,而只把他作为与其他算法的一种比较。图2-1程序流程图2.4 峰值信噪比峰值信噪比（经常缩写为PSNR）是一个表示信号最大可能功率和影响它的表示 精度的破坏性噪声功率的比值的工程术语。由于许多信号都有非常宽的动态范围，峰值信噪比常用对数分贝单位来表示。PSNR是“Peak Signal to Noise Ratio ”的缩写。peak的中文意思是顶点。而ratio的意思是比率或比列的。整个意思就 是

15、到达噪音比率的顶点信号，psnr是一般是用于最大值信号和背景噪音之间的一PSNR值来认个工程项目。通常在经过影像压缩之后，输出的影像通常都会有某种程度与原始 影像不一样。为了衡量经过处理后的影像品质，我们通常会参考 定某个处理程序够不够令人满意。PSNR计算公式如下：Peak就是指8 bits表示法的最大值255。MSE指 Mean Square Error（均方 误差，各值相差的n次方和的平均值的n次平方根（这几个字应该没有），1（角标 n）指原始影像第n个pixel值，P（角标n）指经处理后的影像第n个pixel值。PSNR 的单位为dB。所以PSNR值越大，就代表失真越少。PSNR是最普

16、遍，最广泛使用的评鉴画质的客观量测法， 不过许多实验结果 都显示，PSNR的分数无法和人眼看到的视觉品质完全一致，有可能 PSNR较 高者看起来反而比PSNR较低者差。这是因为人眼的视觉对于误差的敏感度并 不是绝对的，具感知结果会受到许多因素的影响而产生变化（例如：人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高， 人眼 对一个区域的感知结果会受到其周围邻近区域的影响）。PSNR = 10 x log（厂一产口）MSE =:Framesize3运动估计算法的MATLAB编程3.1全搜索法图 3-1-1 the first frame图 3-1-2 the second

17、 frame帧间差值图3-1-3 帧间差值图3-1-4 DFD恢复后的第二帧图像图3-1-5恢复后的第二帧图像1 口I 1 1 1N 1 h1Ii1L,Liro14121036420(-f -Hpi1F 111-H1 .1At b1i、dIi /J 1J1一. _ L匕.、 期.*bi9*hEW- =-T-1111,U1.if；fipi- ，_111r，ii1k1 ,*V)24601012141618图3-1-6第一帧图像的运动矢量图18161412108G420C-IFT!l !ili lili-111卜=|X ；Xj1 /liT|/F - .上1,% r 1. ;.?f?/ V, r 1F

18、II * 、J / iL,tt/ 一/7-F ，一! - 1工/ / i* / 1/t f/ /,Ir .二*F-1r k m sr 一 一 y s- l 44IJf*h H， 、j.工1- )24681012141618图3-1-7第二帧图像的运动矢量图3.2三步法图 3-2-1 the first frame图 3-2-2 the second frame图3-2-3帧间差值DFD图 3-2-4 DFD恢复后的第二帧图像图3-2-5恢复后的第二帧图像IO111riilu14121086420-1-1I11 、产zq: 图像IIIIIII I I% %I1=double(I1);I2=dou

19、ble(I2);rownum colnum = size(I1);II=zeros(rownum+2*dm,colnum+2*dm);II(dm+1:dm+rownum,dm+1:dm+colnum)=I1; for i=1:dmII(i,dm+1:dm+colnum)=II(dm+1,dm+1:dm+colnum);II(rownum+dm+i,dm+1:dm+colnum)=II(dm+rownum,dm+1:dm+colnum); end for j=1:dmII(1:rownum+2*dm,j)=II(1:rownum+2*dm,dm+1);II(1:rownum+2*dm,colnu

20、m+dm+j)=II(1:rownum+2*dm,dm+colnum); end%下面进行全搜索算法blocksize=16;rowblocks =rownum/blocksize;colblocks =colnum/blocksize;A=99999999999999999999;%为了找到最小的均方误差，A用于设定一个很大的初值Eij=0；xrecord=ones(16,16);%xrecord , yrecord用于存放匹配快的块号，即运动矢量yrecord=ones(16,16);diff=zeros(256,256);%这幅图的大小为256*256ticfor x=0:(rowblo

21、cks-1)%x表示行中第几个子块row=x*blocksize;for y=0:(colblocks-1)%y表示列中第几个子块col=y*blocksize;tempx=x*blocksize+1:(x+1)*blocksize;tempy=y*blocksize+1:(y+1)*blocksize;for p=-dm:dmfor q=-dm:dm% (p,q)表示x,y对应子块在前一帧所的搜索位置Eij=0；Eij=sum(sum(I2(row+1:row+blocksize,col+1:col+blocksize)-II(row+dm+p+1:row+dm+p+blocks ize,c

22、ol+dm+q+1:col+dm+q+blocksize).A2)/(blocksizeA2);if EijAA=Eij；xrecord(x+1,y+1)=p;yrecord(x+1,y+1)=q;endendendA=999999999999999999;for mx=1:blocksizefor ny=1:blocksizediff(row+mx,col+ny)=I2(row+mx,col+ny)-II(row+mx+dm+xrecord(x+1,y+1),col+ny+dm+yrecor d(x+1,y+1);endendendendtocfigure,imshow(I1,);title

23、( the first frame);figure,imshow(I2,); title( the second frame); IIII=I2-I1;figure,imshow(IIII,);title(帧间差值);figure,imshow(diff,); title(DFD);%title(利用全搜索算法匹配后的帧间差);for x=0:(rowblocks-1)%row=x*blocksize; for y=0:(colblocks-1)%col=y*blocksize;III(row+1:row+blocksize,col+1:col+blocksize)=II(row+dm+xre

24、cord(x+1,y+1)+1:row+dm+xrecor d(x+1,y+1)+blocksize,col+dm+yrecord(x+1,y+1)+1:col+dm+yrecord(x+1,y+1)+blocksize)+diff(r ow+1:row+blocksize,col+1:col+blocksize);endend%III=I1+abs(diff);figure,imshow(III,); title(?o6W .u?t? ?);ERR=diff;%figure,imshow(ERR,);%title(DFD);numberarray=0:1:255;for m=1:255num

25、berarray(m+1)=0;end;zeronumber=0;for n=1:rownumfor m=1:colnumdif=abs(ERR(m,n);if(dif=0)temp=zeronumber;zeronumber=temp+1;elsenumberarray(dif)=numberarray(dif)+1;end;end;end;figure;plot(0,zeronumber, k*);hold on;plot(numberarray,r*),title(DFD distribution );hold off;ERR1=zeros(16,16);for i=0:15for j=

26、0:15ERR1(i+1,j+1)=round(sum(sum(ERR(i*blocksize+1:i*blocksize+blocksize,j*blocksize+1:j*block size+blocksize)/(blocksize*blocksize);endendnumberarray=0:1:255;for m=1:255numberarray(m+1)=0;end;zeronumber=0;for n=1:16for m=1:16dif=abs(ERR1(m,n);if(dif=0)temp=zeronumber;zeronumber=temp+1;elsenumberarra

27、y(dif)=numberarray(dif)+1;end;end;end;figure;plot(0,zeronumber, k*);hold on;plot(numberarray, r*),title(DFD(block average) distribution );hold off;%figure;mesh(diff);figure;contour(diff,15);figure;for i=1:16for j=1:16quiver(i,j,xrecord(i,j)/16,yrecord(i,j)/16); hold on; endendgrid on;figure;quiver(1

28、:16,1:16,yrecord,xrecord);grid on;S_3SS: clear all;I1=imread( claire1.bmp); %read the first frameI2=imread( claire2.bmp); %read the second framedm=7;I1=double(I1);I2=double(I2);rownum colnum = size(I1);II=zeros(rownum+2*dm,colnum+2*dm);II(dm+1:dm+rownum,dm+1:dm+colnum)=I1; for i=1:dmII(i,dm+1:dm+col

29、num)=II(dm+1,dm+1:dm+colnum);II(rownum+dm+i,dm+1:dm+colnum)=II(dm+rownum,dm+1:dm+colnum); end for j=1:dmII(1:rownum+2*dm,j)=II(1:rownum+2*dm,dm+1);II(1:rownum+2*dm,colnum+dm+j)=II(1:rownum+2*dm,dm+colnum); endblocksize=16;rowblocks =rownum/blocksize;colblocks =colnum/blocksize;% Eij=0;% yrecord=ones

30、(16,16);% ticA=99999999999999999999;xrecord=ones(16,16);diff=zeros(256,256);for x=0:(rowblocks-1) row=x*blocksize;for y=0:(colblocks-1) col=y*blocksize;tempx=x*blocksize+1:(x+1)*blocksize;tempy=y*blocksize+1:(y+1)*blocksize;for p1=-4:4:4for q1=-4:4:4Eij=0;Eij=sum(sum(I2(row+1:row+blocksize,col+1:col

31、+blocksize)-II(row+dm+p1+1:row+dm+p1+blo cksize,col+dm+q1+1:col+dm+q1+blocksize).A2)/(blocksizeA2);if EijAA=Eij;xrecord(x+1,y+1)=p1;yrecord(x+1,y+1)=q1;endendendp1=xrecord(x+1,y+1);q1=yrecord(x+1,y+1);for p2=p1-22P1+2% u ?t 2?for q2=q1-2:2:q1+2if p2=p1 | q2=q1Eij=0;Eij=sum(sum(I2(row+1:row+blocksize

32、,col+1:col+blocksize)-II(row+dm+p2+1:row+dm+p2+blo cksize,col+dm+q2+1:col+dm+q2+blocksize).A2)/(blocksizeA2);if EijAA=Eij;xrecord(x+1,y+1)=p2;yrecord(x+1,y+1)=q2;endendendendp2=xrecord(x+1,y+1);q2=yrecord(x+1,y+1);for p3=p2-1:1:p2+1%(i u &2?for q3=q2-1:1:q2+1if p3=p2 | q3=q2Eij=0;Eij=sum(sum(I2(row+

33、1:row+blocksize,col+1:col+blocksize)-II(row+dm+p3+1:row+dm+p3+blo cksize,col+dm+q3+1:col+dm+q3+blocksize).A2)/(blocksizeA2);if EijAA=Eij；xrecord(x+1,y+1)=p3;yrecord(x+1,y+1)=q3;endendendendA=999999999999999999;for mx=1:blocksizefor ny=1:blocksizediff(row+mx,col+ny)=I2(row+mx,col+ny)-II(row+mx+dm+xre

34、cord(x+1,y+1),col+ny+dm+yrecor d(x+1,y+1);endendendendtocfigure,imshow(I1,);title( the first frame);figure,imshow(I2,);title( the second frame);IIII=I2-I1;figure,imshow(IIII,);title( ?2?V);figure,imshow(diff,);title(DFD);for x=0:(rowblocks-1) row=x*blocksize; for y=0:(colblocks-1) col=y*blocksize;II

35、I(row+1:row+blocksize,col+1:col+blocksize)=II(row+dm+xrecord(x+1,y+1)+1:row+dm+xrecor d(x+1,y+1)+blocksize,col+dm+yrecord(x+1,y+1)+1:col+dm+yrecord(x+1,y+1)+blocksize)+diff(r ow+1:row+blocksize,col+1:col+blocksize);end endfigure,imshow(III,);title(恢复后的第二帧图像)ERR=diff;%figure,imshow(ERR,);%title(DFD);

36、numberarray=0:1:255;for m=1:255numberarray(m+1)=0;end;zeronumber=0;for n=1:rownumfor m=1:colnumdif=abs(ERR(m,n);if(dif=0)temp=zeronumber;zeronumber=temp+1;elsenumberarray(dif)=numberarray(dif)+1;end;end;end;figure;plot(0,zeronumber, k*);hold on;plot(numberarray,r*),title(DFD distribution );hold off;ERR1=zeros(16,16);for i=0:15for j=0:15ERR1(i+1,j+1)=round(sum(sum(ERR(i*blocksize+1:i*blocksize+blocksize,j*blocksize+1:j*block size+blocksize)/(blocksize*blocksize);endendnumberarray=0:1:255;for m=1:255numberarray(m+1)=0;