运动分析.ppt

《运动分析.ppt》由会员分享，可在线阅读，更多相关《运动分析.ppt（40页珍藏版）》请在三一文库上搜索。

1、章毓晋 (TH-EE-IE),第13章 运动分析,13.1 运动分类和表达 13.2 运动估计和检测 13.3 运动目标分割,章毓晋 (TH-EE-IE),13.1 运动分类和表达,1. 运动分类 图象：前景（目标）和背景 图象序列：前景运动和背景运动 前景运动：局部运动 目标在场景中的自身运动 背景运动：全局运动或摄象机运动 摄象机的运动所造成的帧图象内所 有点的整体移动,章毓晋 (TH-EE-IE),13.1 运动分类和表达,1. 运动分类 运动：沿时间轴的变化 短时运动分析 仅使用若干帧（常为两三帧），获得瞬时 运动场以得到对运动较为精确的估计 长时运动分析 使用几十到上百帧 获得长期运

2、动的累积结果,章毓晋 (TH-EE-IE),13.1 运动分类和表达,2. 运动矢量场表达 运动既有大小也有方向 运动矢量用（有起点）无箭头的线段（线 段长度与矢量大小 即运动速度成正比） 来表示，并叠加在 原始图象上 逐块进行,章毓晋 (TH-EE-IE),13.1 运动分类和表达,3. 运动直方图表达 目标运动常比摄象机运动更不规范 运动矢量方向直方图 将从0度到360度的运动方向划分成若干个间隔， 把运动矢量场上每 一点的数据归到与 它的运动方向最为 接近的间隔,章毓晋 (TH-EE-IE),13.1 运动分类和表达,3. 运动直方图表达 运动区域类型直方图 根据参数模型描述各个运动区域

3、 对运动模型进行分类 统计各个运动区域 满足不同运动模型 的象素数量,章毓晋 (TH-EE-IE),13.1 运动分类和表达,4. 运动轨迹表达 表达了目标在运动过程中的位置信息 由一系列关键点和一组在这些关键点间进 行插值的函数构成,章毓晋 (TH-EE-IE),13.1 运动分类和表达,4. 运动轨迹表达 插值函数 p：时间轴一点，vp：运动速度，ap：运动加速度 零次函数： 一次函数： 两次函数：,章毓晋 (TH-EE-IE),13.2 运动估计和检测,对整个场景中的运动信息或运动矢量的检测 13.2.1 利用图象差的运动检测 13.2.2 利用时-空梯度估计光流场 13.2.3 基于模

4、型的运动检测 13.2.4 频率域运动检测,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,1. 差图象的计算 算术运算： 一般用于灰度图象 (1) 加法：记为p + q (2) 减法：记为p q (3) 乘法：记为p q（也可写为pq和p q） (4) 除法：记为p q,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,1. 差图象的计算 逻辑运算： 一般用于二值图象 (1) 与（AND）： 记为p AND q （也可写为pq） (2) 或（OR）： 记为p OR q（也可写为p + q） (3) 补（COMPLEMENT）： 记为NOT q（也可写为 ),

5、章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,1. 差图象的计算 通过逐象素比较可直接求取前后两帧图象之 间的差别 差图象不为零处表明该处的象素发生了移动 算术运算 逻辑运算,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,1. 差图象的计算 设在时刻 ti 和 tj 采集到两幅图象 f (x, y, ti)和 f (x, y , tj)，则据此可得到差图象： 差图象为1时的不同情况： 如：f (x, y, ti )是一个运动目标的象素而 f (x, y , tj )是一个背景象素、是同一个 运动目标但不同位置的象素 ?,灰度阈值,章毓晋 (TH-EE-I

6、E),13.2.1 利用图象差的运动检测,1. 差图象的计算 灰度差异显著性的判别： 似然比 各 m 和 s 分别是在时刻 ti 和 tj 采集到两幅图象的对应观测窗口中的均值和方差，Ts 是显著性阈值,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,2. 累积差图象的计算 累积差图象ADI（accumulative difference image）,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,2. 累积差图象的计算 ADI有三个功能： (1) ADI中相邻象素值间的梯度关系可用来估计 目标移动的速度矢量，这里梯度的方向就是 速度的方向，梯度的大小与速

7、度成正比 (2) ADI中象素的个数（值）可帮助确定运动目 标的尺寸和移动的距离 (3) ADI中包含了目标运动的全部历史资料，有 助于检测慢运动和尺寸较小目标的运动,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,2. 累积差图象的计算 三种ADI图象： (1) 绝对 (2) 正 (3) 负,章毓晋 (TH-EE-IE),13.2.1 利用图象差的运动检测,2. 累积差图象的计算 由ADI图象获得的信息： (1) 正ADI图像中的非零区域面积等于运动目标的面积 (2) 正ADI图像中对应运动目标的位置也就是运动目标在 参考图中的位置 (3) 当正ADI图像中的运动目标移动到

8、与参考图中的运动 目标不重合时，正ADI图像停止计数 (4) 绝对ADI图像包含了正ADI图像和负ADI图像中的所有 目标区域 (5) 运动目标的运动方向和速度可分别根据绝对ADI图像 和负ADI图像来确定,章毓晋 (TH-EE-IE),13.2.2 利用时-空梯度估计光流场,1. 光流方程 时刻t ：一个图象点在(x, y)处 时刻t + dt：该图象点移动到(x + dx, y + dy) 用泰勒级数展开，令dt 0，,章毓晋 (TH-EE-IE),13.2.2 利用时-空梯度估计光流场,1. 光流方程 灰度时间变化率是灰度空间变化率与该点空间运动速度的乘积,章毓晋 (TH-EE-IE),

9、13.2.2 利用时-空梯度估计光流场,2. 最小二乘法光流估计 在连续两幅图象f (x, y, t)和f (x, y, t +1)上取具有相同u和v的同一个目标上的N个不同位置的象素,章毓晋 (TH-EE-IE),13.2.3 基于模型的运动检测,1. 运动模型 通用模型 6参数仿射模型 8参数双线性模型,章毓晋 (TH-EE-IE),13.2.3 基于模型的运动检测,2. 基于双线性模型的全局运动检测 求出一组（大于4个）运动矢量观测值 获得8个方程解8个参数,章毓晋 (TH-EE-IE),13.2.4 频率域运动检测,借助傅里叶变换把检测转到频率域 (1) 对平移的检测 根据傅里叶变换

10、借助平移性质,章毓晋 (TH-EE-IE),13.2.4 频率域运动检测,(1) 对平移的检测 相位角之差 考虑到傅里叶变换的分离性 dqx(u)和dqy(v)分别为 f (x, y, tk)和 f (x, y, tk+1)在 X 轴上和 Y 轴上投影的傅里叶变换的相位角之差,章毓晋 (TH-EE-IE),13.2.4 频率域运动检测,(2) 对旋转的检测 借助傅里叶变换功率谱进行 图象中的直线模式在傅里叶功率谱中对应过频谱原点的直线模式 在Pk(u, v)和Pk+1 (u, v)中分别搜索对应的过原点的直线模式，再计算夹角,章毓晋 (TH-EE-IE),13.2.4 频率域运动检测,(3)

11、对尺度变化的检测 图象空间的尺度变化对应傅里叶变换域中频率高低的变化 1) 搜索方向相同的直线模式Lk和Lk+1 2) 将Lk投影到Pk+1 (u, v)上，得到Lk 如果S 1，表明目标图象尺寸增加了S倍,章毓晋 (TH-EE-IE),13.3 运动目标分割,视频图象是3-D图象：f (x, y, t) 时间分割：分解为时间片段（常为镜头） 空间分割：把独立运动的目标逐帧检测出来 13.3.1 运动目标分割和运动信 息提取 13.3.2 Horn-Schunck算法 13.3.3 映射参数估计,章毓晋 (TH-EE-IE),13.3.1 运动目标分割和运动信息提取,三种策略 (1) 先分割之

12、后再计算运动信息 先获得区域边界，再估计区域运动模型 (2) 先计算运动信息再分割 先计算全图运动矢量场，再分割运动矢量场 (3) 同时计算运动信息和进行分割 比较复杂，需要相当大的计算量,章毓晋 (TH-EE-IE),13.3.2 Horn-Schunck算法,1. 求解光流方程 ？：一个方程，两个未知量(u, v) 光流误差eof：运动矢量场中不符合光流 方程的部分 要使eof在整个帧内的平方和达到最小,章毓晋 (TH-EE-IE),1. 求解光流方程 速度场梯度误差 要使整个运动矢量场尽可能趋于平滑 Horn-Schunck法同时考虑两种约束,13.3.2 Horn-Schunck算法,

13、章毓晋 (TH-EE-IE),2. 对算法的讨论 孔径问题：模板尺寸有限而产生的问题 只能确定法线分 量（与边缘垂直）， 而无法确定与边缘 平行的分量 ？算法的计算量常很大，一般基于该算法的运动信息提取通常只能做到离线的非实时处理,13.3.2 Horn-Schunck算法,章毓晋 (TH-EE-IE),2. 对算法的讨论 当运动的矢量有较大幅度时，逼近结果的误差也同样会较大 (1) 用位移帧差项 代替光流误差项eof (2) 用平均梯度代替偏导 f /x，f /y,13.3.2 Horn-Schunck算法,章毓晋 (TH-EE-IE),3. 带全局运动补偿的算法 获得局部物体引起的运动矢量

14、 具体步骤 (1) 设图象中所有点的初始局部运动矢量为零 (2) 根据全局运动模型计算每一点的全局运动 矢量 (3) 计算每个象素点的实际运动矢量,13.3.2 Horn-Schunck算法,章毓晋 (TH-EE-IE),3. 带全局运动补偿的算法 (4) 计算该点运动矢量的修正值 (5) 如果 的幅度大于某一阈域值T，令 并转到步骤(3)；否则结束计算,13.3.2 Horn-Schunck算法,章毓晋 (TH-EE-IE),13.3.3 映射参数估计,基于参数和模型的基本原理 每个独立的运动都可准确地用一组映射参数来描述 设有K组参数矢量（对应K个独立的运动目标），每一组在各个象素处定义一

15、个光流矢量 由映射参数定义的光流矢量称为基于模型的或合成的光流矢量 分割是对在每个位置最接近的估计光流矢量赋一个合成光流矢量标号,章毓晋 (TH-EE-IE),13.3.3 映射参数估计,直接哈夫变换 6参数仿射流模型 如果知道在3个或更多个点的光流，就可以将a1, a2, a3, a4, a5, a6解出来 用每个光流矢量v(x) = v1(x) v2(x) T对一组量化的参数投票以最小化 1(x) = v1(x) a1 a2x1 a3x2 2(x) = v2(x) a4 a5x1 a6x2,章毓晋 (TH-EE-IE),13.3.3 映射参数估计,利用改进的哈夫变换 第一步，将相接近的光流矢量集合组成与单个参数集相一致的元素 例：将参数空间分成两个不重合的集合a1, a2, a3 a4, a5, a6以进行两次哈夫变换 例：利用多分辨率哈夫变换 第二步，将第一步得到的最一致的元素在最小均方意义下合并以组成相关片段,章毓晋 (TH-EE-IE),通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：(010)62781430 传真号码：(010)62770317 电子邮件： 个人主页： 实验室网：,联 系 信 息,