关键字 |
| 目标跟踪，平均位移跟踪，规模和方向，MMST |
介绍 |
| 目标跟踪的目的是在连续的视频帧中关联目标对象。当物体相对于帧速率快速移动时，关联可能特别困难。另一种增加问题复杂性的情况是，当被跟踪对象随着时间改变规模和方向时。对于这些情况，目标跟踪系统通常采用运动模型，该模型描述了目标的图像如何随着目标的不同可能运动而变化。 |
| 在经典的均值漂移跟踪算法[9]中，没有解决目标尺度变化和方向变化的估计问题。CAMSHIFT算法[6]虽然鲁棒性不强，但作为最早的基于均值漂移的跟踪方案，它实际上可以处理物体的各种类型的运动。在CAMSHIFT中，利用目标模型确定的权重图像的矩来估计被跟踪对象的尺度(也称为面积)和方向。基于Comaniciu等人在[9]中的工作，提出了许多跟踪方案[10,11,17,18,23]来解决目标尺度和/或方向估计问题。Collins[10]采用Lindeberg等人的尺度空间理论[19,20]进行基于均值漂移的斑点跟踪的核尺度选择。但是，它不能处理目标的旋转变化。Zivkovic和Krose在[11]中提出了一种EM-shift算法，该算法同时估计局部模态的位置和可以近似描述局部模态形状的协方差矩阵。在[23]中，使用基于距离变换的非对称核来通过缩放适应和分割过程来拟合物体形状。Hu等[17]开发了一种方案，通过使用空间颜色特征和一种新的相似度量函数来估计物体的尺度和方向变化[12,16]。本文在均值漂移的框架下，提出了一种改进的均值漂移跟踪算法。 |
均值漂移跟踪算法 |
| A.目标表示 |
| 在目标跟踪中，目标通常定义为图像中的矩形或椭球区域。目前，由于颜色直方图具有缩放和旋转的独立性以及对部分遮挡的鲁棒性，被广泛使用的目标表示方法是颜色直方图[9,21]。N个目标区域的归一化像素，目标区域应该以原点为中心，有N个像素。特征u (u= 1,2…m)在目标模型中的概率计算为[9]。 |
 |
 |
 |
| 同样，目标候选模型中特征u从以位置y为中心的候选区域得到的概率为 |
 |
 |
 |
| 由于式(2.7)中的第一项与y无关，使式(2.6)中的距离最小化就是使式(2.7)中的第二项最大化。在mean shift迭代中，估计的目标从y移动到一个新的位置y1，定义为 |
 |
| 当我们选择具有Epanechnikov轮廓的核k(x)时，有g(x) =-k(x) =1，式(2.9)可以化简为[9]。 |
 |
| 均值漂移跟踪算法利用Eq.(2.10)在新帧中找到与目标最相似的区域。由式(2.10)可以看出，均值漂移跟踪算法的关键参数是权重wi。在本项目中，我们将重点分析wi，利用它可以很好地估计被跟踪目标的尺度和方向，然后可以开发一个尺度和方向自适应的均值漂移跟踪算法。 |
| B.目标尺度和方向的修正均值漂移跟踪。 |
| 在本节中，我们首先分析了如何自适应计算目标的尺度和方向，在子节II.II. i ~ II.II。第五节，然后是第二节。提出了一种改进的目标尺度和方向平均位移跟踪算法。 |
| 目标的放大或缩小通常是连续帧中的一个渐进过程。因此，我们可以假设目标的尺度变化是平滑的，这一假设在大多数视频序列中都是成立的。如果目标的尺度在相邻帧内突然变化，一般的跟踪算法都不能有效跟踪。有了这个假设，我们可以对原来的均值漂移跟踪算法做一个小的修改。假设我们已经在上一帧中估计了目标的面积(面积估计将在第II.II.II小节中讨论)，在当前帧中我们让窗口大小或目标候选区域的面积略大于目标的估计面积。因此，无论目标的尺度和方向如何变化，它在当前帧中应该仍然在这个更大的目标候选区域内。现在的问题是如何从目标候选区域中估计出真实的面积和方向。 |
| 1.目标尺度变化的权重图像 |
| 在CAMSHIFT和mean shift跟踪算法中，对目标位置的估计实际上是通过使用权重图像获得的[10,24]。在CAMSHIFT中，权重图像是使用基于色调的对象直方图确定的，其中像素的权重是其在对象模型中色调的概率。而在mean shift跟踪算法中，权重图像由Eq.(2.8)定义，其中像素的权重为其在目标模型中的颜色概率与在目标候选模型中的颜色概率之比的平方根。另外，利用CAMSHIFT的权值图像估计目标位置并不准确，采用均值漂移跟踪算法可以得到更好的估计结果。也就是说，mean shift跟踪算法中的权重图像比CAMSHIFT算法中的更可靠。 |
| 2.估算目标区域 |
| 由于目标候选区域中像素的权重值代表了它属于目标的概率，所以所有像素的权重之和即零阶矩，可以认为是目标在目标候选区域中的加权面积: |
 |
| 在均值漂移跟踪中，目标通常位于大目标候选区域。由于目标候选区域存在背景特征，目标特征出现的概率小于目标模型。所以式(2.8)会放大目标像素的权重，抑制背景像素的权重。因此，来自目标的像素对目标区域估计的贡献更大，而来自背景的像素对目标区域估计的贡献更小。另一方面，Bhattacharyya系数(参考Eq.(2.5))是目标模型q与目标候选模型p(y)相似度的指标。Bhattacharyya系数越小，说明目标候选区域中来自背景的特征越多，来自目标的特征越少，反之亦然。如果我们以Moo作为目标面积的估计，那么根据式(11)，当来自目标的权重变大时，以M00作为目标面积的估计误差就会变大，反之亦然。因此，以M00为目标区域，Bhattacharyya系数是衡量其可靠性的一个很好的指标。我们提出以下公式来估计它: |
 |
| 其中c(ρ)是关于巴塔查里亚系数ρ(0≤ρ≤1)的单调递增函数。这里我们根据我们的实验经验选择指数函数c(ρ): |
 |
| 从方程式。(2.12)和(2.13)我们可以看到，当ρ接近上限1时，即当目标候选模型接近目标模型时，c(ρ)接近1，在这种情况下，使用M00作为目标面积的估计更可靠。当ρ减小，即候选模型与目标模型不相同时，M00将比目标区域大得多，但c(ρ)小于1，以便A可以避免与实际目标区域偏差太大。当ρ接近0时，即跟踪目标丢失，c(ρ)将非常小，以至于A接近于零。 |
| 3.矩在均值漂移跟踪中的特点 |
| 在这一小节中，我们分析了mean shift跟踪中的矩特征，然后将其与估计的目标区域相结合，在下一小节中进一步估计目标的宽度、高度和方向。像在CAMSHIFT中一样，我们可以很容易地计算权重图像的矩，如下所示: |
 |
 |
| 其中pair (xi,1, xi,2)为像素i在候选区域的坐标。式(2.10)与式(2.10)比较由式(2.11)和式(2.14)可知，y1实际上是一阶矩与零阶矩的比值: |
 |
| 式中(x1, x2)为目标候选区域的质心。二阶中心矩可以描述物体的形状和方向。通过使用等式。(10)、(11)、(15)、(16)时，可将式(9)转换为二阶中心矩 |
 |
| 式(2.17)可以改写为以下协方差矩阵，以估计目标的宽度、高度和方向: |
 |
| 4.估算目标的宽度、高度和方向 |
| 利用估计面积(2.2.2节)和弯矩特征(2.2.3节)，可以很好地估计出目标的宽度、高度和方向。式(2.18)中的协方差矩阵可以用奇异值分解(SVD)[22]分解如下 |
 |
 |
| 由于权重图像是一个可靠的密度分布函数，矩阵U提供的目标方向估计比CAMSHIFT提供的更可靠。而且，在CAMSHIFT算法中，λ1和λ2的目标高度，到底哪一个是不合适的呢?接下来，我们提出了一种更准确地估计目标宽度和高度的新方案。 |
| 设目标用椭圆表示，其中半长轴和半短轴的长度分别用a和b表示。λ1与λ2的比值可以很好地近似a与b的比值，即λ1 λ2≈a/b。因此，可设a = k λ1, b= k λ2，其中k为比例因子。由于求出了目标面积A，则πab = π (k λ1) (k λ2) = A |
 |
 |
| 现在协方差矩阵变成 |
 |
| 对式(22)中协方差矩阵Cov的调整是该算法的关键步骤。需要注意的是，Zivkovic和Krose[11]的类em算法基于均值漂移跟踪算法迭代估计每一帧的协方差矩阵。与类em算法不同的是，我们的算法将目标的面积A与协方差矩阵相结合，来估计目标的宽度、高度和方向。 |
| 5.确定下一帧的候选区域 |
| 一旦在当前帧中估计出目标的位置、尺度和方向，我们就需要确定下一帧中目标候选区域的位置。根据式(2.22)，我们定义以下协方差矩阵来表示下一帧目标候选区域的大小 |
 |
| 其中Δd为目标候选区域在下一帧中的增量。初始目标候选区域的位置由下面的椭圆区域定义 |
 |
| 6.Mmst算法的实现 |
| 基于上述2.2.1 ~ 2.2.5小节的分析，可以估计目标的尺度和方向，然后可以开发尺度和方向自适应均值漂移跟踪算法，即MMST算法。整个算法的实现总结如下。 |
改进均值漂移跟踪(MMST)算法 |
| 1)初始化:计算目标模型q，初始化目标候选模型在上一帧中的位置y0。 |
| 2)初始化迭代数k←0。 |
| 3)计算当前帧中的目标候选模型p(y0)。 |
 |
实验结果与讨论 |
| 本节将开发的MMST算法与原始的mean shift算法进行比较，即固定尺度的mean shift跟踪、自适应尺度算法[9]和EM-shift算法[11,25]。自适应尺度算法和EM-shift算法是在均值漂移框架下处理目标尺度和方向变化的两种代表性方案。由于CAMSHIFT估计的重量图像不可靠，在估计物体的尺度和方向时容易出现误差。所以实验中没有使用CAMSHIFT。 |
| 我们选择RGB颜色空间作为特征空间，将其量化为16×16×16个bin，以便于不同算法之间的比较。需要注意的是，其他颜色空间如HSV颜色空间也可以用于MMST中。实验中使用了一个合成视频序列和三个真实视频序列。 |
| A.真实视频序列实验 |
| 利用四段真实视频序列对所提出的MMST算法进行了测试。第一个视频是在家中录制的火炬序列(图3.1)，物体有明显的尺度和方向变化。为了显示所开发的MMST算法的效率，图(3.1)包含后续帧20、40、80。第二段视频为26帧的手掌序列(图3.2)，其中目标有明显的尺度和方向变化，通过MMST算法估算出的目标尺度和方向是准确的。 |
 |
 |
 |
| 图3.3:不同跟踪算法对汽车序列的跟踪结果。显示帧15、40、60和75。 |
| 最后一个实验是在一个卡片读卡器序列上进行的，这个序列比较复杂，因为对象很小，而且有尺度和方向的变化。物体表现出局部遮挡的大尺度变化。MMST方案在估计目标的规模和方向方面工作得更好。 |
 |
 |
| 表1列出了四个视频序列上不同方案的平均迭代次数。所开发的MMST算法的平均迭代次数与原有的固定尺度均值漂移算法的平均迭代次数近似相等。改进尺度算法的迭代次数最高，因为它运行了三次均值移位算法。影响EM-shift算法和MMST算法收敛速度的主要因素是协方差矩阵的计算。EM-shift在每次迭代中估计它，而MMST只在每帧中估计一次。所以MMST比EM-shift快。总的来说，所开发的MMST算法在CAMSHIFT算法[6]的激励下，在目标有较大尺度和方向变化的情况下，扩展了mean shift算法。它继承了原均值漂移算法的简单和有效性，同时能适应目标尺度和方向的变化。 |
结论 |
| 通过分析目标候选区域权重图像的矩特征和Bhattacharyya系数，提出了一种尺度方向自适应均值漂移跟踪(MMST)算法。该方法很好地解决了在均值漂移跟踪框架下如何鲁棒估计目标尺度和方向变化的问题。 |
| 候选区域像素的权重表示其属于目标的概率，而权重图像的零阶矩可以表示候选区域的加权面积。利用目标模型与候选模型之间的零阶矩和Bhattacharyya系数，提出了一种简单有效的目标面积估计方法。在此基础上，提出了一种基于目标面积和修正后的二阶中心矩自适应估计目标宽度、高度和方向变化的方法。 |
| 该方法继承了均值漂移跟踪的简单、高效、鲁棒性等优点。大量的实验结果表明，MMST可以可靠地跟踪尺度和方向变化的目标，这是其他先进方案难以实现的。在未来的研究中，我们将重点研究如何检测和使用目标的真实形状，而不是椭圆或矩形模型，以实现更鲁棒的跟踪。 |
参考文献 |
- Kailath T.:“信号选择中的散度和Bhattacharyya距离测量”，IEEE Trans。通信技术，1997,15(1)，第52-60页。
- Fukunaga F.， Hostetler L. D.:“密度函数梯度的估计，在模式识别中的应用”，IEEE Trans。论信息理论，1975,21，(1)，pp. 32-40。
- 程勇:“均值漂移，模式搜索和聚类”，IEEE模式分析。机器智能。，1995，17，(8), pp. 790-799.
- 穆昆丹·R.，罗玛克里希南·k·R.:“图像分析中的矩函数:理论与应用”，世界科学，新加坡，1996。
- Wren C.， Azarbayejani A.， Darrell T.， Pentland A.:“Pfinder:人体的实时跟踪”，IEEE Trans。模式肛门。机械工程学报，1997,19 (7)，pp. 780-785。
- Bradski G.:“用于感知用户界面的计算机视觉人脸跟踪”，英特尔技术杂志，1998,2(Q2)，第1-15页。
- Comaniciu D.， Ramesh V.， Meer P.:“使用Mean Shift的非刚性物体的实时跟踪”。计算机视觉与模式识别IEEE会议，希尔顿黑德，SC, 2000年6月，第2卷，第142-149页。
- Comaniciu D.， Meer P.:“均值漂移:特征空间分析的稳健方法”，IEEE Trans模式分析。机器智能。，20.02, 24, (5), pp. 603-619. [
- 科马尼修，拉梅什V.，米尔P.:“基于内核的对象跟踪”，IEEE，翻译。模式肛门。机械工程学报，2003,25 (2)，pp. 564- 577。
- Collins R.:“通过尺度空间的均值漂移斑点跟踪”，IEEE会议，计算机视觉与模式识别，威斯康星，美国，2003年，第234-240页。
- Zivkovic Z.， Krose B.:“一种基于颜色直方图的em算法的目标跟踪”，IEEE会议，计算机视觉与模式识别，华盛顿特区，2004年，第1卷，第798-803页。
- Yang C.， Ramani D.， Davis L.:“基于相似度度量的有效均值漂移跟踪”，计算机视觉与模式识别学报，2005，第1卷，第176-183页。
- Fashing M.， Tomasi C.:“Mean Shift is a Bound Optimization”，IEEE Trans。模式肛门。机器智能。，20.05, 27, (3), pp. 471-474.
- Yilmaz A.， Javed O.， Shah M.:“对象跟踪:调查”，ACM计算调查，2006,38(4)，第13条。
- carrira - perpinan m.a.“高斯均值偏移是一种EM算法”，IEEE Trans。模式肛门。机器智能。，20.07, 29, (5), pp. 767- 776.
- Birchfield S.， Rangarajan S.:“基于区域跟踪的空间图与直方图”，计算机视觉与模式识别，2005年，第2卷，第1158-1163页，2005。
- 胡娟，王娟:“一种基于尺度和方向估计的空间色彩均值漂移目标跟踪算法”，中国电子学报，2008,29 (16)，pp. 2165-2173。
- Srikrishnan V.， Nagaraj T.， Chaudhuri S.:“基于片段的尺度和方向适应跟踪”，印度计算机视觉会议，图形与图像处理，2008,pp. 328-335。
- 刘志军:“基于自动尺度选择的特征检测方法”，《计算机视觉学报》，1998,30 (2)，pp. 79-116。
- 林德波:“定性多尺度特征层次的目标跟踪”，视觉传播与图像表示，2000,11(2)，第115-129页。
- Nummiaro K.， Koller-Meier E.， Gool L. V.“自适应基于颜色的粒子滤波器”，图像与视觉计算，2003,21 (1)，pp. 99-110。
- 霍恩·R·A，约翰逊·c·R，《矩阵分析主题》，剑桥大学出版社，英国，1991。
- Quast K.， Kaup A.:“视频序列中的尺度和形状自适应均值漂移对象跟踪”，Proc.欧洲信号处理会议，格拉斯哥，苏格兰，2009，第1513-1517页。
|
菜单
