关键字 |
对象跟踪,均值漂移跟踪、规模和方向,MMST |
介绍 |
对象跟踪的目标是把连续的视频帧的目标对象。协会可以是特别困难的,当物体快速移动相对于帧速率。另一种情况,增加了问题的复杂性,当跟踪对象的规模和方向随时间的变化。这些情况下对象跟踪系统通常采用的运动模型,该模型描述了图像的目标可能会改变不同的可能对象的运动。 |
在经典的均值漂移跟踪算法[9],规模和方向变化的估计的目标不是解决。虽然并不强劲,但CAMSHIFT算法[6],作为最早的意思是转变基于跟踪方案,可以处理各种类型的对象的运动。在CAMSHIFT,重量的时刻图像由目标模型被用来估计的规模(也称为区域)和方向被跟踪的对象。基于Comaniciu等[9]的工作,许多跟踪计划(10、11、17、18、23)提出了解决目标问题的规模和/或取向的评估。柯林斯[10]采用Lindeberg et al的尺度空间理论(19、20)内核规模选择基于均值漂移的blob跟踪。然而,它不能处理目标的旋转变化。的EM-shift算法和悄无声息在[11],同时估计当地的位置模式的协方差矩阵可以近似描述当地的形状模式。在[23],基于距离变换的不对称的内核是用来适应对象形状通过规模适应了分割过程。胡锦涛等[17]开发计划估计的规模和方向变化对象通过使用spatial-color特性和小说相似性度量函数(12、16)。在这篇文章中,修改后的均值漂移跟踪(MMST)算法框架下意味着转变。 |
均值漂移跟踪算法 |
答:目标表示 |
在对象跟踪,目标通常是定义为一个矩形或椭圆形区域形象。目前,一种广泛使用的目标表示颜色直方图由于其独立缩放和旋转及其鲁棒性部分遮挡(9,21)。表示我{Xi * =} = 1…n规范化目标地区的像素,这应该是集中在起源点和有n个像素。的概率特性u (u = 1、2…米)的目标模型计算[9]。 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e001.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e025.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e002.gif) |
同样,的概率特征目标候选人中u模型从候选地区集中在y的位置 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e003.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e004.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e006.gif) |
自第一项情商。(2.7)是独立于y,尽量减少在情商的距离。(2.6)是最大化第二项在Eq。(2.7)。均值漂移迭代,估计目标从y y₁到一个新的位置,这被定义为 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e009.gif) |
当我们选择内核k与Epanechnikov概要(x),有g (x) = - k (x) = 1,和Eq。(2.9)可以减少[9]。 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e010.gif) |
用情商。(2.10),均值漂移跟踪算法发现的新的框架最相似的区域对象。从情商。(2.10)可以观察到,均值漂移跟踪算法中的关键参数权重wi。在这个项目中,我们将重点分析wi的规模和方向的跟踪目标可以估计,然后规模和方向自适应均值漂移跟踪算法可以开发。 |
b .修改均值漂移跟踪目标的规模和方向。 |
在本节中,我们首先分析如何计算自适应的规模和方向目标程式II.II。我~ II.II。V,然后在小节II.II。第六,修改意味着改变跟踪(MMST)算法的规模和定位目标。 |
的扩大或缩小目标在连续帧通常是一个循序渐进的过程。因此我们可以假设目标的尺度变化是光滑的,这种假设在大多数视频序列相当不错。如果目标突然变化的规模在相邻帧,没有一般跟踪算法能有效地跟踪它。这个假设,我们可以做一个小的修改原来的均值漂移跟踪算法。假设我们估计目标的面积(面积估计将小节中讨论II.II.II)在前面的帧,在当前帧我们让窗口大小或目标候选区域的面积有点比估计的目标区域。因此,无论多么的规模和定位目标的变化,它应该仍然在这个更大的目标候选人地区当前帧。现在,问题变成了如何估计真正的领域和方向从目标候选区域。 |
1。重量为目标图像尺度变化 |
CAMSHIFT和均值漂移跟踪算法,获得的估计目标位置实际上是通过使用一个重量图片(10,24)。CAMSHIFT的重量决定使用hue-based对象图像直方图的重量一个像素的概率是色调的对象模型。在均值漂移跟踪算法,定义的重量图片Eq。(2.8),一个像素的重量之比的平方根是它的颜色概率目标模型的颜色概率模型在目标候选人。此外,它是不准确的利用CAMSHIFT重量图像来估计目标的位置,和均值漂移跟踪算法有更好的评估结果。也就是说,重量图像的均值漂移跟踪算法比在CAMSHIFT算法更可靠。 |
2。估算目标区域 |
因为重量值的像素目标候选区域代表了它属于目标的概率,所有像素的权重的总和,即。零阶矩,可以被视为加权区域目标在目标候选人的地区: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e011.gif) |
在均值漂移跟踪,目标通常是在大目标候选区域。由于存在目标候选人的背景特征区域,目标特征的概率小于目标模型。所以情商。(2.8)将扩大目标像素的权重和抑制背景像素的重量。因此,从目标将作出更多贡献目标区域像素估计,而背景的像素将贡献更少。另一方面,Bhattacharyya系数(指Eq(2.5))是一个目标模型之间的相似性指标q模型和目标候选人p (y)。小Bhattacharyya系数意味着从背景中有更多的功能和更少的功能从目标在目标候选区域,反之亦然。如果我们把Moo的估计目标区域,然后根据情商。(11),当目标的权重更大,估计误差以M00为目标的面积会更大,反之亦然。因此,Bhattacharyya是多么可靠的系数是一个很好的指标通过M00作为目标区域。我们建议以下方程来估计它: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e012.gif) |
c(ρ)是一个单调递增函数关于Bhattacharyya系数ρ(0≤ρ≤1)给您我们选择的指数函数c(ρ)根据实验的经验: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e013.gif) |
从方程式。(2.12)和(2.13),我们可以看到,当ρ接近上限1,即。,when the target candidate model approaches to the target model, c(ρ) approaches to 1 and in this case it is more reliable to use M00 as the estimation of target area. When ρ decreases, i.e. the candidate model is not identical to the target model, M00 will be much bigger than the target area but c(ρ) is less than 1 so that A can avoid being biased too much from the real target area. When ρ approaches to 0, i.e., the tracked target gets lost, c(ρ) will be very small so that A is close to zero. |
3所示。目前在均值漂移跟踪特性 |
在本小节中,我们分析了力矩特性均值漂移跟踪,然后把它们与估计目标区域进一步估计宽度、高度和方向的目标在下一小节。像CAMSHIFT一样,我们可以很容易地计算重量的时候图片如下: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e014.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e015.gif) |
在一对(ξ1,ξ2)是我在候选区域像素的坐标。比较Eq。与方程式(2.10)。(2.11)和(2.14),我们可以发现,日元是一阶矩的比值零阶矩: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e016.gif) |
在(x 1, 2)代表目标候选人的重心地区。二阶中心矩可以描述一个物体的形状和方向。通过使用方程式。(10),(11),(15)和(16),我们可以把情商。(9)二阶中心矩如下 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e017.gif) |
Eq。(2.17)可以写成下面的协方差矩阵为估计宽度、高度和方向的目标: |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e018.gif) |
4所示。估计宽度,高度和方向的目标 |
2.2.2使用估计区域(小节)和功能(小节2.2.3),宽度,高度和方向的目标可以被估计。情商的协方差矩阵。(2.18)可以分解利用奇异值分解(圣)[22]如下 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e019.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e026.gif) |
因为重量的图像是一个可靠的密度分布函数,提供的目标方位估计矩阵CAMSHIFT U是比这更可靠。此外,在CAMSHIFT算法,λ1λ2目标的高度,这是真的不当吗?接下来,我们提出一个新的计划,以更准确地估计目标的宽度和高度。 |
假设目标是由一个椭圆,的轨道半长轴和半短轴长度是用a和b,分别。而不是直接使用和λ1λ2宽度和高度b,它已经表明,λ1的比率和λ2可以近似a到b的比值,即:,λ1λ2≈a / b因此我们可以设置一个= kλ1和b = kλ2,k是一个比例因子。由于我们估计目标区域,有πab =π(kλ1)(kλ2)= A就可以很容易地推导 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e020.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e021.gif) |
现在的协方差矩阵 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e022.gif) |
协方差矩阵的调整浸在Eq。(22)是该算法的一个关键步骤。应该指出的是,他们表示算法和悄无声息[11]迭代估计的协方差矩阵每一帧基于均值漂移跟踪算法。与他们表示算法,算法结合目标的面积,即。,A, with the covariance matrix to estimate the width, height and orientation of the target. |
5。确定候选地区下一帧 |
一旦位置、规模和定位目标当前帧的估计,我们需要确定目标的位置在下一帧候选区域。Eq。(2.22),我们定义以下大小的协方差矩阵来表示目标在下一帧候选区域 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e023.gif) |
其中Δd是增量的目标在下一帧候选区域。最初的目标候选人的位置区域被定义为以下椭圆区域 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e024.gif) |
6。Mmst算法的实现 |
基于上述分析程式2.2.5 2.2.1 ~),目标可以估计的规模和方向,然后规模和方向自适应均值漂移跟踪算法,即MMST算法,可以开发。整个算法的实现是总结如下。 |
修改均值漂移跟踪算法(MMST) |
1)初始化:目标模型计算q和初始化的位置y0前一帧的目标候选人模型。 |
2)初始化迭代数k←0。 |
3)计算目标候选模型p (y0)在当前帧。 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-e027.gif) |
实验结果和讨论 |
这一部分评估发达MMST算法与原来的均值漂移算法相比,即。,mean shift tracking with a fixed scale, the adaptive scale algorithm [9] and the EM-shift algorithm [11, 25]. The adaptive scale algorithm and the EM-shift algorithm are two representative schemes to address the scale and orientation changes of the targets under the mean shift framework. Because the weight image estimated by CAMSHIFT is not reliable, it is prone to errors in estimating the scale and orientation of the object. So CAMSHIFT is not used in the experiments. |
我们选择RGB颜色空间特征空间和它被量化成16×16×16箱不同算法之间的公平的比较。应该注意的是,其他颜色如HSV颜色空间,也可用于MMST。一个合成视频序列和三个真正的视频序列用于实验。 |
答:实验真正的视频序列 |
开发MMST算法测试通过使用四个真实的视频序列。第一个视频是一个火炬序列记录在家里(图3.1),对象有明显的规模和方向的变化。给发达MMST算法的效率图(3.1)由后续帧20,80。第二个视频是棕榈26帧序列(图3.2),对象有明显的规模和方向变化,估计规模和目标取向由MMST算法是准确的。 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-g001.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-g002.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-g003.gif) |
图3.3:汽车的跟踪结果序列不同的跟踪算法。15帧,显示40、60和75。 |
最后一个实验是在一个读卡器序列是复杂的,因为对象是小,规模和方向的变化。对象展品大规模改变部分阻塞。MMST方案在估计更好工作的规模和定位目标。 |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-g004.gif) |
![图像](//www.cheescube.com/articles-images/ IJAREEIE-953-t001.gif) |
表1列出了平均由不同数量的迭代计划四个视频序列。发达的平均迭代次数MMST约等于原来的均值漂移算法和固定的规模。修改的规模算法的迭代数量是最高的,因为它运行三次均值漂移算法。的收敛速度的主要因素影响EM-shift MMST算法是协方差矩阵的计算。EM-shift估计在每个迭代中,同时为每一帧MMST只能估计一次。所以MMST比EM-shift快。一般来说,发达MMST算法,这是出于CAMSHIFT算法[6],扩展了均值漂移算法在目标大尺度和方向变化。它继承原来的均值漂移算法的简单性和有效性而被适应的规模和方向变化的目标。 |
结论 |
通过分析目前的特征图像目标候选人的地区和重量Bhattacharyya系数,我们开发了一个规模和方向自适应均值漂移跟踪(MMST)算法。它可以解决的问题,如何估计强劲的规模和方向变化意味着转变下的目标跟踪框架。 |
候选区域中的一个像素的重量代表属于目标的概率,而权重的零阶矩图像可以表示的加权面积候选区域。通过使用零阶矩和Bhattacharyya系数之间的目标模型和候选模型,一个简单而有效的方法来估计提出了目标区域。然后一种新方法,它是基于目标的面积和修正后的二阶中心时刻,提出了自适应估计的宽度、高度和方向变化的目标。 |
发达MMST方法继承了均值漂移跟踪的优点,如简单、效率和鲁棒性。广泛的实验研究,结果表明,MMST可以可靠地跟踪对象的规模和方向变化,由其他先进的计划难以实现。在未来的研究中,我们将关注如何检测和使用目标的真实形状,而不是一个椭圆或矩形模型,对一种更健壮的跟踪。 |
引用 |
- Kailath T。:“散度和Bhattacharyya距离信号选择的措施,IEEE反式。15岁的通信技术,1967(1),52-60页。
- 的巨大F。,Hostetler L. D.: ‘The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition’, IEEE Trans. on Information Theory, 1975, 21, (1), pp. 32-40.
- 程Y。:“意味着转变,寻找模式,和聚类,IEEE反式模式肛门。机器智能。,1995,17,(8), pp. 790-799.
- Mukundan R。,Ramakrishnan K. R.: ‘Moment Functions in Image Analysis: Theory and Applications’, World Scientific, Singapore, 1996.
- 雷恩C。,Azarbayejani A., Darrell T., Pentland A.: ‘Pfinder: Real-Time Tracking of the Human Body’, IEEE Trans. Pattern Anal. Machine Intell, 1997, 19, (7), pp. 780-785.
- Bradski G。:“计算机视觉跟踪用于感知用户界面”,英特尔技术杂志,1998,2 (Q2),页1 - 15。
- Comaniciu D。,拉梅什V。,米尔P。使用的意思是:“实时跟踪非刚性的对象转变的。Proc。IEEE Conf.计算机视觉和模式识别,希尔顿头,SC, 6月,2000年,卷2,页142 - 149。
- Comaniciu D。,米尔P。:“意味着转变:一个健壮的方法对特征空间分析的,肛门IEEE反式模式。机器智能。,20.02, 24, (5), pp. 603-619. [
- Comaniciu D。,拉梅什V。,米尔P。:“基于对象跟踪”,IEEE反式。模式肛门。(2)机器Intell.2003, 25日,页。564 - 577。
- 柯林斯R。通过尺度空间”:“均值漂移Blob跟踪,Proc。设计。计算机视觉和模式识别,威斯康辛州,美国,2003年,页234 - 240。
- 转而经营Z。B,悄无声息。:“他们表示Color-Histogram-Based对象跟踪算法”,Proc。设计。计算机视觉和模式识别,华盛顿特区,美国,2004年,第1卷,第798 - 803页。
- 杨C。,Ramani D., Davis L.: ‘Efficient Mean-Shift Tracking via a New Similarity Measure’, Proc. IEEE Conf. Computer Vision and Pattern Recognition, San Diego, CA, 2005, vol. 1, pp.176-183.
- 反光M。,Tomasi C.: ‘Mean Shift is a Bound Optimization’, IEEE Trans. Pattern Anal. Machine Intell., 2005, 27, (3), pp. 471-474.
- Yilmaz。,Javed O., Shah M.: ‘Object Tracking: a Survey’, ACM Computing Surveys, 2006, 38, (4), Article 13.
- Carreira-Perpinan m·a·高斯均值漂移是一个EM算法,IEEE反式。模式肛门。机器智能。,20.07, 29, (5), pp. 767- 776.
- Birchfield年代。,Rangarajan S.: ‘Spatiograms versus histograms for region-based tracking’, Proc. IEEE Conf. on Computer Vision and Pattern Recognition, 2005, vol. 2, pp. 1158–1163, 2005.
- 胡锦涛J。,Juan C., Wang J.: ‘A spatial-color mean-shift object tracking algorithm with scale and orientation estimation’, Pattern Recognition Letters, 2008, 29, (16), pp. 2165-2173.
- Srikrishnan V。,Nagaraj T。,Chaudhuri S.: ‘Fragment Based Tracking for Scale and Orientation Adaption’, Proc. Indian Conf. on In Computer Vision, Graphics & Image Processing, 2008, pp. 328-335.
- Linderberg T。:“特征检测与自动选择的规模,国际计算机视觉杂志。1998年,30岁,(2),页79 - 116。
- Bretzner L。,Lindeberg T.: ‘Qualitative Multi-Scale Feature Hierarchies for Object Tracking’, Journal of Visual Communication and Image Representation, 2000, 11, (2), pp.115-129.
- Nummiaro K。,Koller-Meier E., Gool L. V.: ‘An Adaptive Color-Based Particle Filter’, Image and Vision Computing, 2003, 21, (1), pp. 99-110.
- 角r。,Johnson C. R., Topics in Matrix Analysis, Cambridge University Press, U.K., 1991.
- Quast K。,Kaup A.: ‘Scale and Shape adaptive Mean Shift Object Tracking in Video Sequences’, Proc. European Signal Processing Conference, Glasgow, Scotland, 2009, pp. 1513-1517.
|