空中监视中的车辆目标检测

Maheswari¹， Ramaswamy reddy²

印度维杰亚瓦达，LBRCE IT系学生
印度维杰亚瓦达，LBRCE信息技术系副教授

摘要

介绍了空中监视中的车辆目标检测系统。该系统可用于军事识别和交通控制领域，实现视频中目标的自动识别和跟踪。我们提出了一个车辆检测框架工作分为两个阶段:训练阶段和检测阶段。在这个视频中被分成了几帧。我们对目标区域内的相邻像素进行像素级分类，以获得定量观测值。颜色变换应用于分离车辆和非车辆颜色有效。采用Canny边缘检测方法提取物体的局部特征。因此，特征提取过程在考虑车辆颜色和局部特征的情况下，为分类提供了准确的结果。进一步构建用于车辆分类的动态贝叶斯网络(DBN)。实验在几种不同的航拍视频上进行。 The results demonstrate flexibility and good generalization abilities of the proposed system on a challenging data set with aerial surveillance images taken at different heights and under different camera angles.

关键字

车辆检测，空中监视，动态贝叶斯网络(DBNs)。

介绍

最近道路网络上车辆数量的增长迫使交通管理机构依靠先进的技术来做出更好的决策。从这个角度看，空中监视在当今具有更好的地位。空中监视在快速移动目标的情况下提供了更好的监视结果，因为空间覆盖范围更大。飞行器的探测与跟踪是智能空中监视的主要内容之一。在空中监视中涉及的困难包括摄像机运动，如平移，倾斜和旋转。不同的摄像机高度对检测结果也有很大影响。

空中监视在军事上有很长的历史，用于观察敌人的活动，在商业上用于监视资源。这种技术用于新闻收集和搜索和救援，空中监视主要使用胶片。这些被高度捕捉到的监视区域的静态图像，可以稍后由人类或机器分析人员进行检查。与航空图像相比，视频捕捉的动态事件是无法理解的。动作的反馈和触发基于动态事件，并提供重要和及时的情报和理解，这是不可用的。视频观测可用于实时发现和定位移动物体。视频也带来了新的技术挑战。与分幅相机相比，摄像机的分辨率较低。为了获得所需的分辨率并识别地面上的物体，必须使用视野狭窄的长焦镜头。这就导致了视频在监控中的不足。它提供了一个“苏打吸管”的场景视图。 The camera should be scanned to cover the extended regions of interest. Observer who is watching this video must pay constant attention, to the objects of interest rapidly moving in and out of the camera field of view. This video lacks a larger visual context—the observer has difficulty perceiving the relative locations of objects seen at one point of time where the object moments seen before. In addition to that geodetic coordinates for objects of interest seen in the video are not available.

2相关工作

该系统由Hsu-Yung Cheng[1]提出，摆脱了现有的基于区域或滑动窗口的空中监视车辆检测框架。设计了一种基于像素的车辆检测分类方法。Hsu-Yung Cheng提出Hinz和Baumgartner[2]提出的描述车辆特征细节不同层次的分层模型和基于级联分类器的检测方法存在漏检量大的缺点。基于车形对称属性[3]的车辆检测算法容易出现误检。均值漂移分割算法计算复杂度高是现有分割方法的主要问题。一种方法是在静止图像的情况下利用颜色变换，一种方法是倾向于利用广域运动图像。Linet al.[4]提出了一种通过减去每个帧的背景颜色，然后通过加强车辆的尺寸约束来细化车辆候选区域的方法。在[4]中，作者提出了一种基于级联分类器的移动车辆检测方法。检测阶段生成多尺度滑动窗口。该方法的缺点是在旋转车辆上存在大量漏检。Choi和Yang[5]提出了一种利用汽车形状对称特性的车辆检测算法。 Therefore, they applied a log polar histogram shape descriptor to verify the shape of the candidates. Unfortunately, the shape descriptor is obtained from the fixed vehicle model, such that the algorithm inflexible. The algorithm in [6] relied on mean-shift clustering algorithm for image colour segmentation. The high computational complexity of mean-shift segmentation algorithm is another concern.

3方法

A.层次模型

本文介绍了一种单目大比例尺航空图像车辆自动检测的新方法。提取基于层次模型，该模型在不同层次上详细描述了车辆的突出特征。除了该对象属性，该模型还包括上下文知识，即车辆与物体之间的关系，例如车辆旁边的路面和导致车辆阴影投影的太阳。这种方法既不依赖于数字地图或站点模型等外部信息，也不局限于特定的小瓶车辆模型。

B. rois(感兴趣的地区)

主要是基于凸和紧凑区域的边缘投票。推导矩形序列的假设形成，前面提取的线，边和曲面。验证和选择，包括矩形序列的辐射和几何分析，以及使用车辆模型及其局部环境进行验证。用于单个步骤的说明。为了避免在提取的早期阶段进行耗时的分组算法，我们首先关注一般的图像特征，如边、线和曲面。

图2:车辆检测的各个步骤

C.三维模型生成与验证

为了近似车辆的三维形状假设，从一组预定义的轮廓中选择一个特定的高度轮廓。请注意，假设的底层矩形保持不变，即轮廓的高度值是指垂直于车辆方向的图像边缘。轮廓的选择取决于提取的子结构，即验证矩形序列的形状。我们区分矩形序列对应于3种类型的车辆:掀背车，轿车，以及其他车辆，如货车，小型卡车等。与敞篷车和轿车相比，最后一类车的精确高度轮廓的推导需要对假设进行更深入的分析(例如，为了明确地确定车辆方向)。因此，在这种情况下，我们只能粗略地用一个高度恒定的椭圆弧来近似高度剖面。偏移，在地面之上。在根据2D假设和各自的高度轮廓创建3D模型后，我们能够预测车辆阴影在路面上投影的边界。如果分别提取出车辆阴影部分以外的黑暗均匀区域和照明部分以外的明亮均匀区域，则判断车辆假设得到验证。

D. 3刨床检测技术

如果我们试图基于三维来检测车辆，那么检测是非常关键的。

秘密共享(也称秘密分割)是指在一组参与者中分配秘密的方法;他们每个人都被分配去分享秘密。只有当足够多的、可能是不同类型的股票组合在一起时，单个股票本身是无用的，这个秘密才会被重构。

E.感知系统

在比赛中，车辆遇到了各种典型的城市驾驶场景。他们必须与其他交通互动，无论是人为的还是机器驱动的。它描述了比赛的获胜者Tartan Racing团队给出的感知方法。重点是检测和跟踪机器人周围的其他车辆。目前的方法允许通过情景评估算法对感知数据进行情景特定的解释，使感知算法保持情景独立。

四、车辆检测框架

在本文中，我们设计了一种新的车辆检测框架，保留了现有工作的优点，避免了它们的缺点。

我们读取输入视频并从该视频中提取帧数。执行背景颜色去除不仅可以减少误报，还可以加快检测过程。我们从图像帧中提取特征。我们做了以下的边缘检测，角落检测，颜色变换和颜色分类。帧边缘图像能够通过执行检测边缘，角落和转换颜色的地方来传输。我们使用dbn对车辆检测进行像素级分类。(动态贝叶斯网络)。在本文中，我们没有进行基于区域的分类，而是高度依赖均值漂移的颜色分割算法的结果。不需要生成多尺度滑动窗口。

A.帧提取

在模块中，我们读取输入视频并从该视频中提取帧数。通过像素计算、边缘检测和纠错，动态生成帧。

B.背景色去除

在这个模块中，我们构建了每个帧的颜色直方图，并删除了图片中频繁出现的颜色。这些被移除的像素在后续的检测过程中不需要考虑。执行背景颜色去除不仅可以减少误报，还可以加快检测过程。

C.特征提取

在这个模块中，我们从图像帧中提取特征。我们做如下的边缘检测，角落检测，颜色变换和颜色分类如图4所示。特征提取在训练阶段和检测阶段都进行，本文考虑了局部特征和颜色特征。

D.用于分类的DBNS

动态贝叶斯网络(DBNs)用于视频中的车辆分类。贝叶斯网络是一个有向无环图G =(V;E)，其中节点(顶点)表示来自感兴趣领域的随机变量，弧(边)表示随机变量之间的直接依赖关系，但贝叶斯网络中的节点是有条件的，因此父节点的值

p (x1;x2;::;xn)是p(X1= X1 ^x2..........)的缩写Xn)。换句话说，贝叶斯网络模拟概率分布，如果每个变量在给定父变量的值的情况下，有条件地独立于图中所有非后代变量。

我们使用DBNs[13]对车辆检测进行像素级分类。DBN模型的设计如图10所示。NodeVt表示一个像素在时间片t上是否属于某辆车，Vt的状态依赖于Vt-1的状态。此外，在每个时间切片t上，状态vt对观测节点St、Ct、Ft、at和Zt都有影响。观测值假设是相互独立的。这些观测值的定义在前一小节中解释。通过从多个训练视频中提供每个像素的ground truth标签及其对应的观测特征，通过Expectation-maximization算法得到DBN模型的条件概率表。在检测阶段，使用贝叶斯规则得到像素属于车辆的概率，

E.后期处理

需要从其中识别出一辆车，我们需要对每辆车进行掩蔽操作。我们正在去除频繁像素，因为它涉及到公共像素。我们能够通过应用后期处理来识别每辆车。

V.EXPERIMENTAL结果

本文给出了实验结果。为了分析所提出的系统的性能，使用了不同场景和不同拍摄高度的不同视频序列。

A.帧提取

获取输入视频并从该视频中提取帧数，通过像素计算动态生成帧数。

B.背景色去除

这些被移除的像素在后续的检测过程中不需要考虑。执行背景颜色去除不仅可以减少误报，还可以加快检测过程。

C.检测边缘

帧边缘图像可以通过执行检测边缘来传输。

D.颜色分类

在使用SVM时，我们需要选择块大小形成样本，进行车辆颜色分类。

E.后期处理

我们使用形态学操作来增强检测掩码，并进行连接组件标记来得到车辆。在后期处理阶段，我们消除了不可能是车辆的物体。

用于空中监视的自动车辆探测系统不需要假设任何摄像机高度、车辆尺寸和纵横比的先验信息。该系统执行基于区域的分类，这将高度依赖于计算密集型的颜色分割算法，如均值漂移。我们还没有生成不适合检测旋转车辆的多尺度滑动窗。相反，我们提出了一种基于像素的dbn车辆检测分类方法。尽管进行了像素级分类，但在特征提取过程中保留了区域内相邻像素之间的关系。因此，提取的特征不仅包括像素级信息，还包括区域级信息。由于车辆的颜色不会因相机角度和高度的影响而发生显著变化，我们只使用少量的正样本和负样本来训练支持向量机对车辆颜色进行分类。训练DBN所需的帧数非常少。总的来说，整个框架不需要大量的训练样本。同时对canny边缘检测器进行了保矩增强，提高了对各种航空图像检测的适应性和准确性。

参考文献

Hsu-Yung Cheng, IEEE成员，Chih-Chia Weng和Yi-Ying Chen，“使用动态贝叶斯网络在空中监视中的车辆检测”2012年3月21日。计算机科学项目99-2628-E-008-098的课堂讲稿。
S. Hinz和A. Baumgartner，“使用通用特征，分组和上下文的航空图像中的车辆检测”，在Proc. DAGM Symp.， 9月。2001，第2191卷，计算机科学课堂讲稿，第45-52页。
蔡志勇，杨永强，“基于局部形状信息的航空图像车辆检测”，中国影像影像技术研究院。计算机科学讲座笔记，第227-236页，2009年1月。
林仁仁，曹晓霞，徐勇，吴春春，乔海华，“基于机载移动车辆检测的城市交通监控”，论文第11卷第1期。IEEE Conf.Intell。透明。系统。，Oct. 2008, pp. 163–167
林瑞然，曹晓霞，徐勇，吴春华，乔海华，“城市交通视频监控的机载移动车辆检测”，《IEEE智能学报》。辛普，2009，第203-208页。
l.埃姆斯特，苏费金，西森胡森，M。Hetscher, S. Rabmann，和M. Ruhe，“LUMOS-Airbone交通监控系统”，在Proc.IEEE Intell。透明。系统。，Oct. 2003, vol. 1, pp. 753–759.
H. Cheng和D. Butler，“使用专家混合的空中监控视频分割”，在IEEE数字程序。成像计算。高新技术。达成。，2005, p. 66.
S. Srinivasan, H. Latchman, J. Shea, T. Wong和J. McNair，“机载交通监控系统:高速公路交通的视频监控”，载于《ACM第二版》。研讨会视频监控传感器。网络，2004，第131-135页。
C. G. Harris和M. J. Stephens，“一种组合的角和边缘检测器”，第4届Alvey Vis Conf, 1988，第147-151页
J. F. Canny，“边缘检测的计算方法”，IEEE Trans。模式肛门。马赫。智能。，vol. PAMI-8, no. 6, pp. 679–698, Nov.1986.
蔡文宏，“矩保留阈值:一种新方法”，计算。图形，图像处理，第29卷，no。3，第377-393页，1985。
蔡丽玮，谢锦伟，范国昌，“基于归一化颜色和边缘地图的车辆检测”，IEEE学报。图像的过程。，第16卷，no。3，页850-864,2007年3月
S.罗素和P.诺维格，《人工智能:现代方法》，第二版，恩格尔伍德悬崖，新泽西州:普伦蒂斯