关键字 |
距离、立体视觉、差距、匹配、相机标定,测量。 |
介绍 |
避障的一个主要控制以来,自驾车辆系统组件的可靠感知现实世界是任何障碍检测系统的主要功能进行动态环境。在最后几年,大部分的历史文献的方法调整框架的立体视觉和其他3 d感知技术(例如激光雷达)和重要成果提供的几个实验自主地面车辆。为了实现良好的性能,大部分的算法需要一些假设地面[21]或近似的自由空间。失明是指被失明的状态。 |
本文组织如下。第二部分讨论了相关工作。第三部分讨论了立体匹配技术的基础知识。第四部分探讨了基于立体视觉的不同类型的应用程序。最后第五部分给出了结论。 |
相关工作 |
体视学技术用于记录和代表立体图像。它可以创建一个深度的错觉使用两个拍照稍微不同的位置。1838年,英国科学家查尔斯·惠特斯通发明立体照片和查看设备。立体视觉技术构建一个场景的三维描述观察到的几个观点。被认为是被动的,如果没有额外的照明场景,比如激光,是必需的。所以定义,被动立体视觉是很有吸引力的许多应用程序的机器人技术,包括三维物体识别和定位以及3 d导航的移动机器人[18]。 |
答:立体视觉 |
立体视觉是3 d数字图像信息的提取,如由ccd摄像机获得的。通过比较信息一个场景从两个角度,提取三维信息的检查对象的相对位置在两个面板。[5]这是类似于生物过程立体观测。在传统的立体视觉中,两个摄像头,流离失所的水平从一个另一个用于获取两个不同的观点在一个场景,在某种程度上类似于人类的双眼视觉。的恢复场景的三维结构使用两个或两个以上的3 d场景的图像,每个获得从不同的角度空间。获得的图像可以使用多个摄像机或移动相机。双目视觉这个词时使用两个摄像头采用[1]。 |
b对极几何 |
对极几何立体视觉的几何。当两个摄像机视图一个3 d场景从两个不同的位置,有许多3 d点之间的几何关系及其投影导致的2 d图像像点之间的约束。这些关系推导出基于假设摄像机可以用针孔摄像机模型近似。[7]。 |
图1描绘了两个针孔摄像头看着点x的摄像头,图像平面背后实际上是投影的中心,并产生一个图像旋转了180度。在这里,然而,简化投影问题的方法是将一个虚拟映像平面的每个相机的投影中心产生一个不旋转图像。OL或代表两个摄像头的中心投影。X代表感兴趣的点在两个相机。点xL和xR是点到图像平面的投影。每个相机捕获的2 d图像3 d世界。这种转换从三维到二维被称为一个透视投影和针孔相机模型描述。通常模型这个投影操作通过射线是从摄像头,通过其中心投影。注意,每个发出射线图像中对应一个单点[7]。 |
立体匹配技术 |
在过去的二十年里,许多立体匹配算法。分类方法在稀疏的音响和密集的立体匹配。分类明确的匹配,所有方法hand-designed过滤器和网络学习模式。最受欢迎的分类目前是全球和本地方法。计算各点的距离或任何其他原始场景相对于摄像机的位置是一个重要的任务的计算机视觉系统。最常见的方法提取深度信息的图像强度是通过一对同步camera-signals,两幅图像之间的逐点匹配的立体设置获取深度图像,或所谓的差距地图。 |
答:致密视差算法 |
方法制作密度差异的地图获得声望随着计算能力的增长。此外,得益于现代应用程序,因此需求密集的深度信息。稠密视差立体匹配算法可以大体上分为两类,根据像素的方式分配差距。首先,有算法决定每个像素的差距根据当地所提供的资料,邻近像素[5]。然而,其他算法为每个像素分配差距值取决于信息来源于整个图像。因此,前者的本地方法调用而后者的全球。 |
b .本地方法 |
1)归一化互相关(NCC) &笔绝对差(SAD): Muhlmann和他的同事(2002)描述了一种方法,使用绝对差异(SAD)的总和为RGB彩色图像相关测量[6]。实现高速和合理的质量。它使用从左到右的一致性和唯一性约束和快速中值滤波适用于结果。它可以达到20帧图像大小为160 * 120像素,使这种方法适合于实时应用。动态规划(DP),输入图像的像素之间的相似度表示测量使用各种通信等搜索方法的简单SAD-based方法,自适应支持权重法和动态规划(DP)方法[21]。 |
2)零均值互相关(ZNCC): |
该方法集成了一个神经网络(NN)模型,它使用least-mean-squareδ规则进行训练。神经网络决定适当的窗口形状和大小为每个支持地区[21]。获得的结果是令人满意的,但为0.024 fps运行速度报道常见图像集,在Windows平台上的300 mhz的处理器。 |
3)基于窗口(窗口固定2 d): |
立场不同的图像比较的基础上计算的结果固定大小的元素的一个社区。窗户已经非常流行,是传统内的相关方法。这种方法取得了更健壮的方法,工作在一个排名窗口元素和使用特殊的强度指标来比较候选人匹配。一种方法使用多个固定窗为每个位置描述。其他窗口特性可以包括过滤器的输出或边缘检测器[9]。变量二维窗口:一些方法自适应地增加一个初始窗口的大小,取决于一个阈值方差衡量,更健壮的大型立体对均匀区域。一个先进的变量窗口方法提出了靠窗,找到变形的仿射变换的图像,相关措施是优化[8]。 |
c .全球方法 |
与当地的方法相反,全球的产生非常准确的结果。他们的目标是找到最优差异函数d = d (x, y)全球成本函数最小化E,结合数据和平滑度。E (d) = Edata (d) + k Esmooth (d) Edata考虑(x, y)像素的值在整个图像,Esmooth提供了算法的平和的假设和k是一个体重因素。全球方法的主要缺点是,它们更多的时间消耗和计算要求。这些特征的来源就是他们使用的迭代优化方法。他们大致可以分为执行全球能源最小化和追求独立的最小使用DP扫描线。 |
1)颜色分类: |
算法执行全局优化考虑整个图像以确定每一个像素的差距。每一部分所描述的是一个平面模型和分配给一个层使用基于均值漂移聚类算法[16]。全球成本函数,考虑了绝对差异,总结之间的不连续段和遮挡。段的分配层迭代更新,直到成本函数不再提高。实验结果表明,未遮挡像素的绝对差异的百分比误差。 |
2)图削减方法(GC): |
参考图像分为非重叠部分使用意味着转变颜色分割算法[9]。因此,飞机的一组差异生成空间。一个能量函数最小化的目标是在段而不是像素域。差距飞机是安装在每个段使用削减图方法。该算法提出了纹理越来越闭塞地区的良好的性能以及在视差不连续。 |
3)基于能量: |
方法将两幅图像的立体对称的能量最小化框架内,也可以体现颜色分割作为一个软约束。这个方法执行参考图像中的遮挡的差距发现符合其他形象。信仰传播迭代改进结果。此外[10],结果包含分割算法的版本更好。 |
d .其他方法 |
当然,还有其他方法,生产密集视差地图,可以放置在先前的类别。下面讨论的方法使用小波技术或各种技术的组合。这样的方法,基于连续小波变换(CWT)和基于特征检测和跟踪滤波器。 |
1)特征检测方法: |
特征检测技术是用来纠正和提取有趣点的图像。传统的立体匹配方法筛选和冲浪。尺度不变特征变换算法在计算机视觉检测和描述局部特征图像[7]。筛选的重点对象是首先提取一组参考图像和存储在数据库中。对象是公认的在一个新的图像通过分别比较每个特性的新形象这个数据库并找到候选人基于他们的特征向量匹配特性。匹配,全套的子集的要点达成一致的对象和它的位置,规模和方向,这新形象识别过滤好的比赛。 |
2)加速强劲功能检测: |
冲浪是一个健壮的局部特征检测器,可用于计算机视觉对象识别和三维重建。这一技术是受筛选描述符。冲浪的标准版是几倍的筛选,并声称对不同图像转换比作者更健壮的筛选[7]。冲浪是基于2 d Haar小波的响应,使一个有效的利用积分图像。两个特征检测器技术在立体传统上有用的发现功能。这些技术有很高的执行时间,如果用于实时应用程序。图像配准特征检测方法。基于实验结果,发现筛选检测到更多数量的特色与冲浪但受到与速度[12]。海浪一样快速和具有良好性能的筛选。 |
图2显示了一个避障系统的流程图。输入显示了一对音响由立体相机拍摄的图像对。后,纠正和提取的对象基于颜色或形状的物体。找到差距和测量距离。距离可以通过三角测量技术或任何其他技术[3]。然后障碍是可以避免的。 |
大肠和立体视觉问题: |
1)通信的问题: |
找到这样的匹配点对,每一对点是相同的3 d点的投影。模糊的两幅图像的对应点之间可能导致不同场景的解释[2]一致。立体成像的基本相关的问题与事实对象可以从不同的观点看起来明显不同。有可能两个立体视图的足够不同,相应的地区可能无法正确匹配。更糟糕的是,在梗阻多场景,场景非常重要的特性只可能出现在一个视图中[3]。这个问题是缓解减少基线,但深度测定的准确性受到损害。 |
2)重建的问题: |
鉴于对应点,我们可以计算出差异图和计算参数。差异可以被转换成3 d地图叫重建面临的问题[3]。 |
应用程序 |
答:3 d跟踪[11]。 |
b人们计数(建筑、公共汽车、火车)。 |
c .监测轨迹(购物、运动)。 |
d .安全[19]。 |
e .监视和安全[21]。 |
结论 |
因此立体视觉主要用于三维重建图像。在这里,对实时避障方法简单的调查,主要是基于立体视觉。从立体图像对提取的对象是立体视觉的主要应用之一。立体匹配方法的分类是为了解释文献中给出的不同的方法在过去的年。每个工作在考虑需要一个好环境的感知水平。密度差异映射和密集的现场流映射进行了研究。从特定的距离可以避免利用立体视觉障碍。 |
|
数据乍一看 |
|
|
图1 |
图2 |
|
|
引用 |
- 侯A-Lin、耿崔雪迎园Wen-Ju,厚街,基于立体视觉测量的安全驾驶距离,为国际会议上图像和图形,IEEE,页:209 - 906,2011。
- Donguk Seo,韩星公园和Kanghyun乔Kangik加工,Sungmin杨和金太昊,omni定向基于立体视觉的车辆检测和距离测量驾驶员辅助系统”,2013年IEEE,页:5507 - 5511。
- Manaf a Mahammed 1,阿美动物部即Melhum 2,法里斯a . Kochery对象由立体视觉测距,“国际科学与工程研究杂志》上(IJSAIT),二,二,pp: 05-08, 2013。
- 达瓦k . Patel Pankaj a . Bachani Nirav r·沙——远程使用双目立体视觉测量系统的方法。为国际工程和技术杂志》上(IJERT),二,页:2661 - 2664,2013。
- 天然橡胶Rajaan, M。拉姆库玛儿B。Monisha C。Jaiseeli, S。文卡特桑Prasanna,从立体图像视差估计,为(icmoc - 2012), Procedia工程科学指引,38岁的卷页:462 - 472年,2012年
- t . Surgailis a . Valinevicius诉Markevicius, d . Navikas d . Andriukaitis向前,避免使用立体视觉基于汽车碰撞,为Elecronika红外Elektrotechnika, 18卷,页:37-40,2012。
- 阿瓦尔Fahmy基于立体视觉的深度估计算法在未校准的整改”国际杂志》的视频图像处理和网络安全IJVIPNS-International工程和科学期刊(ijen)卷:13页:37-40,2013。
- Komal d . Bhavsar Virendrasingh教授分析差异映射的立体匹配算法,“IJSRD——国际期刊科学研发1卷,页:2339 - 2347,2014。
- Komal d . Bhavsar Virendrasingh教授对象分割基础差异映射为立体图像审查确定,“IJSRD——国际期刊科学研发1卷,页:2343 - 234,2014。
- Prof.Ssergiu Nedevschi,博士。罗尔夫施密特博士。于伯爵,-准确性远距离立体视觉系统障碍检测,“IEEE智能车辆研讨会,页:292 - 297,- 2004年6月。
- 黄Junyeon Kunsoo Hu Jaehak公园Daegun香港,——立体的障碍在车辆检测系统,建立“科学工程、光学和激光,直接,爱思唯尔,页:168 - 178,2008。
- 斯特凡·k·格弗里德约夫·j·斯坦,避免碰撞前后系统“IEEE智能交通系统,8卷,页:233 - 244,2007。
- 菲利普Suligoj Bojan Sekoranja, Marko Svaco Bojan Jerbic,对象跟踪可替换主体机器人系统和立体视觉相机,“24日DAAAM智能制造和自动化、国际研讨会ScienceDirect,页:968 - 973,2013
- l . Nalpantidis。Amanatiadis G。Sirakoulis2: Kyriakoulis, a . Gasteratos密集视差估计使用分层未校准的立体视觉匹配技术,”是2009年深圳国际研讨会上成像系统和技术,IEEE,页:427 - 431,2009。
- 先生,先生,先生Brojeshwar Bhowmick Sambit Bhadra业务Sinharay,基于立体视觉的行人检测和测距的汽车应用程序中,“IEEE,页:25 - 29,2011。
- Antonio Marin-Hernandez米歇尔•Devy而且居住者的立体视觉传感器检测和分类在汽车驾驶室,“墨西哥政府资助的博士生,科学直接,页:1 - 6:,2010。
- Young-Chul Lim Chung-Hee李,很快Kwon Lee jong hun,跟踪距离和速度使用立体视觉系统,“2008年IEEE,页:48-50 .2008。
- 尼古拉贝尔尼尼,马西莫·贝尔托齐,卢卡Castangia,马可Patander1和马里奥•Sabbatelli实时障碍检测使用立体视觉自主地面车辆,“智能交通系统(ITSC),页:873 - 878,2014。
- 李,王道太阳、詹Yuanzhi和贾。软件和硬件的实现立体匹配,”国际《信号处理、图像处理和模式识别第七卷,页:37-56,2014。
- www.middlebury.edu
|