基于绝对差和算法的深度估计分析

Chirag S. Panchal¹阿巴伊·b·阿帕德海伊²

印度艾哈迈达巴德工程学院电子与通信系学生(ME-CSE)¹
印度艾哈迈达巴德工程学院电子与通信系助理教授²

摘要

立体视觉是获取场景深度信息的方法之一。它使用来自两个摄像头的立体图像对来生成视差图，可以很容易地转换为深度图。假设多视图图像序列的左通道和右通道都使用块或基于对象的方法进行编码。利用动态规划算法估计立体图像对之间的视差场。然后根据估计的视差场估计深度，选择性地检测咬合。此外，二维和三维运动补偿技术评估编码序列的深度或视差地图。深度图的可靠性和算法的计算成本是实现实时鲁棒应用的关键问题。提出了一种基于视差估计相关技术从立体图像对中估计可靠而准确的深度图的算法。通过考虑邻近的视差值，提高了估计视差值的可靠性和准确性，并避免了视差不连续处的电晕效应。均匀视差的分割区域内视差值的插值使通过三角测量的方法计算密集深度图成为可能。

关键字

立体匹配，视差，PSNR, MSE误差

介绍

视差是指多视点图像或立体图像中对应点之间的像素位移。研究人员一直特别关注立体视觉系统。立体视觉系统旨在通过匹配两张或多张从稍有不同的视点拍摄的图像来重建3D场景。立体视觉系统生成被观察场景的精确深度信息。大多数立体视觉实现都是基于两个面向前方的摄像头，每个摄像头都提供场景的2D投影。在这种情况下遇到的主要困难是立体匹配，它确定立体对中每两个对应像素之间的空间位移。这个过程被称为对应问题，它的目的是估计一个视差图，这是一个参考图像中所有像素的视差值的集合。

近几十年来，人们进行了大量的研究，以解决寻找左右图像之间的对应关系的问题。要了解更多细节，可以找到一个很好的密集两帧立体匹配算法分类。总的来说，立体匹配算法可以分为两大类:局部匹配算法和全局匹配算法。全局方法用一个能量函数来表述问题，这个函数是可以优化的。然后利用能量最小化技术同时确定所有的视差。全局方法通常具有较高的匹配精度，如图切割、动态规划和信念传播。然而，这些方法中的大多数都是计算开销很大的。与之相比，局部方法具有更高的效率，更适合于实时应用。为了在视差图中保持更多的平滑性，基于相关性的局部方法利用一个夜间窗口内的颜色或强度值。这些方法已经被广泛使用，其中成本函数是在感兴趣的像素周围的窗口上评估的。 Correlation based methods fail in most points because they are strictly based on the resemblance constraint by assuming that the intensities of corresponding points are similar which is not robust to changes in illumination and contrast variation. Also, these methods are not able to deal with the problems of occluded areas and discontinuities where some parts of one image are hidden in the second image. Moreover, pixels inside texture less regions and repetitive patterns are hard to be properly matched.

立体匹配

从多个视点重建三维场景的问题在航空摄影和人体立体视觉领域首次得到了研究。直到最近，场景重建问题通常被视为匹配问题，目标是匹配两个或多个图像之间的点或特征。在获得匹配后，假设已知摄像机位置，可以通过三角测量确定点的三维位置。

图像点的匹配是通过比较一幅图像中的一个区域(称为参考图像)与另一幅图像中的潜在匹配区域，并基于某种相似性度量选择最可能的匹配来完成的。所得到的场景估计然后总是使用相对于参考摄像机的深度图来表示。作为立体匹配过程的一个例子，请考虑在图1中估计点P的三维位置。通过在两幅图像之间正确匹配该点，可以利用该点的相对位移或位移来计算该点的深度。

立体视觉是使用两个相互水平位移的摄像机来获得同一场景的不同视图。深度信息可以通过检查物体在两个透视图中的相对位置来获得。距离相机较近的物体在两个视角之间的视位置会有较大的差异(视差)。一个视差图可以由两张图像的组合形成，这将允许系统根据物体与车辆的距离做出决定。

实现立体视觉的主要挑战是开发一种快速且返回良好结果的算法。主要有三个方面使这成为一项艰巨的挑战。第一个也是最大的挑战是，创建精确的物体视差映射是一个计算强度非常高的过程，因为必须在立体摄像机返回的两个图像中的像素之间进行许多比较。第二个挑战是许多快速算法(例如Daniel Hutten ocher的算法)无法区分同质区域。同构区域是具有相似纹理的区域，其中像素值变化很小。最后，第三个主要挑战是在每个立体图像中构成相同特征的像素没有相同的值。

A.解决相应的问题

对应问题是在图像或模型之间找到正确的点对点对应。如果我们可以在两个视图中识别出相同的3D点，我们就可以估计出它的3D坐标。准确解决对应问题是准确解决立体视觉问题的关键。

多图像对应背后的基本假设是，世界上任何足够小的区域的出现在图像之间的变化都很小。一般来说，外观可能会强调更高级别的描述符而不是原始强度值，但在最强烈的意义上，这个假设意味着任何世界点的颜色在图像之间保持不变。换句话说，如果图像点p和q都是某个世界点X的图像，那么p和q处的颜色值相等。如果世界上所有可见表面都是完全扩散的(即兰伯氏)，那么这种颜色恒定(或灰度图像中的亮度恒定)假设在理想相机中是正确的。在实践中，给定光度相机校准和典型场景，颜色恒常性保持得足够好，以证明它被大多数算法用于对应。

双目成像过程的几何结构也显著地修剪了可能对应的集合，从可能位于2D图像中的任何地方，到必须位于嵌入该图像[2][3]的1D线上的某个地方。假设我们正在寻找所有对应的像点对(p, q)涉及一个给定的点(图2),然后我们知道相应的世界点X, q是一个图像,必须通过问躺在射线投影中心的问:这条射线Qq的形象在另一个摄像机的图像平面Π位于直线l与飞机跨越Π的交集点p, q和q。因为X位于ray Qq它在Π上的投影p必须位于相应的视极线l上。(当相应的视极线位于相应的扫描线上时，图像被称为校正;对应像点在坐标上的差称为这些像点的视差。)这种观察，即给定一个图像点，另一个图像中的匹配点必须位于相应的外极线上，称为外极约束。外极约束的使用需要几何相机校准，这是典型的区分立体对应算法从其他，更一般的对应算法。

基于颜色稳定性和外极线约束，对应可以通过将图像中的每个点与对应外极线中具有完全相同颜色的每个点进行匹配来进行。然而，这显然是令人敬畏的:不仅会因为与颜色稳定性稍有偏差而错过匹配，而且可能会出现许多与其他颜色相同的虚假匹配。此外，对于真实的相机，传感器噪声和有限的像素大小导致在解决对应问题时额外的不精确。很明显，颜色恒常性和极极性约束不足以确定对应，具有可靠的三角测量的足够精度。因此，为了重建一个有意义的三维模型，需要一些额外的约束。Marr和Poggio提出了两条这样的附加规则来指导双眼通信[3][4]。

立体匹配算法

立体匹配算法，如SAD(绝对差和)，用于寻找立体图像的视差。

A. SAD(绝对差和)

该算法采用基于像素的方法进行视差的计算。绝对差和(SAD)是一种度量图像块之间相似性的算法。它的工作原理是取原始块中的每个像素与用于比较的块中的对应像素之间的绝对差值。将这些差异相加以创建一个简单的块度量，如果左右图像完全匹配，结果将为零。

绝对差的和可用于各种目的，如物体识别，立体图像的视差图的生成，以及视频压缩的运动估计。

评价方法

质量测量是根据已知的真实数据计算的:

均方误差

均方误差(MSE)和峰值信噪比(PSNR)是用于比较图像压缩质量的两个误差指标。

MSE表示压缩图像和原始图像之间的累积平方误差，而PSNR表示峰值误差的度量。

MSE值越小，误差越小。

观察和结果

结论

选用Matlab R2007b实现不同的立体匹配算法。立体匹配算法如SAD(绝对差和)已经实现了视差图的生成。SAD给出了很好的视差地图。MSE误差小，PSNR更精确。

未来的范围

不同类型的立体匹配算法已经成功地生成了视差图，但仍有改进的空间。立体匹配算法的性能受光照条件、形状和摄像机特性的影响。三者对视差图的影响。深度图可以生成。对象的高度和宽度也可以尝试计算。三维视图也可以通过使用视差图和深度图来生成。

数字一览


图1	图2	图3

参考文献

R. Gonzales, P.Wintz, woods，数字图像处理，加法- wesley, 1987
Nadir Nourain, Dawoud,Brahim, Belhaouri samir, josefina janier基于优化绝对差和算法的快速模板匹配人脸定位方法。计算机应用杂志，vol.18 no . 8, 2011年3月
A. Ian H. Witten, Eibe Frank，多重图像的几何，麻省理工学院出版社，2000年
《人类立体视觉的计算理论》。
马尔、波乔，立体视差的协同计算。
Daniel Scharstein和Richard Szeliski，密集两帧立体对应算法的分类和评价。
C. Lawrence和Kanade，一种立体匹配和遮挡检测的合作算法。
www.middlebury.edu