多焦点图像重建技术综述

Rohita P. Patil¹， Sneha P. Jatkar²

印度马哈拉施特拉邦浦那，Kashibai Navale工程学院辛哈盖德学院欧洲经委会系助理教授
印度马哈拉施特拉邦浦那市Kashibai Navale工程学院，欧洲经委会系PG学生[VLSI和ES]

摘要

利用多焦点图像进行图像重建是一种非常新颖的方法，在许多领域得到了广泛应用。本文详细介绍了在FPGA上利用多幅不同聚焦图像进行图像重建的不同方法。通过本次调研，确定了FPGA实现的有效方法。从实测资料的比较来看，基于三维FFT的空间频率分析方法成本较高。因此，利用降维技术和二维FFT技术可以设计出成本和质量都较好的图像重建方法。FPGA上的块ram限制图像大小。因此，基于fpga的图像重建系统利用板载DDR SDRAM克服了图像大小的问题。因此，基于Xilinx FPGA的图像重建系统可以得到有效的设计。

关键字

FPGA, FFT, IFFT，图像重建

介绍

利用多摄像机图像整合重建多视点图像是广电新媒体的基础技术。在遥感等大规模应用中，图像重建具有重要意义。它将来自两个或多个源图像的相关信息组合成一个更好地描述场景的合成图像，并保留来自源图像的有用信息。为了利用多张不同聚焦的图像生成特定的图像，如全聚焦图像，传统方法通常对获取的每张图像进行独立分析，并将其合并成所需的图像。这些方法不容易扩展到许多图像的合并，例如恢复复杂场景的纹理。在此基础上，提出了一种直接从多聚焦成像序列中生成自由视点图像而不需要任何深度估计的方法。该方法通过对序列施加一定的三维滤波器来实现图像的重建，但三维FFT的成本较高因此，目前有更高效的图像重建技术。采用降维技术对三维多聚焦成像序列进行高效、准确的图像重建。该方法将三维序列集成到单个二维图像中，然后仅通过对图像应用二维滤波器，即可重建所需图像，从而降低了系统的成本。

该方法由并行的确定性过程组成，没有条件分支。因此，它是FPGA硬件实现的一种有效方法。将在Xilinx FPGA上进行图像重建，但FPGA上的block - ram数量限制了图像大小。基于fpga的图像重建系统采用板载DDR SDRAM，对分割后的图像块进行重复处理。实现的系统可以工作在更大的图像尺寸没有任何缺点。

本文的组织结构如下:第一节介绍了图像重建，第二节介绍了不同的图像重建技术及其实现过程，第三节对所综述的论文进行了比较。结论载于第四节。

图像重建技术综述

自20世纪80年代中期以来，人们对图像重建技术进行了大量的研究和工作。重建图像最简单的方法是对源图像逐像素进行灰度平均。图像的组合采用了空间域技术和频域技术。空间域技术对图像像素进行处理以达到预期的效果，而频域方法首先通过傅里叶变换将图像转换到频域。通过傅里叶反变换得到合成图像。许多研究者致力于提出一种从多焦点图像序列中直接重建自由视点图像的方法。不同的方法，技术提出了从多个图像重建图像。

1) Paolo Favaro, Stefano Soatto介绍了一种新的离焦形状方法，其中讨论了从一组离焦图像中推断场景的三维结构几何问题[6]。一般情况下，从离焦图像中提取几何图形的方法还需要对给定的输入图像进行模糊处理。绕过该任务的一般方法依赖于通过与图像平行的平面局部逼近场景。但他们提出了一种从一组离焦图像推断场景三维几何的方法，该方法涉及通过奇异值分解调节的正交算子的计算。当PSF值未知时，他们提出了一种高效简单的方法，给出一组模糊图像的投影算子，然后用这些算子从模糊图像中估计特定场景的三维结构几何。

2) K. Kodama, H. Mo和a . Kubota提出了一种基于多张不同聚焦图像的整合图像生成方法。他们假设几何模糊模型用于图像散焦，然后使用卷积方法进行三维模糊，他们将获得的图像在成像平面上与物体的空间频率相结合。这样，他们利用三维FFT对获得的图像进行空间频率分析，重建出聚焦图像。在这种方法中，首先使用来自场景中某一点的光线集的轨迹之间的相对位置来确定所获取图像的模糊度，如图1所示。

＼

多聚焦图像序列g(x,y,z)是由采集到的多幅不同聚焦图像组成的三维信息，f(x,y,z)对应的是除遮挡外的场景三维信息。通过使用三维模糊滤波器h(x,y,z)的卷积，他们将f(x,y,z)和g(x,y,z)组合在一个空间不变方程中。首先，他们将采集到的多幅不同聚焦的图像整合为二维信息，如图3所示。一个新的二维图像定义如下，

3) Kazuya Kodama, Hiroshi Mo, Akira Kubota提出了一种新的图像生成方法，将多张不同聚焦的图像整合为结构化的三维信息。对集成后的图像序列进行频域分析，并直接转换为所需的图像，无需进行深度估计。由几何模糊模型导出的三维滤波器将场景和图像序列的空间信息与卷积空间不变方程结合起来。通过将方程转换到频域，他们保留了场景在序列上的频率分量。然后，他们设计了线性滤波器，将这些组件转换成不同视点和模糊的各种图像。该方法采用[4]降维技术，如图3所示

4) Izawa I.， Hamamoto T.， Kodama K.提出了一种利用深度估计直接从多焦成像序列重建视点图像的方法。这是一种非常有效的FPGA硬件实现方法。我们的FPGA上的块ram数量限制了图像大小为64 × 64像素。本文利用板载DDR SDRAM，对64 × 64像素的分割块进行重复处理，实现了基于fpga的自由视点图像重建系统。利用三维模糊滤波、空间频率分析和[2]降维技术对自由视点图像进行重构。整个过程使用图4所示的DDR SDRAM块在FPGA上实现。

图像重建技术的比较

上述论文的比较见下表1。

结论

详细介绍了基于FPGA的多幅不同聚焦图像自由视点图像重建技术。在各种图像重建技术中，降维方法和二维滤波方法是最有效的方法。该系统利用DDR和SDRAM，对分割后的图像进行重复处理，可以实现高质量的图像重建，且没有很大的缺点。因此，利用多聚焦图像的滤波器可以实现自由视点图像重建，并可在FPGA上进行简化滤波器的初步实现。

参考文献

“基于FPGA的线性滤波器自由视点图像重建方法”，中国光学学报(自然科学版)，2013年第1-1期。
Izawa I.， Hamamoto, T.， Kodama K.，“基于fpga信号处理的多聚焦图像高质量自由视点图像重建系统的研究”，2010年IEEE第17届国际图像处理会议论文集，页。413 - 416年,2010年
I.Izawa, K.Kodama，和T.Hamamoto，“三维多聚焦成像序列的自由视点图像重建及其基于fpga的处理实现”，《IEEE信号与图像处理应用国际会议论文集》，第415-418页，2009
X.Ou, T.Hamamoto，和K.Kodama，“基于降维的多聚焦成像序列的高效自由视点图像重建”，IEEE智能信号处理与通信系统国际研讨会论文集，152 - 155页。, 2007年
K. Kodama, H. Mo，和a . Kubota，“自由视点，虹膜和焦点图像生成使用基于模糊频率分析的三维滤波”，在IEEE ICASSP，第625-628页，2006
P.Favaro和S.Soatto，“从散焦到形状的几何方法”，IEEE Trans。模式分析与机器智能，vol. 27, pp. 406-417 .，2005