基于实例的超分辨率修复技术综述

阿施施Dewangan¹，因杜·萨胡²

印度恰蒂斯加尔邦杜格恰特拉帕蒂·希瓦吉理工学院欧洲经委会系助理教授
印度恰蒂斯加尔邦杜格恰特拉帕蒂·希瓦吉理工学院欧洲经委会专业研究生[传播]

摘要

修复方法在物体去除、划痕去除、图像恢复等各种应用中起着至关重要的作用。图像中缺失的填充区域称为图像补绘。随着时间的推移，出现了不同的算法来修补图像的缺失区域。本文介绍了一种新的基于实例的Inpainting框架。提出了一种基于补丁的图像修补与单幅图像超分辨率算法相结合的新方法。这种方法的优点是，它更容易绘制低分辨率的图像比高分辨率的图像。

关键字

基于实例，填充，图像修补，基于补丁的修补，基于超分辨率的修补。

介绍

图像修补技术是当前计算机图形学研究的热点，在老胶片修补、数码照片目标消除、红眼改造、超分辨率、压缩、图像编码和传输等方面有广泛的应用。图像修复是一种基于背景信息，以视觉上可能的方式恢复图像中丢失/选定部分的方法。因此，图像修复的目的不是恢复原始图像，而是创造出与原始图像有密切相似之处的图像。图像修补技术可分为两大类。第一类涉及基于扩散的方法，通过基于偏微分方程(PDE)的扩散传播水平线或线性结构[1,2]。第二种方法涉及基于样本的方法，从已知的图像邻域中采样和复制最匹配的纹理补丁[3-6]。

这些方法的局限性导致了基于超分辨率的分层修补方法的发展。本文简要介绍了图像修补的几种方法。本文涵盖了2007年至2013年间发表的一些精选研究作品，并按时间顺序排列在以下部分。

文献综述

奥利维耶·勒默和克里斯汀·吉列莫特(2013)

Olivier Le Meur等人提出了一种结合了修补和超分辨率的框架。首先，根据原始图像构建低分辨率图像。然后采用非参数补孔方法(补孔算法)对低分辨率图像进行补孔。在此基础上，采用单幅图像SR方法提高了填充区域的质量。首先研究了不同优先级项对图像质量的影响。提出了一种基于加权巴塔查里亚距离的相似度量方法。

使用K- nn (K Nearest neighbors)基于示例的方法[4]填充低分辨率图像。K-NN低分辨率和高分辨率斑块之间的相似性首先从输入图像中学习并存储在字典中。然后，根据单幅图像超分辨率方法中使用的一些原则，利用这些相似性在更高分辨率下找到缺失的像素。因此，所提出的方法框架可以降低计算复杂度，并允许使用图像结构的主导方向。

B.刘云青和Vicent Caselles (2013)

刘云强等人将基于实例的方法重新表述为离散全局优化问题。所提出的能量泛函是根据偏移映射(在图像的已知部分中为修补域的每个点分配相应的点)来写的。能量项包括数据附着项，以保证重建在修补域边界的连续性和有利于图像补全的空间相干性的项。

该方法采用多尺度图切割算法来解决能量最小化问题，在低分辨率下引入特征向量表示来比较斑块，以弥补信息损失。该方法降低了计算成本，有助于消除低分辨率下的歧义，提高偏移图的精度，并表现出较好的块恢复性能。

C. R. Mart´伊内兹·诺列加，A. Roumy, G. Blanchard(2012)

R. Mart´Ã Â±nez-Noriega等人提出了一种对优先级顺序的改进，另外还提出了一种边缘检测算法。为解决全局维修优化问题，提出了一种在初始化时需要计算多个距离的调度方法。对于位于已知和未知区域边界上的每个补丁，计算该补丁与所有已知补丁之间的距离。本文还讨论了空间相干性。它包括用于测量相似性的斑块的概率密度函数(pdf)。

该方法使用交叉验证来计算区分纹理和结构斑块的阈值，以及控制数据项放大的方差。为了选择k相似的补丁，它使用了方和距离(SSD)和海灵格距离的组合。利用斑块的归一化直方图计算斑块的pdf。归一化是根据每个patch的元素数量和颜色维度的数量给出的。一旦使用纹理或结构定义找到K个最近的补丁，它使用补丁的线性组合，最终获得缺失像素的预测。

提出的方法提供了更好的线性边缘的完整性和更自然的缺失区域的外观。其结果也提供了更多的视觉连贯图像。此外，该方法的计算量明显低于大多数算法。

D. Olivier Le Meur, Josselin Gautier, Christine Guillemot (2011)

Olivier Le Meur等人提出了一种新的修补算法，结合了基于pde的方案和基于实例的方法的优点。提出了基于结构张量定义填充顺序优先级和模板匹配的算法。结构张量采用分层方式计算，模板匹配采用k近邻算法。

提出的方法的主要贡献包括四个方面:第一个涉及到使用结构张量来定义填充顺序。第二种方法是使用分层方法，以减少对局部方向奇点的依赖。第三是约束模板匹配，在等光方向上搜索最佳候选。第四是用k近邻方法计算最终候选对象。最初，为每个要填充的补丁计算填充优先级。一旦计算出所定位的所有未知像素的优先级，像素将按优先级递减的顺序进行处理。这种填充顺序称为基于百分比优先级的同心填充(PPCF)。一旦找到具有最高优先级的像素，就会应用基于方差平方和(SSD)的模板匹配来找到一个合理的候选像素。采用k近邻搜索算法计算最终候选点，提高了算法的鲁棒性。

龚梅，何坤1，周继柳，张健(2011)

Mei Gong等人提出了一种通过邻域嵌入[9]的单色图像超分辨率算法，并构造了四元数模型(定义复杂形式)来表示彩色图像。当一个矩阵的元素是四元数时，这个矩阵被称为四元数矩阵。彩色图像的四元数矩阵模型将原始三维彩色图像矩阵转换为二维矩阵。本文利用四元数的三个虚部对图像的R、G、B颜色分量进行编码，采用四元数矩阵模型表示三维彩色图像。

整个算法分为三个阶段，首先，将每个四元数矩阵划分为重叠的小块，每个图像块由一个四元数特征向量[10]表示。然后从每张低分辨率图像中找到所有patch之间的K个最近邻集合，计算出使重建误差最小的最优重建权值。其次，将每个低分辨率图像的特征向量替换为对应的高分辨率图像，并计算估计值。最后，将所有高分辨率的斑块按照对应的坐标进行拼接，并对斑块的重叠区域实施局部兼容性和平滑度约束，构建目标HR四元数矩阵模型，并将四元数矩阵模型转换回RGB空间，重建最终的HR目标图像。

该算法将相邻嵌入[9]应用于四元数矩阵，提高了三分量的相关性，保留了彩色图像的完整信息，并在一定程度上避免了颜色失真。

徐宗本，孙健(2010)

徐宗本等基于实例的patch传播图像修补算法。该算法基于patch传播，将图像patch从源区域逐patch向目标区域内部进行内传播。对于每一次迭代的补丁传播，算法分解为两个步骤:补丁选择和补丁修补。在补丁选择中，补丁优先级是使用结构稀疏性来定义的(衡量一个补丁与其相邻补丁相似度的稀疏性)，以鼓励在具有更高优先级的结构上填充补丁。在补片修补时，应将所选补片在补片前进行补片。填充前所选patch是源区域中经过稀疏先验正则化的patch的稀疏线性组合。这种基于结构稀疏性的优先级算法能够鲁棒地识别不受充填面形状影响的结构。本文提出的基于实例的补片传播算法能更好地推断缺失区域的结构和纹理，并能得到与周围纹理一致的清晰补片结果。此外，基于补丁的填充有助于实现1)速度效率，2)纹理合成的准确性(减少垃圾生长)，最后，3)线性结构的精确传播。

G. Aurélie马塞洛·布约(Marcelo Bugeau) Bertalmío，维森特·卡塞莱斯(2010)

Aurélie Bugeau等人提出了一种结合了三种基本技术的算法:复制粘贴纹理合成、几何偏微分方程(PDEs)和相邻像素之间的相干性，并将它们组合在一个能量函数(变分模型)中。此算法必须应用于掩码图像中没有有效值的图像。为了在图像的所有小块中搜索出最佳的小块，提出了一种剪枝[11]的方法。为每个像素保留的候选数量是由用户设置的固定参数。这些候选对象只是初始化步骤中与像素相似度最高的那些。该方法还引入了一种多分辨率方案，其工作原理如下:首先，从原始图像建立高斯金字塔。然后，对最小图像进行迭代修补算法。然后，在此图像上获得的结果被用作金字塔第二层的初始化，以此类推。用该方法得到的结果模糊程度较低，能够正确地绘制灯笼盖体、灯笼上的文字和红白条纹条。

丹尼尔·格拉纳，沙伊·巴贡，米哈尔·伊拉尼(2009)

Daniel Glasner等人提出了两种超分辨率方法:经典的多图像超分辨率和基于实例的超分辨率，并展示了如何将这种组合方法应用于从单一图像低分辨率图像中获得超分辨率，而无需任何额外的外部观察。这种方法是基于这样一种观察，即自然图像中的补丁往往会在图像内部冗余地重复出现多次，无论是在相同的尺度内，还是在不同的尺度上。在同一图像尺度内(亚像素错位)的补丁的递归产生了经典的超分辨率，而在同一图像的不同尺度上的补丁的递归产生了基于实例的超分辨率。

首先，假设每个低分辨率图像都是由高分辨率源图像通过模糊和子采样过程生成的。在低分辨率图像的缩小版本中搜索输入低分辨率图像中的补丁。当发现一个类似的补丁时，它的父补丁将被复制到未知高分辨率图像中的适当位置，并具有适当的比例差距。学习(复制)的高分辨率补丁在目标高分辨率图像中的未知高分辨率强度上诱导经典SR线性约束。对应的模糊核的支持是由“学习”的高分辨率补丁的分辨率水平和高分辨率图像的目标分辨率水平之间的尺度剩余差距决定的。

一、戴圣阳，韩梅，徐巍，吴颖，龚义宏，Aggelos K. Katsaggelos (2009)

戴胜阳等人提出了一种基于插值技术的单幅图像超分辨率扩展方法，该方法结合软边缘裁剪法测量强度图像中软边缘的平滑度，处理彩色图像中的各种边缘，并结合alpha抠图技术实现彩色图像超分辨率。介绍了一种Geocuts方法[13]，该方法可以在图像网格上用切割度量近似硬边的欧几里得长度。整个算法分为四个阶段:首先，利用光谱抠图算法[14]对低分辨率图像进行分解，得到低分辨率图像的α通道描述。其次，计算每个颜色通道中每个像素的低分辨率自适应因子。第三，利用双三次插值和标度因子s进行上采样，计算高分辨率自适应因子。针对每个颜色通道，优化自适应软切目标函数，获得高分辨率结果。

本文提出的SR算法具有以下优点:

1.由于提出的软切割措施的几何性质，所有图像水平线的长度可以同时最小化超分辨率任务。因此，可以获得光滑边缘的结果。

2.所有三种颜色通道同时使用alpha通道SR方案，自适应策略提供了具有不同对比度和尺度的边缘的统一处理。

刘吉，Przemyslaw Musialski, Peter Wonkal，叶杰平(2009)

Ji Liu等人提出了一种估计视觉数据张量中缺失值的算法。由于获取过程中的问题，或者用户手动识别了不需要的异常值，这些值可能会丢失。所提出的方法通过将张量补全的理论基础与强凸优化算法(称为LRTC(低秩张量补全))结合起来，将矩阵情况扩展到张量情况。首先介绍了张量迹范数的原始定义，以定义张量补全的凸优化。采用松弛技术分离依赖关系，采用块坐标下降法求解全局最优解。

该算法可用于视频压缩和视频补绘。视频压缩的核心思想是去除单个像素，并使用张量补全来恢复缺失的信息。类似地，用户可以消除数据中不需要的像素，并使用所提出的算法为删除的像素计算替代值。

K. Julia A. Dobrosotskaya, Andrea L. Bertozzi (2008)

Andrea L. Bertozzi等人提出了一种新的图像盲反褶积和修补的变分方法。本文将扩散界面方法的基本几何框架与小波的非局域性相结合。该算法的主要观点是:小波基函数由于其局部化结构和高效表示图像的能力而成为自然的候选函数。在基于小波的方法中，可以采用离散小波变换来加快方法的速度。

小波技术在信号处理中很常见，因此是一个很好的实现候选。创建一种技术，可以很容易地从二值图像扩展到灰度。它描述了一个使用改进的Cahn-Hilliard方程修复二值图像的模型，该模型在高对比度图像中有许多应用，包括退化文本的修复，图像的超分辨率，以及航拍照片上道路的延续。该模型有两个尺度，一个是漫反射界面尺度，它可以在这个尺度上完成拓扑跃迁，另一个是图像的特征尺度。

L. Nikos Komodakis, Georgios Tziritas (2007)

Nikos Komodakis等人(2007)提出了一种新的基于范例的框架，该框架以统一的方式处理图像补全、纹理合成和图像修补。为了能够避免出现视觉上不一致的结果，将上述所有图像编辑任务以离散全局优化问题的形式提出。该问题的目标函数总是定义良好的，并且对应于一个离散马尔可夫随机场(MRF)的能量。为了有效地优化该MRF，提出了一种新的优化方案，称为优先级信念传播(BP)，该方案对标准BP算法进行了两个非常重要的扩展:基于优先级的消息调度和动态标签修剪。这两个扩展合作工作，以处理BP无法忍受的计算成本，这是由与我们的MRF相关的大量标签引起的。因此，它们可以应用于任何MRF，即图像处理和计算机视觉中非常广泛的一类问题，从而解决了目前被认为是BP算法的一个主要限制:它在处理具有非常大的离散状态空间的MRF时效率低下。

结论

在这篇文章中，我们回顾了不同的算法去除物体和修复损坏的图像。讨论了基于纹理合成的图像修复技术、基于PDE的图像修复技术、基于范例的图像修复技术以及半自动快速修复技术。从这项调查中，每一项技术都突出了一些缺点和限制。分析表明，基于样例的图像修补方法对巨大缺失区域的修补效果较好，且这些算法能有效地修补成形图像和纹理图像。本文还研究了多帧和单帧超分辨率图像重建的不同先验/正则化方法及相应的优化技术。这种方法在数值上仅限于分辨率的小幅提高。这些限制导致了基于实例的超分辨率算法的发展。

参考文献

M. Bertalmio, G Sapiro, V Caselles, C Ballester，图像绘画，在:SIG-GRPAH 2000。(2000)
Tschumperl´e, D.， Deriche, R.，“用偏微分方程的向量值图像正则化:用于不同应用的公共框架”，IEEE Trans。on PAMI 27(2005)， 506-517。
刑事isi, A.， P´erez, P.， Toyama, K.，“基于示例的图像修补的区域填充和对象移除”，IEEE，第2版。图像处理13(2004)，1200-1212。
卓里，我，科恩或，D，。叶胡润，“基于片段的图像补全”，计算机学报，2005。图，22，(2003)，303-312。
Harrison, P.，“复杂纹理重新合成的非层次程序”，在:Proc. Int。中欧图形，视觉和视觉，(2001)。
Barnes, C.， Shechtman, E.， Finkelstein, A . D.， Goldman, B.，“Patch-Match:一种用于结构图像编辑的随机对应算法”，ACM图形学报(Proc. SIGGRAPH) 28，(2009)。
Efros, a.a.， Leung, T.K，“非参数采样的纹理合成”，在:计算机视觉国际会议。(1999)， 1033 - 1038FLEXChip信号处理器(MC68175/D)，摩托罗拉，1996。
Freeman, w.t.， Jones, t.r.， Pasztor, E.C，“基于实例的超分辨率”，IEEE计算机图形学与应用22，(2002)，56-65。
张宏，杨德勇，熊勇，“基于邻域嵌入的超分辨率”，见:计算机视觉与模式识别。卷一，(2004)，275-282。
W R汉密尔顿。四元数元素(伦敦:Longmans, Green and CO, 1866)
科莫达基斯，N.， Tziritas, G.，“使用全局优化的图像补全”，《IEEE计算机学会论文》。计算机视觉与模式识别，2006,pp. 442-452。
Wexler, Y.， Shechtman, E.， Irani, M.，“时空视频补全，见:计算机视觉和模式识别(CVPR)，(2004)。
Boykov, Y.， Kolmogorov, V.，“通过图切割计算测地线和最小曲面”，ICCV, 2003
Levin, A.， rava - acha, A.， Lischinski, D.，“光谱抠图”，CVPR, 2007。
M. Turkan，新型纹理合成方法及其在图像预测和图像修补中的应用，博士论文，法国雷恩大学，2011年12月。