基于调查Examplar-Based超分辨率的修补

阿施施Dewangan¹,Indu Sahu²

助理教授、ECE系Chhattrapati Shivaji理工的杜尔格,恰蒂斯加尔邦,印度
PG学生(交流)、ECE称,Chhattrapati Shivaji理工的杜尔格,恰蒂斯加尔邦,印度

文摘

修复方法扮演着至关重要的角色在不同的应用程序(如对象删除,删除,图像恢复。填补缺失的地区在图像被称为图像修复。时间不同的算法修复缺失的地区形成的形象。介绍了一种新颖的基于examplar修补的框架。本文提出了一种新颖的基于补丁的修复和单一图像超限分辨算法。这种方法的优点是,它更容易比highresolution填补低分辨率图像。

关键字

Examplar-based,补平,图像修复,Patch-based修复,修复为基础的超分辨率。

介绍

目前,图像修复技术是计算机图形学的热点,有许多应用,如老电影改造,消除对象在数码照片,红眼变更、超级分辨率,压缩,图像编码和传输。图像修复是恢复失去的方法/选择部分图像的基于视觉的背景信息。因此图像修复的目标是恢复原始图像,但创建一些图像与原始图像有密切的相似之处。图像修复技术可以分为两大类。第一类问题diffusion-based方法传播水平行通过扩散或线性结构基于偏微分方程(PDE) [1, 2]。第二种类型的方法关注exemplar-based方法从已知的样本和最佳匹配纹理复制补丁图像附近(3 - 6)。

以上方法的一些局限性导致的发展层次的超分辨率方法修复。本文简要描述了一些图像修复方法。本文涵盖了一些选定的研究工作发表在2007年和2013年之间,命令他们在以下部分按时间顺序。

文献综述

a . Olivier Le Meur和克里斯汀·海雀(2013)

勒穆尔奥利弗等人提出了一个框架,它结合了修补和超分辨率。开始,建立一个低分辨率的图像从原始图片。然后一块非参数抽样法(修复算法)的孔是用来填写低分辨率的图片。然后填补区域的质量提高了使用singleimage SR方法。不同优先级的影响方面研究填补图像质量第一。一种基于加权相似度量Bhattacharya提出了距离。

低分辨率图像不仅使用事例(K最近的邻居)examplar-based方法[4]。相似事例的低分辨率和高分辨率补丁首先从输入图像和存储在一个字典。然后使用这些相似之处找到丢失的像素越高分辨率遵循一些原则用于幅图片超分辨率方法。该方法框架从而允许减少计算复杂度,并允许使用主导方向的图像结构。

b . Yunquing刘和Vicent Caselles (2013)

Yunqiang刘等人提出了一个再形成examplar-based方法的离散全局优化问题。提出能量抵消地图的功能写在条款(修复领域的分配到每个点对应点在已知的图像的一部分)。项附件包含数据项的能量保证重建的边界的连续性修复领域,一个术语,有利于空间相干图像中完成。

该方法使用一个多尺度图削减算法来解决能源最小化问题,介绍了特征向量表示比较,在低分辨率补丁来补偿损失的信息。该方法降低了计算成本,有助于消除歧义在低分辨率,提高补偿精度地图,显示块恢复更好的性能。

c . r .集市´伊内兹诺列加,a . Roumy g·布兰查德(2012)

r .集市´一±nez-Noriega等人提出了一个改进的优先顺序除了边缘检测算法。解决全球修复优化问题提出了一种调度,需要很多的计算距离的初始化。对于每个块位于已知和未知之间的边界地区,这片之间的距离,计算所有已知的补丁。本文还关注空间相干性。它包括补丁的概率密度函数(pdf)用于测量相似。

该方法使用交叉验证计算阈值区分纹理与结构补丁,和方差控制数据的放大。选择K-similar补丁使用相结合的平方距离的总和(SSD)和车辆疾驰的距离。补丁的pdf计算归一化直方图的补丁。正常化是根据每个补丁的元素的数量和颜色尺寸的数量。一旦发现K最近的补丁使用纹理或结构定义,它使用一个补丁最终获得的线性组合预测丢失的像素。

该方法提供了一个更好的线性边缘的完整性和更自然的缺失。其结果也提供更多的视觉一致性的形象。此外,该方法具有显著的计算负载低于大部分的算法。

勒穆尔·d·奥利弗,某位Gautier Christine海雀(2011)

勒穆尔奥利弗等人提出了一个新颖的修补算法的优点结合PDE-based计划和examplar-based方法。该算法基于结构张量的使用定义填充订单优先级和模板匹配。结构张量计算以分层的方式而模板匹配算法是基于一个再邻居。

方法的主要贡献包括四倍:第一个问题的使用结构张量定义填充顺序。第二是使用分层的方法不依赖于当地取向的奇点。第三与约束模板匹配搜索最佳候选人等照度线方向。第四是再邻居的方法来计算最终的候选人。最初,每个补丁的填充计算优先级。一旦优先被计算为所有未知像素,像素处理优先级顺序进行降序。这种填充顺序称为百分比基于优先级的同心填充(PPCF)。一旦发现像素具有最高优先级,基于模板匹配的平方的总和差异(SSD)应用于找到一个可信的候选人。再邻居搜索算法还用于计算最终的候选人以提高鲁棒性。

e·梅锣库恩He1 Jiliu周,剑张(2011)

梅锣el人提出一个彩色图像超分辨率算法通过邻居嵌入[9]和构建一个四元数模型(定义复杂的形式)来表达色彩的形象。四元数矩阵的元素时,那么矩阵称为四元数矩阵。这个四元数矩阵模型的彩色图像一个原始三维彩色图像矩阵转化为一个二维矩阵。摘要四元数的三个虚数部分被编码的R, G, B图像的颜色组件,采用四元数矩阵模型来表示三维彩色图像。

整个算法分为三个阶段,首先,每一个四元数矩阵分为重叠的小块,和每个图像补丁由四元数表示特征向量[10]。然后找到的K最近邻居集在所有补丁从每个低分辨率图像重建和计算最优权重重建误差最小化。其次,代替每一个低分辨率图像的特征向量对应的高分辨率图像,计算估计的值。最后,缝高分辨率的所有补丁根据相应的坐标,并执行当地的兼容性和平滑约束补丁来构造目标的重叠区域人力资源四元数矩阵模型和四元数矩阵模型转换回RGB空间,最后人力资源目标图像重建。

该算法通过邻居嵌入[9]应用于四元数矩阵提高相关的三个组件和保护的色彩图像的完整信息,并在一定程度上避免色彩失真。

f . Zongben徐,剑太阳(2010)

Zongben许等人基于examplar通过补丁传播图像修复算法。这个算法是基于补丁传播的内在传播图像补丁从源到目标区域的内部区域的补丁,补丁。传播,每个迭代的算法分解成两个程序:补丁选择与补丁修复。在补丁选择补丁优先级定义使用结构稀疏(衡量的稀疏的相似之处与周边补丁的补丁)鼓励填满补丁的结构更高的优先级。并且在补丁修补,选中的补丁fill-front应填写。选择fill-front补丁是补丁的稀疏线性组合之前稀疏正规化来源地区。这个提议结构基于稀疏的重点是能够强劲识别无论fill-front形状结构。拟议中的examplar-based补丁传播算法可以更好地推断出失踪的结构和纹理区域,与产生尖锐的修复结果符合周围的纹理。同时,patch-based填充有助于实现1)速度效率,2)精度纹理合成的(垃圾越来越少),,最后,3)线性结构的准确的传播。

g . Aurelie Bugeau Marcelo Bertalmio Vicent Caselles (2010)

Aurelie Bugeau等人提出了一个算法相结合三种基本技术:复制粘贴纹理合成、几何偏微分方程(pde)和邻近像素之间的一致性,并将其在一个能量函数(变分模型)。该算法必须应用到一个图像没有有效值在面具的形象。搜索最好的补丁的补丁在所有图像,提出了一种方法称为修剪[11]。每个像素的数量的候选人保持一个固定的参数设定的用户。这些候选人只是那些相似度最高的像素在初始化步骤。该方法还介绍了多分辨率计划工作如下:首先,一个高斯金字塔是由原始图像。接下来,迭代修复算法应用于最小的图像。然后使用这个图像得到的结果作为第二层次的初始化的金字塔,等等。这些方法的结果包含更少的模糊和能够正确地填补了灯笼,这些灯笼和红色和白色条纹的文本。

h·丹尼尔·Glasner Shai Bagon,米甲伊朗人(2009)

丹尼尔Glasner等人提出了一个两个家庭的超分辨率方法:古典多映像超分辨率和基于示例的超分辨率和显示这种结合方法可以应用于获得超分辨率从单个图像低分辨率的图像,没有任何额外的外部观察。这种方法是基于这样的观察:补丁在自然图像往往多余地多次复发在形象,都在相同的规模,以及在不同的尺度上。复发的补丁在同一图像比例尺(在子像素失调)产生经典的超分辨率,而复发的补丁在不同尺度相同的图像产生基于实例超分辨率。

首先,每一个低分辨率图像被认为是产生高分辨率源图像模糊和子抽样过程。补丁在输入低分辨率图像中寻找低分辨率图像的缩小版本。当找到类似的补丁时,其母补丁复制到适当的位置未知highresolution形象与适当的规模差距。老学(复制)高分辨率补丁诱发古典线性约束目标中的未知res高强度高分辨率图像。相应的模糊内核的支持取决于剩余规模差距分辨率级别的“学”之间的高分辨率补丁和目标分辨率级别的高分辨率图像。

沈阳戴,美韩、魏,吴应弘锣Aggelos k Katsaggelos (2009)

沈阳戴等人提出了一个扩展方法单一基于插值的图像超分辨率技术相结合软边缘削减方法测量软边缘的平滑的强度图像和处理各种彩色图像边缘和α席子彩色图像超分辨率技术。它引入了一个Geocuts方法[13]可近似欧氏硬边的长度减少指标在图像网格。整个算法分为四个阶段:首先,分解低分辨率图像通过使用光谱消光算法[14]阿尔法通道图像描述。其次,计算每个像素的低分辨率的自适应因子在每个颜色通道。第三,计算高分辨率自适应因子通过up-sampling双立方插值和比例因子s。对于每一个颜色通道,优化自适应Soft-cuts目标函数来获取高分辨率的结果。

拟议的SR算法有以下好处:

1。由于削减提出了软测量的几何属性,所有图像水平线条的长度可以同时最小化的超分辨率的任务。因此,可以获得结果与光滑的边缘。

2。这三个颜色通道与α-老渠道方案,同时利用和自适应策略提供了一个统一的治疗不同的对比和尺度的边缘。

j .霁刘Przemyslaw Musialski彼得•Wonkal Jieping你们(2009)

霁刘等人提出了一个算法来估计缺失值的张量可视化数据。值可以失踪由于在收购过程中的问题,或者因为用户手动确认多余的离群值。拟议的方法扩展矩阵的张量案件为张量理论基础,以完成与一个强大的凸优化算法,称为LRTC(低阶张量完成)。最初它引入一个初始定义跟踪规范的张量为了为张量定义凸优化完成。此外它雇佣了一个放松技巧来单独的依赖关系和使用块坐标下降(BCD)方法实现全局最优的解决方案。

该算法可用于视频压缩和视频绘画。视频压缩的核心思想是将每个像素和使用张量完成恢复丢失的信息。类似地,用户可以消除不必要的像素数据,并使用该算法计算替代了像素的值。

k .朱莉娅·a·Dobrosotskaya安德里亚·l·贝尔托齐(2008)

安德里亚·l·贝尔托齐等人提出了一个新的变分方法盲反褶积的图像和修补。本文结合了扩散的基本几何框架接口方法和小波的非定域性。算法的主要观点是:小波基函数是自然的候选人由于其有效表示图像局部结构和能力。在小波技术,可以使用离散小波变换的加速方法。

小波技术在信号处理使其适合的实现。创建一个方法,可以很容易地扩展二进制图像灰度。它描述了一个二进制图像修复模型使用修改后的Cahn-Hilliard方程有很多申请高对比度的图像,包括修复退化的文本、图像超分辨率,延续航拍照片的道路。模型有两个尺度,扩散界面,它可以完成拓扑转换,图像的特征尺度。

l . Nikos Komodakis乔治Tziritas (2007)

Nikos Komodakis et al。(2007)提出了一个新的exemplar-based框架,对图像完成,纹理合成和图像修复在一个统一的方式。为了能够避免视觉上的发生不一致的结果,它提出了上述图像编辑任务的形式离散全局优化问题。这个问题的目标函数总是定义良好的,和对应的能量离散马尔可夫随机场(MRF)。高效优化磁流变液,一种新颖的优化方案,称为优先级的信念传播(BP),然后,提出了带有两个非常重要的扩展了标准BP算法:基于优先级的消息调度和动态标签修剪。这两个扩展工作合作应对英国石油的不可容忍的计算成本,这是由于大量的标签与我们的MRF。因此,他们可以适用于任何MRF。,to a very wide class of problems in image processing and computer vision, thus managing to resolve what is currently considered as one major limitation of the BP algorithm: its inefficiency in handling MRFs with very large discrete state spaces.

结论

在本文中,我们审查删除对象的不同算法和修复受损的图像。我们讨论各种各样的图像修复技术,如基于纹理合成的修复、基于PDE的修补,基于范例的修补和半自动与快速修复技术。从这个调查中,许多缺点和局限性突出显示在每一个技术。分析证明了基于范例图像修复修补巨大缺失的地区会产生更好的结果,这些算法可以有效填补形成和纹理图像。在这我们也研究了不同类型的先验multi-frame /正则化方法和相应的优化技术和单帧超分辨率图像重建。这种方法是数值只小增加解决这些局限性导致基于例子的超分辨率算法的发展。

引用

m . Bertalmio G Sapiro, V Caselles C Ballester,图像修复:SIG-GRPAH 2000。(2000)
Tschumperl´e、D。Deriche, R。,“Vector-valued image regularization with pdes: a common framework for different applications”, IEEE Trans. on PAMI 27 (2005), 506–517.
Criminisi,。P´erez, P。富山,K。,“Region filling and object removal by examplar-based image inpainting”, IEEE Trans. On Image Processing 13 (2004), 1200–1212.
德,我。,Cohen Or, D.,. Yeshurun, H.,” Fragment-based image completion”, ACM Trans. Graph, 22, (2003), 303–312.
哈里森,P。,” A non-hierarchical procedure for re-synthesis of complex texture”, in: Proc. Int. Conf. Central Europe Comp. Graphics, Visual and Comp. Vision, (2001).
巴恩斯,C。,Shechtman, E., Finkelstein, A D., Goldman, B., “Patch-Match: A randomized correspondence algorithm for structural image editing”, ACM Transactions on Graphics (Proc. SIGGRAPH) 28, (2009).
埃,,Leung, T.K., “Texture synthesis by non-parametric sampling”, in: International Conference on Computer Vision. (1999), 1033– 1038FLEXChip Signal Processor (MC68175/D), Motorola, 1996.
弗里曼。西奥多,琼斯,,Pasztor, E.C., “Example-based super-resolution”, IEEE Computer Graphics and Applications 22, (2002), 56–65.
常,H。,Yeung, D.Y., Xiong, Y. “Super-resolution through neighbor embedding”, in: Computer Vision and Pattern Recognition. Volume I, (2004), 275–282.
W R汉密尔顿。四元数的元素(伦敦:郎曼书屋,绿色和有限公司,1866年)
Komodakis, N。,Tziritas, G., “Image completion using global optimization”, in Proc. IEEE Computer Soc. Conf. Computer Vision and Pattern Recognition, 2006, pp. 442–452.
Wexler Y。,Shechtman, E., Irani, M., "Space-time video completion, In: Computer Vision and Pattern Recognition (CVPR), (2004).
Boykov Y。,Kolmogorov, V., “Computing geodesics and minimal surfaces via graph cuts”, in ICCV, 2003
Rav-Acha,莱文,A。里奇斯D。,“Spectral matting”, in CVPR, 2007.
m . Turkan小说纹理合成方法及其应用图像预测和图像修复,博士学位论文,雷恩大学。1,2011年12月。