关键字 |
| 图像缩放，插值，非自适应技术，自适应技术，上下文感知图像调整大小，基于分割，缝雕刻，基于翘曲的方法。 |
介绍 |
| 显示设备的技术发展非常快，图像经常需要在不同的尺寸和不同的纵横比下显示。图片经常出现在新闻报道中，人们在facebook和twitter等社交网站或WhatsApp和微信等移动应用程序上发布自己的照片，让家人和朋友看到。为了在所有条件下保持理想的图像视觉质量，需要适当的缩放方法。因此，针对不同视觉设备的图像缩放成为近年来研究的热点。图像记录了摄像机从一定角度拍摄的被覆盖场景的视觉信息。当重新缩放到不同的设置，如大小、分辨率或纵横比时，原始视觉内容将被改变[10]。为了将重要内容保留在原始图像中，研究者们开发了不同的图像插值技术，每种技术都有各自的优点和缺点。 |
图像插值技术 |
| 插值是一种图像缩放的方法。有许多不同类型的插值方法，每一种都会导致最终图像的不同外观。因此，最好在缩放过程中保留每个像素的质量或可见区别[13]。 |
| 图像插值在两个方向上工作，并尝试基于周围像素[8]的值来实现像素的颜色和强度的最佳近似。图1说明了使用二维图像插值缩放/调整大小的工作原理: |
| 插值技术主要分为两类: |
| A.非自适应技术 |
| B.适应性技术 |
| A.非自适应技术: |
| 非自适应插值技术基于对像素的直接操作，而不是考虑图像[3]的任何特征或内容。这些技术对所有像素都遵循相同的模式，易于执行，计算成本更低。各种非自适应技术有最近邻、双线性和双三次、Lanczos、Sinc等。 |
| i.最近邻算法:在所有插值算法中，最简单，处理时间最短。最近邻通过舍入所需插值点的坐标来选择最近像素的值。使用这种方法可以为目标图像[5]中的每个像素找到源(原始)图像中最接近的对应像素。新的像素与附近的其他像素相同。随着图像的增长，像素或颜色点被复制以创建新的像素。它创建像素化或边缘，将曲线分解成台阶或锯齿状边缘。这种形式的插值对图像的放大和缩小都有通常不可接受的影响。最近邻插值的插值核为[11]: |
 |
| 其中x =插值点与网格点之间的距离。 |
| 2双线性插值:双线性插值取4个邻域像素的加权平均值来计算其最终插值值。结果是图像比原始图像平滑得多。当所有已知像素距离相等时，插值值就是它们的和除以4。这种技术在水平和垂直两个方向上执行插值。与双三次插值相比，该方法具有较好的插值效果和较短的计算时间。双线性插值的插值核为[14]: |
 |
| 其中x =插值点与网格点之间的距离。 |
| 3双三次插值:双三次插值通过考虑已知像素的最近4x4邻域共16个像素，进一步超越了双线性。由于这些像素与未知像素之间的距离不同，因此在计算中，较近的像素会被赋予更高的权重。比起前两种方法，双立方法产生的图像明显更清晰，也许是处理时间和输出质量的理想组合。因此，它是许多图像编辑程序的标准，包括Adobe Photoshop，打印机驱动程序和相机内插补。双三次插值的插值核为[14]: |
 |
| 其中x =插值点与网格点之间的距离。 |
| iv.双三次b样条:双三次b样条插值算法与双三次插值一样，也是从最近的16个源像素开始进行插值。然而，该算法使用b样条插值函数而不是三次样条，这在一般情况下会产生相当平滑的结果。它使用二维不可分离滤波器进行卷积，因此复杂度增加。相比之下，双三次插值使用带有可分离滤波器的卷积，因此其复杂性较小。尽管存在这种性能差异，但双三次b样条具有有趣的平滑特性，使其在某些情况下成为一个很好的选择。双三次B-Splince插值的插值核为[5]: |
 |
| ijircce - 146 e003.gif |
| v. Lanczos插值:Lanczos插值函数是一个数学公式，用于在数字图像的样本之间平滑地插值值。它将给定图像的每个样本映射到Lanczos内核的翻译和缩放副本，这是一个由扩展的sinc函数的中央驼峰加窗的sinc函数。然后在所需像素处计算这些转换和缩放的内核的和。Lanczos插值在细节保存方面具有最好的性能，并且在不涉及强下采样的几何变换中产生的混叠工件最小。一维n阶Lanczos插值函数由[6]给出: |
 |
| 其中归一化sinc函数为: |
 |
| vi. Sinc插值:Sinc插值是阶3、阶4、阶5的Lanczos插值函数，如图2所示。它使用更复杂的sinc函数平滑地插值数字图像的值。Sinc算法得到了最好的结果;它能够一直解析细节到理论最大值，同时仍然保持最少的工件。在图像缩放中，sinc滤波器是一种理想化的滤波器，它可以去除给定截止水平以上的所有图像组件，而不影响其他图像细节，并且具有线性相位响应。这些算法主要用于最大化放大照片中的无伪影细节，不能用于扭曲或旋转图像[7]。在图像缩放过程中，像素值从一个位置到下一个位置可能会发生更突然的变化。你对周围像素的了解越多，插值效果就越好。因此，当我们拉伸图像时，结果会迅速恶化，插值永远无法为图像添加尚未呈现的细节[12]。目前所讨论的不同图像插值技术的结果如图3所示。 |
| B.适应性技术: |
| 自适应技术考虑图像特征，如强度值、边缘信息、纹理等。非自适应插值技术存在边缘模糊或边缘伪影的问题，且只存储原始图像的低频分量。为了获得更好的视觉质量，图像必须保留高频成分，这一任务可以通过自适应插值技术实现。这些技术比非自适应技术有更好的结果，但需要更多的计算时间。各种自适应技术是上下文感知调整大小，基于段，缝雕刻，包装等。 |
| i.情境感知图像大小调整:不同的研究者提出了许多情境感知图像大小调整的技术。使用这些技术，它允许改变图像大小以裁剪图像，但不固定输出图像的大小。在这组技术中，Suhet al.[17]提出图像中的对象在许多检索任务中是重要的。主要目标是，在缩放图像之前，它会自动裁剪图像以创建缩略图。在这种方法中，他们利用贪婪搜索计算显著图和裁剪窗口。这个显著图作为图像大小调整的重要标准。人脸检测是对人脸图像进行简单的区域裁剪。Zhang et al.[19]通过优化问题对图像进行裁剪，其中目标函数定义为三个子模型能量的和，即合成能量子模型、保守能量子模型和惩罚能量子模型。然后利用粒子群优化算法(PSO)，通过最大化目标函数来获得最优解。使目标函数最大化的候选解将成为最终的裁剪结果。Ciocca et al.[4] initially classify the different images according to its semantic types i.e. nature, close-up face image and others using CART classifier.Then they crop images by applying different algorithms base on the image semantic types. Natural and landscape images not changed, close-up face images are cropped using saliency map for skin color and face regions. Other image types are first checked for face using face detector application, if no face is detected it is cropped using saliency map.Stentiford[16] propose cropping an image based on the using saliency map calculated based on similarities between neighboring pixels in an image. Amrutha et al.[1] suggest the best cropping region for image based on region of interest derived from combining Itti’s and Standfordmodels. |
| 2基于分割的方法:Setlur等人[15]提出了一种非真实感的图像缩放方法。该算法首先将显著图与人脸检测相结合，对均值漂移分割得到的区域赋显著值。从显著性图中确定感兴趣的区域，图像要么被裁剪(如果所有感兴趣的对象都包含在目标大小内)，要么被重新定位(否则)。这种方法依赖于对重要对象的精确分割，并产生失真。然而，它有能力保留重要的区域，而丢弃不重要的背景场景有两个或多个分散的感兴趣的区域。 |
| 3接缝雕刻:接缝雕刻技术由AvidanS。[2]是一种用于内容感知图像调整大小的流行方法。接缝雕刻的方法是以一种明智的方式从图像中去除一些像素。一般思想是通过删除最不重要的接缝，一次减少一个像素的图像宽度(或高度)。接缝是图像从上到下，或从左到右的像素连接路径，取决于哪个维度被减少，每行或列只包含一个像素。如果重要性图基于梯度能量，则第一个被移除的煤层将位于均匀区域。然后，通过向左或向上移动像素来调整图像，以补偿被删除的接缝，从而使图像在宽度或高度上减小一个像素。图像只在接缝区域发生变化，而其他区域保持不变。当有足够多的低重要性接缝需要移除时，它会产生令人印象深刻的结果，但当接缝穿过重要区域时，它会产生扭曲和伪影。 |
| iv.基于翘曲的方法:基于翘曲的方法，有时也称为连续方法，如图4所示。它通过非线性畸变来获得调整大小的图像。Liu等[9,18]将重要区域的局部畸变限制到尽可能小，而允许不重要区域的局部畸变更大。这样，重要和不重要的区域都保留在最终的图像中，这对于保存相关对象的上下文很有用。然而，根据失真的程度，不重要的区域甚至可能消失，从而有效地导致内容删除。在这一类别中已经提出了几种方法，它们利用不同的约束和优化方法，与显式删除像素的方法相比，可以产生更平滑的结果。 |
结论及未来工作 |
| 本文研究了不同的图像插值技术，如非自适应技术和自适应技术。我们也研究了自适应技术在图像的视觉外观方面更好，但它需要更多的计算时间。当时间没有限制时，我们选择自适应技术，否则非自适应技术是首选。基于我们的应用，我们使用这些插值技术中的任何一种来进行图像缩放。缝雕刻适用于保留重要的区域，没有任何失真，当有足够的低重要性的接缝被删除。然而，当接缝穿过重要区域时，它会产生扭曲和伪影。基于翘曲的方法通常不会像缝雕刻那样创建不连续工件。然而，重要的对象可能会被扭曲，可能会出现模糊的工件。未来，我们将尝试在高端图形工作站上分析图像插值技术的性能和质量，并采用自适应和非自适应技术进行并行计算。 |
|
数字一览 |
|
|
|
参考文献 |
- Amrutha, i.s.， Shylaja, s.s.， Natarajan, S，和Murthy, K. N，“基于注意力驱动的兴趣区域提取的智能自动缩略图裁剪”，第二届交互科学国际会议论文集，第957-962页，2009。
- Avidan, S.和Shamir, A.，“内容感知图像调整的缝雕刻”，ACM图形学报，第26卷，第3期，第10页，2007。
- Burger, W.和Burge, M. J.，“数字图像处理:使用Java的算法介绍”，施普林格，2009。
- Ciocca, G.， Cusano, C.， Gasparini, F.和Schettini, R.，“小型显示器的自适应图像裁剪”，IEEE消费电子学报，第53卷，第4期，1622-1627页，2007。
- 5.Miklos, P.，“图像插值技术”，第二届西伯利亚-匈牙利智能系统联合研讨会，2004
- http://en.wikipedia.org/wiki/Lanczos_resampling
- http://pixinsight.com/doc/docs/InterpolationAlgorithms/InterpolationAlgorithms.html
- http://www.cambridgeincolour.com/tutorials/image-interpolation.htm
- Liu, F.和Gleicher, M.，“自动图像重定向与鱼眼视图翘曲”，第18届ACM用户界面软件和技术研讨会论文集，第153-162页，2005。
- Nishanthi, R.， Pon, l.t.t thai和Peter, K.J，“结构保留图像重定向与压缩评估和自适应注册”，国际软计算与工程杂志，Vol . 2, pp. 333-338, 2012。
- Pamarthy, C.， Vishnupriya, V.， Anjali, K.， Jayasree, P.和Pridhvi, R. P.，“一种基于插值的卫星图像对比度增强的新方法”，VLSI与嵌入式系统国际杂志，Vol. 5, pp. 934-938, 2014。
- Pascal, G.，“图像插值的线性方法”，在线图像处理，2011。
- 杨晓明，杨晓明，“一种基于图像插值算法的图像增强方法”，《计算机工程学报》，2013年第3卷，第1期，pp. 139 - 139。
- Prajapati, A.， Naik, S.和Mehta, S.，“不同图像插值算法的评价”，国际计算机应用杂志，卷。58, 2012年第1期，第6-12页。
- Setlur, V.， Takagi, S.， Raskar, R.， Gleicher, M.， and Gooch, B.，“自动图像重定位”，第四届移动与无处不在多媒体国际会议论文集，59-68页，2005。
- Stentiford, F. W. M.“基于注意力的自动图像裁剪”，第五届计算机视觉系统国际会议，比勒费尔德，2007。
- Suh, B. B.， Ling, H.， Bederson, B. B.， & Jacobs, D. W.，“自动缩略图裁剪及其有效性”，第16届acm用户界面软件与技术研讨会论文集，第95-104页，2003。
- Vaquero, D.， Turk, M.， Pulli, K.， Tico, M.， &Gelfand, N.，“图像重定位技术综述”，在SPIE光学工程+应用，第779814-779814页，2010。
- 张敏，张磊，孙勇，冯良，马伟，“数字照片的自动裁剪”，IEEE国际多媒体会议，第1-5页，2005。
|
菜单
