利用DT - CWT技术提高卫星图像处理的分辨率

V Krishnanaik¹, k.Purushotham²

印度拉贾斯坦邦chittoorgarh Mewar大学欧洲经委会系博士研究学者
埃塞俄比亚吉吉加大学电气与计算机工程系高级讲师

摘要

图像被定义为一个数组或矩阵，由行和列排列的正方形像素(图像元素)组成。图像处理是将图像转换为数字形式，并对其进行一些操作，以得到改进的图像并从中提取一些有用的信息的过程。实际上，信号或图像处理增强了数据的某些特征，而抑制了其他特征。例如，在分析纹理背景下的指纹图像时，增强指纹以识别其所有者可能很重要。适当的处理需要集中在一些特征上，比如要抑制的整体纹理模式，以及要增强的指纹平行、平滑的曲线。典型的图像和信号处理应用程序用于计算机视觉，人脸检测，特征检测，提取和分析，医学图像处理，遥感，语音识别，语音合成，语音压缩，音频，噪声抑制，自动地图分析。在本文中，分辨率增强(RE)方案(不基于小波)存在高频内容丢失(导致模糊)的缺点。基于离散小波变换(DWT)的RE格式会产生伪影(由于DWT移位可变属性)。提出了一种基于双树复小波变换(DT-CWT)和非局部均值(NLM)的卫星图像正则化小波域方法。对卫星输入图像进行近移不变的DT-CWT分解，得到高频子带。 The high-frequency subbands and the low-resolution (LR) input image are interpolated using the Lanczos interpolator. The high- frequency subbands are passed through an NLM filter to cater for the artifacts generated by DT-CWT (despite of its nearly shift invariance). The filtered high-frequency subbands and the LR input image are combined using inverse DT-CWT to obtain a resolution-enhanced image. Objective and subjective analyses reveal superiority of the proposed technique over the conventional and state-of-the-art RE techniques.

关键字

数字图像，子带，卫星，NLM, RGB, HSI，分辨率，多分辨率分析，NLM滤波，小波，DWT, DTCWT,PSNR, MSE, q指数。

我的介绍。

颜色模型(也称为颜色空间或颜色系统)的目的是以某种标准的、被普遍接受的方式对颜色进行规范。从本质上讲，颜色模型是一个坐标系统和该系统中的一个子空间的规范，其中每种颜色都由单个点表示。目前使用的大多数颜色模型要么面向硬件(如彩色显示器和打印机)，要么面向以色彩操作为目标的应用程序(如为动画创建彩色图形)。在数字图像处理方面，在实践中最常用的面向硬件的模型是用于彩色监视器的RGB模型和一大类彩色摄像机;CMY -青色、品红、黄色和CMYK -青色、品红、黄色、黑色模型，这与人类描述和解释颜色的方式密切相关。HSI模型还具有将图像中的颜色和灰度信息解耦的优点。由于色彩科学是一个广泛的领域，包括许多应用领域，因此今天使用的颜色模型有很多。这里很容易详细介绍其中一些模型，因为它们很有趣，信息量大。然而，保持手头的任务，在HSI章节中讨论的模型是图像处理的主要模型。

1.1 RGB颜色模型:

在RGB模型中，每种颜色都出现在其主要光谱成分红、绿和蓝中。THSI模型基于笛卡尔坐标系。感兴趣的颜色子空间是图1.1所示的立方体。其中RGB值位于三个角;另外三个角是青色、品红和黄色，黑色在原点;白色在离原点最远的角落。在HSI模型中，灰度沿这两点的连接线从黑延伸到白。HSI模型中的不同颜色是立方体上或立方体内部的点，由从原点延伸的向量定义。为了方便起见，假设所有颜色值都已标准化，因此图1.1中所示的立方体是单位立方体。即假设R、G和B的值都在[0,1]范围内。Image represented in the RGB color model consist of three component images, one for each primary color. When fed into an RGB monitor, these three images combine on the phosphor screen to produce a composite color image. The number of bits used to represent each pixel in RGB space is called pixel depth. Consider an RGB image in which each of the red, green and a blue image is an 8- bit image. Under these conditions each RGB color pixel [that is , a triplet of values (R,G,B)] is said to have a depth of 24 bits (3 image planes times the number of bits per plane) . The total number of color in a 24-bit RGB image is (28)3= 16.777.215. Figure 1.2 shows the 24-bit RGB color cube corresponding to the Figure 1.1.It is of interesting to note that acquiring a color images is basically the process shown in Figure 1.3 in reverse. A color image can be acquired by using three filters, sensitive to red, green and blue, respectively. When we view a color scene with a monochrome camera equipped with one of these filters, the result I s a monochrome image whose intensity is proportional to the response of that filter.

1.2 HSI颜色模型:

我们将要介绍的HSI模型，称为HSI(色相、饱和度、强度)颜色模型，它将彩色图像中的强度分量与携带颜色的信息(色相和饱和度)解耦。因此，HSI模型是开发基于颜色描述的图像处理算法的理想工具，这些颜色描述对人类来说是自然和直观的，毕竟，人类是这些算法的开发人员和用户。我们可以总结说，RGB是理想的图像颜色生成(如彩色相机的图像或显示器屏幕上的图像显示)，但它用于颜色描述的用途要有限得多。下面的材料提供了一个非常有效的方法来做HSI。如前所述，RGB彩色图像可以被视为三张单色强度图像(代表红色、绿色和蓝色)，因此我们应该能够从RGB图像中提取强度也就不足为奇了。如果我们将彩色立方体放在黑色顶点(0,0,0)上，而白色顶点(1,1,1)正上方，THSI就会变得相当清晰，如图(a)所示。

1.3型号转换:将颜色从RGB转换为HSI给定一个RGB颜色格式的图像，用公式得到每个RGB像素的H分量

假设RGB值已经归一化到范围[0,1]，角度θ是相对于HSI空间的红色轴测量的。通过将上述公式中的所有值除以360,Hue可以归一化到范围[0,1]。如果给定的RGB值在区间[0,1]，其他两个HSI组件已经在HSI范围内。

1.4颜色从HSI转换为RGB:

给定区间[0,1]内的HSI值，我们现在想要找到相同范围内对应的RGB值。适用的方程取决于h的值，有三个感兴趣的扇区，对应于原初分离中的120个区间。我们首先将H乘以360，这将使色调返回到其原始范围[0,360]。

RG扇区(0≤H≤120):当H在HSI扇区内时，RGB分量由方程给出

和

2相关工作

2.1对偶树复小波变换

在信号处理应用中，边和其他奇点在小波域中表现为振荡系数。这些系数的幅值描述了奇异点的强度，相位表示了奇异点的位置。为了确定振荡函数的局部包络线和相位的正确值，使用信号的“解析”或“正交”表示。这种表示可以从信号的希尔伯特变换中得到。结果表明，在雷达和声纳应用中，使用复杂滤波器组可以有效地处理复杂I/Q正交信号，而不是分别处理I和Q信道。因此，复正交小波可能被证明是一个很好的选择，因为它将允许同时处理幅度和相位。RCWT包括两种DT-DWT，一种是Kingsbury的DT-DWT(K)，另一种是Selesnick的DT-DWT(S)。这些基于DT-DWT的变换是冗余的，因为两个传统的DWT滤波器组树并行工作，并且由于两个树的各自滤波器近似正交，因此被解释为复杂的。换句话说，在两个树的所有分解层上，各自的尺度和小波函数形成了(近似的)希尔伯特变换对。两种版本的DT-DWT都使用2带PR滤波器集。

3该方法

分辨率(空间、光谱和时间)是利用遥感数据(卫星成像等)的限制因素。卫星图像(未处理)的空间分辨率和光谱分辨率是相互关联的(高空间分辨率与低光谱分辨率相关联，反之亦然)。因此，光谱以及空间分辨率增强(RE)是可取的。插值在正则中得到了广泛的应用。常用的插值技术是基于最近邻(包括最近邻、双线性、双三次和Lanczos)。由于增加了检测边缘和线性特征的能力，Lanczos插值(sinc滤波器的加窗形式)比它的同类(包括最近邻、双线性和双三次)更优。它还提供了在减少混叠、锐度和振铃方面的最佳妥协。基于偏微分方程的向量值图像正则化(VVIR-PDE)和使用稀疏表示的绘画和缩放方法现在是该领域的最先进技术(主要应用于绘画中的图像，但也可以视为插值)。正则格式(不基于小波)有丢失高频内容(导致模糊)的缺点。小波域的正则化是一个新的研究领域，近年来提出了许多算法[离散小波变换(DWT)、平稳小波变换(SWT)和双树复小波变换(DT-CWT)]。提出了一种采用DT-CWT和双三次插值的正则格式，并与传统格式(即最近邻、双线性和双三次插值和小波零填充)进行了比较(结果显示优于常规格式)。 More recently, in, a scheme based on DWT and bicubic interpolation was proposed, and results were compared with the conventional schemes and the state-of-art schemes (wavelet zero padding and cyclic spinning and DT-CWT ). Note that, DWT is shift variant, which causes artifacts in the RE image, and has a lack of directionality; however, DT-CWT is almost shift and rotation invariant.

基于DWT的RE方案会生成工件(由于DWT移位可变属性)。在这封信中，提出了一种基于DT-CWT的非局部均值正则(DT-CWT-NLM-RE)技术，使用DT-CWT、Lanczos插值和NLM。注意DT-CWT几乎是平移不变的和方向选择性的。此外，DT-CWT保留了完美重构的通常特性，具有良好的频率响应平衡。因此，与传统的小波变换相比，对小波系数进行修正后，DT-CWT得到了很好的结果，并且提供了更少的伪影。由于Lanczos滤波器提供了较少的混叠、锐度和最小的振铃，因此，它是RE的一个很好的选择。使用NLM滤波通过减少伪影来进一步提高DT-CWT-NLM-RE的性能。结果(光学图像的空间正则)与最佳性能的技术进行了比较。

3.1 NLM过滤

NLM过滤器(邻域过滤算法的扩展)是基于这样一个假设，即图像内容可能在某些邻域(图像中)和相邻帧中重复自己。它通过Y (p,q)周围像素的加权和(在帧内和在相邻帧中)计算去噪像素x(p,q)。该特征提供了一种从噪声污染图像中估计像素值的方法。在三维NLM算法中，像素在(p,q)位置的估计值为

3.2 NLM-RE

RE是通过修改NLM，使用以下模型实现的:

3.3建议技术

在本文提出的DT-CWT-NLM-RE算法中，我们将LR输入图像(对于多通道情况，每个通道分别处理)通过dt - cwt分解到不同的子带(即Ci和Wj i，其中i∈{A,B,C,D}， j∈{1,2,3})，如图3.1所示。Ci值为图像系数子带，Wj i为小波系数子带。下标A、B、C和D分别表示偶数行和偶数列索引、奇数行和偶数列索引、偶数行和奇数列索引以及奇数行和奇数列索引的系数，而h和g分别表示low-pass和high-pass滤波器。上标e和o分别表示偶数和奇数指标。Wj i值由因子β插值使用Lanczos插值(具有良好的近似能力)，并结合β/2插值LR输入图像。由于Ci中包含LR输入图像的低通滤波图像，因此高频信息丢失。为了解决这个问题，我们使用LR的输入图像代替Ci。虽然DT-CWT几乎是平移不变的，但是在Wji插值后可能会产生伪影。因此，为了满足这些工件，使用NLM过滤。所有插值的Wj i值都通过NLM滤波器传递。然后，对滤波后的子带进行DT-CWT逆变换，并对插值后的LR输入图像进行重构。结果表明，本文提出的DT-CWT-NLM-RE算法在峰值信噪比(PSNR)、MSE和q指数方面优于现有的小波域正则算法。

四、结果

定量比较验证了该方法的优越性。通过峰值信噪比(PSNR)和均方误差(MSE)的计算，得到了定量的结果。PSNR可由下式求得

正如预期的那样，最高级别的信息内容被嵌入到原始图像中。本文方法生成的图像具有较高的信息量水平的主要原因是由于未量化的输入LL子和图像包含了原始高分辨率的大部分信息

诉的结论

提出了基于DT-CWT和NLM滤波器的正则化技术。该技术利用DT-CWT对LR输入图像进行分解。采用Lanczos插补器对小波系数和LR图像进行插补。与DWT相比，DT-CWT几乎是平移不变的，产生的伪影更少，因此使用它。NLM滤波用于克服DT-CWT产生的伪影，并进一步提高所提技术在MSE、PSNR和Q-index方面的性能。仿真结果显示了所提技术的优越性能。

参考文献

Piao Y.， I. Shin，和H. W. Park，“小波域内子带间相关的图像分辨率增强”，Proc. Int。Conf.镜像进程。，San Antonio, TX, 2007, pp. I-445–I-448.
Buades, B. Coll，和J. M. Morel，“图像序列去噪不需要运动估计”，在《IEEE会议。基于音频、视频信号的测量》中。， 2005，第70-74页。
B. Atkins, C. A. Bouman和J. P. Allebach，“使用像素分类的最佳图像缩放”，在Proc. Int中。
H. Demirel和G. Anbarjafari，“利用复小波变换增强卫星图像分辨率”，IEEE geoosci。遥感，莱特。，第7卷，no。1，第123-126页，2010年1月。
H. Demirel和G. Anbarjafari，“基于离散小波变换的卫星图像分辨率增强”，IEEE, 2011。Geosci。遥感，第49卷，第1期。第6页，1997-2004,2011年6月。
H.德米雷尔和G. Anbarjafari，“利用离散和平稳小波分解增强图像分辨率，”IEEE，翻译。图像处理。，第20卷，no。5，第1458-1460页，2011年5月。
杜德伟，“基于小波域高频子带插值和空间域输入图像的图像超分辨率”，中国图象工程学报，vol. 32, no. 1。3，第390-394页，2010年1月。
J. L. Starck, F. Murtagh, J. M. Fadili，稀疏图像和信号处理:小波，曲线，形态多样性。英国剑桥:剑桥大学出版社，2010。
W. Selesnick, R. G. Baraniuk，和N. G. Kingsbur，“双树复小波变换”，IEEE信号处理。第22卷第2期6，第123-151页，2005年11月。