审查和比较研究的运动估计技术在视频压缩降低复杂性

女士Bhavina帕特尔¹,Dr.R.V.Kshirsagar²和Dr.Vilas Nitnaware³

助理教授,仪控的部门。,Sarvajanik Engg学院。&技术。印度苏拉特
副校长、ECE系Priyadarshini学院工程学院,印度那格浦尔
项目团队的技术指导,有皱纹的InfoTop网络,山东,中国,印度

文摘

块匹配运动估计是视频压缩的关键组成部分,因为它的高计算复杂度。运动估计的过程在很多视频应用已经成为一个瓶颈问题。典型应用包括高清晰度电视、多媒体通信、视频会议等运动估计是一个有用的评估任何对象的运动。运动估计已常规应用于视频编码的应用但现在视频编码以外的各领域的研究人员转向运动估计解决各种现实生活在各自领域的问题。在本文中,我们提出一个审查基于块匹配的运动估计算法,减少了运动估计技术的复杂性和在所有不同的算法进行比较研究。也是本研究的目的是为读者提供一个感觉相对性能的算法,特别注意重要的计算复杂度之间的权衡,预测质量,结果质量和其他各种应用程序。

关键字

固定大小的块运动估计(FSBME),基于块的运动估计(BMME) Peak-Signal-to——噪声比(PSNR),混合块匹配算法(HBMA)。

介绍

运动补偿变换编码的基础形式,现有的视频压缩标准H.26 1 / H。262 and MPEG- 1 /MPEG-2, where the compression algorithm tries to exploit the temporal and spatial redundancies by using some form of motion compensation followed by a transform coding, respectively. The key step in removing temporal redundancy is the motion estimation where a motion Vector is predicted between the current frame and a reference frame. Following the motion estimation, a Motion compensation stage is applied to obtain the residual image, i.e. the pixel differences between the current frame and a reference frame. Later this residual is compressed using transform coding or a combination of transform and entropy coding. The above Video compression standards employs block motion estimation techniques. The main advantages of FSBME (fixed size block motion estimation) are simplicity of the algorithm and the fact that no segmentation information needs to be transmitted [1]-[2]-[3].

在块运动补偿视频编码;第一个图像帧分为街区(固定大小)。下一步是应用一个三步过程,包括运动检测、运动估计和运动补偿。运动检测是用于分类块移动或非基于预定义的距离或相似的措施。这种相似性测量通常是由MSE(最小均方误差)标准或最低悲伤(绝对不同)的标准。运动估计算法的输出包含每个块的运动矢量,与像素值之间的差异在当前帧和参考坐标系的“匹配”块。我们称之为不同信号运动补偿误差,或者只是块错误。许多技术已经提出了视频压缩到目前为止对运动估计。所有方法提出了保持三个方向的任何一个或多个目标,1。减少计算复杂度2。代表真运动(证明质量好)3。降低比特率(高压缩比)。

高性能的视频压缩的关键在于有效的减少时间冗余。为此,基于块的运动估计(BBME)技术已成功应用于从H.261视频压缩标准h。最直接的BBME必须全搜索算法(FSA)方法,搜索在搜索范围内每个候选人地位。由于FS耗费极高的计算成本,给我发展和细化算法被恶魔档案更好的计算成本之间的权衡,我的速度。

各种穷举搜索块匹配算法(ES),三个步骤搜索(TSS),新的三个步骤搜索(NTSS),四步搜索(4 ss),钻石搜索(DS)和自适应十字架模式搜索(ARPS) umhexagons,光流,可变块大小、分级块匹配。

在本文中,我们提出一个审查的各种基于块匹配的运动估计算法。第二部分解释了块匹配一般,然后上面的详细算法。第三节真运动或面向质量的方法。第四部分对两者进行比较。第五部分是结论。第六部分是文献调查最近的算法,其次是总结和引用。

节中,我

块匹配算法:

块匹配运动估计(BMME)是应用最广泛的运动估计方法,视频编码。运动估计背后的基本假设是,模式对应于对象和背景帧的视频序列帧到帧内移动块匹配背后的想法是将当前帧划分为一个矩阵„宏块,然后与相应的块和相邻的邻国相比前一帧来创建一个规定一个宏块的运动向量在前一帧从一个位置到另一个。这个运动计算出所有宏块组成一个框架,构成了当前帧的运动估计。良好的宏观块匹配的搜索区域限制到p像素完全一致的对应在前一帧宏块。这„p称为搜索参数。更大的运动需要一个更大的p和较大的搜索参数。计算昂贵的运动估计过程的过程。通常宏块作为一个正方形的边16像素,和搜索参数p是7像素。

我们的想法是用图2表示。一个宏块的匹配与另一个是基于成本函数的输出。宏块,结果在最低成本是当前块匹配最接近。块匹配的最直观的方法是使用全搜索算法(FSA)。搜索标准试块,所有可能的(2 + 1页)2块搜索来获取最优最佳匹配块使用标准如MSE、梅、生气或悲伤,给出如下:

其中N是宏块,在方程(3)我(I + u, j + v)和R (I, j)是当前宏块的像素比较和参考宏块,分别。Peak-Signal-to-Noise-Ratio (PSNR)由方程(4)的运动补偿图像特征是由使用参考系的运动矢量和宏观的时钟。

第二节

答:低计算复杂度和快速的方法:

1。完整的搜索方法:

也称为完整的搜索,这个算法是最昂贵的块匹配算法计算。该算法计算代价函数在每一个可能的位置在搜索窗口。由于它找到最佳匹配,给最高的PSNR值在任何块匹配算法。快速块匹配算法来实现相同的PSNR做尽可能少的计算。ES最明显的缺点是,搜索窗口越大越计算需要169迭代如果p = 6,它需要289迭代如果p = 8。

b . REGTANGULAR模式基于块的快速搜索算法

1。三个步骤搜索方法:

[4]这个算法是基于对数减少的而且方法步骤大小如图所示。初始步长一半的最大动位移d。每一步,九检查点匹配和最小BDM的一步是选为下一步的首发中锋。对于d = 7,所需数量的检查点(9 + 8 + 8)= 25。大搜索窗口(即大d)、3学生可以很容易地扩展到n步使用相同的搜索策略所需的检查点数= (1 + 8 log2 (d + 1)]。

2格式三步骤搜索方法:

新三个步骤搜索方法NTSS[5]改善TSS结果通过提供一个中心偏见搜索方案,规定一半停下来降低计算成本。这是第一个被广泛接受的快速算法和常用的标准MPEG 1和H.261早些时候实施。TSS使用均匀分配的检查模式运动检测,容易丢失的小运动。图中显示两个搜索路径与d = 7。中心路径显示搜索的情况下小运动。在这种情况下,最小BDM的第一步是8邻居检查分之一。搜索与匹配三个邻居halfway-stopped检查的第一步的最低BDM点。检查所需点的数量(17 + 3)= 20。运动矢量(0,2)。

右上方的路径显示搜索的情况下大的运动。在这种情况下,最小BDM的第一步是外八检查分之一。然后搜索程序之前一样3党卫军算法。检查所需点的数量(17 + 8 + 8)= 33。运动矢量(4、6)

3所示。4步骤搜索算法:

[6]这个算法还利用现实世界的centre-biased特征视频序列通过使用一个较小的初始步长与3党卫军。最初的最大运动位移的大小是第四步d (d / 4)。由于初始步长越小,4 ss算法需要四个搜索步骤达到搜索窗口的边界与d = 7。一样的商场N3SS算法中的运动情况,4 ss算法也使用halfway-stop第二和第三步的搜索技术。图显示了两个4 ss的搜索路径搜索大的运动。lowerleft路径,它需要(9 + 5 + 3 + 8)=检查得到了25分。右上角的路径,它需要(9 + 5 + 5 + 8)= 27检查分算法的最坏情况下的d = 7。

非矩形模式基于块的运动搜索算法

1。钻石六边形搜索方法:

提出了许多基于非矩形块的运动搜索算法如钻石搜索(DS)[7],[8]和hexagon-based搜索(HEXBS) [9] algorithmA¢s[7]算法是完全相同的4 ss,但搜索点模式是改变从广场到钻石,也没有限制可以采取的步骤,算法的数量。DS使用两种不同类型的固定模式,一个是大钻石搜索模式(LDSP),另一个是小钻石搜索模式(SDSP)。这两个模式和DS过程见图5。

就像在fs,第一步使用LDSP如果最小重量是在中心位置,我们跳到第四步。随之而来的步骤,除了最后一步,也和使用LDSP相似,但是点,检查成本函数的数量是3或5,说明在第二和第三的步骤程序图五所示。新的搜索周围的最后一步使用SDSP起源和权值最小的位置是最好的比赛。随着搜索模式既不能太小,也不能太大,这一事实是没有限制数量的步骤,该算法可以找到全球最低非常准确。最终的结果应该看到ES的PSNR值接近,而计算费用应该大大减少。

六边形搜索或hexagon-based搜索(HEXBS)[10] -[11][12]显示等快速算法显著提高DS在与DS使用钻石搜索模式,HEXBS采用六边形搜索模式来实现更快的处理由于更少的搜索点的评价。两个小说crossdiamond——六角搜索(cdh)算法,它不同于彼此大小的六边形搜索模式,提出了在[11]。声称他们的实验结果表明,该CDHSA¢s执行速度比钻石搜索(DS) 144%和十字-菱形搜索(CDS)约73%,而类似的预测仍然是保持质量。

第三节

答:真正的运动或面向质量的方法

1 .Hierarchical块匹配的方法:

分层的基本思想(多分辨率)块匹配是在每个级别先后进行运动估计,从最低分辨率层次如图所示。运动矢量的估计在低分辨率水平然后传递给下一个更高的分辨率水平作为初始估计。运动估计的更高层次的完善的运动矢量。在更高的水平,相对较小的搜索窗口可以用作它始于一个好的初始估计。对于每一个级别,可以使用快速bma 3 ss等4 ss和2网络日志本快速运动估计。假设有一个HBMA两个层次如图所示。低水平是由业者进行更高水平的一个因素在水平和垂直两个方向。一个像素位移在低级别对应两个像素位移在更高的水平。即搜索窗口大小的像素是第四一个更高的水平。HBMA可以应用于视频编解码器等空间可伸缩性的mpeg - 2和h +视频序列可以分为层不同的空间分辨率。

这减少了计算bdm的复杂性。在更高的分辨率水平,较小的搜索范围从一个好的初始估计运动估计之后使用。这减少了搜索的位置。这两个因素(即小块在法律决议和较小的搜索范围在高分辨率)有助于减少搜索的整体复杂性。注意,当减少搜索的解决框架,运动速度也减少了。这使得分层技术估算尤其有用,降低复杂性、高运动内容。分层运动估计算法的例子有报道[13]。

2。自适应运动估计方法:

自适应运动估计方法(ARPS)[14]算法利用一般的运动在一个框架通常是一致的,即如果宏块在当前宏块移动在一个特定的方向还有一个高概率,当前宏块也会有类似的运动矢量。该算法利用宏块的运动矢量预测其立即离开自己的运动矢量。一个例子是图7所示。预测运动矢量指向(3 2)。除了检查指出的位置预测运动矢量,它还检查在十字架图案分布的点,如图7所示。

3所示。Intern-Block运动算法:

提高搜索效率的另一个方法是将内嵌的预测运动信息[15]- [16]。因为许多块在一个大的均匀区域框架很可能与类似的速度朝着同一个方向,参考两个相邻块之间的运动矢量信息是高度相关的。因此可以预测参考块的运动矢量从相邻块的运动矢量。

这种方法见图8,2 n×2 n块分为四个n * n块(al, a2和a3)。FSA算法首先应用于块,B, C和d块a1分配块的运动矢量的运动矢量A或B取决于A或B提供了一个更好的匹配。同样,分配块a2阻止或者C的运动矢量;并阻止a3分配一个运动矢量,B, C或d .因此操作的总数大约1/4的传统FSA算法。PDC判据阈值有很大的影响,即一个较小的阈值执行比一个较大的阈值缓慢运动序列而快速运动序列的形势逆转。

b .可变尺寸块匹配方法

使用固定大小的块运动补偿块缺点,大量可能无法匹配序列的实际运动,尤其是沿着边缘移动,而小块需要更多的开销信息.Most时候,物体运动有不同的大小和形状。基于这一运动的特征,为了克服传统的固定大小的块运动补偿的限制(FSBMC),提出了若干技术:

•适应可变块运动补偿(VSBMC) [17] - [18] [19]

•哪些地区块运动补偿(RWMC)

1。可变尺寸块匹配方法

实现,视频压缩比和图像质量好是相互矛盾的要求,特别是fixedsize块匹配(FSBM),所有的块的大小是一样的。上述问题可以克服变量大小的块匹配运动估计技术(VSBME)。在适应可变块匹配(VSBM)[17] -[18]小块可以用来描述复杂的运动,而较大的块可以用于图像内容是静止的或地区进行统一运动而没有块和比特率是固定的。

另一个四树形结构适应可变块匹配运动估计[19]提出了两种算法以最小的误差。第一个算法计算最优选择的大小可变块提供bestachievable预测误差下的固定数量的块四树型VSBM技术。尽管这个算法的运算量,它提供了一个标准的其他更实际的性能VSBM技术可以测量。

2。光流计算方法:

光流估计可能派生使用逆有限元方法。它进行运动估计的计算梯度,拉普拉斯算子,随后速度艾滋病的并行设计中的每一个像素计算的速度。光流计算提出了作为许多高级版本算法的预处理步骤。这是一个灰度差分技术。光流计算采样图像强度点(x, y)在时间t在图像平面上;这是用u (x, y, t)角和Schunck[20]最初被认为是一个元素的强度模式已经距离δx分别在x和y方向和δyδt。他们认为的图像强度图像之间的区域仍然保持在一个恒定值。

Lucas-Kanade方法[21]是一种广泛使用微分光流估计它假设流方法本质上是不变的考虑在当地社区的像素,并解决了基本光流方程中的所有像素附近,由最小二乘准则。Lucas-Kanade方法假定的位移图像内容两个附近的瞬间(帧)很小,大约持续在点p的邻居正在考虑。因此,光流方程可以认为保持一个窗口内的所有像素慢跑在当地p .即图像流(速度)矢量(Vx, v)必须满足方程(5),(6)和(7)。

q1、q2窗口内的像素,和第九(q1) IY (q2),图像的偏导数我对位置x, y和时间t,评估点气和当前时间。

3 .Phase相关方法:

[22]这些运动估计技术操作在频域,通常基于循环相关的技术。它使用一个方法我们可以得到亚像素运动估计的精度高,使用相关联。当地的估计量是直接应用于信号,而不需要处理复杂的互相关函数,是完成了大部分的相位偏移估计。[23]的方法应用于电描记术。他们执行抽样的轴向和横向调制信号导致很少的变化精度和空间分辨率。它使用阶段相关表面曲线拟合的原理,并引入变量可分离的配件使用修改后的sinc函数。亚像素运动估计是通过简单的扩展的基本integer-pixel块匹配算法主要是通过使用双线性插值。拟合函数原型的最大峰值附近的相位相关性[24]。

高效的低计算复杂度VSBME技术

第二个算法[19]采用启发式方法选择变量-大小的街区。它更多地依赖当地比全球误差优化运动的信息。实验表明本地信息的有效使用有助于整体误差最小化。启发式算法。是一个比最优算法计算效率VSBM技术但相对预测误差。基于合并快速可变块运动估计算法和分裂过程h / mpeg - 4 AVC视频编码提出了[25]。算法利用运动矢量的相关性(MVs)的不同块的模式,达到减少计算好。在这个方法中搜索点的数量可以减少到4%左右,使用fullsearch运动估计,可以忽略质量退化。VSBM方法的问题在于它的计算复杂性,必须计算每个候选运动矢量和扭曲。

d .率失真优化的低比特率技术:

可以实现低比特率视频编码的成本减少的质量(高失真)。无损耗的几个技术质量提出了率失真优化的方式。Multi-frame预测[26]和可变块运动补偿率失真优化运动估计和模式选择过程是强大的工具来提高编码效率todayA¢s视频编码标准mpeg - 4的视觉和ITU-T h。

Multi-frame预测[26]和可变块运动补偿率失真优化运动估计和模式选择过程是强大的工具来提高编码效率todayA¢s视频编码标准mpeg - 4的视觉和ITU-T h。Multi-frame运动补偿是一种有效的方法提高时序预测的质量。小波视频编码使用可变块运动补偿和自适应算术编码的设计提出了视频编码器("),展示了如何将这些先进的编码工具中实现的当前测试模型TML - 8 ITU-T H.26L,[26] -[27]视频压缩标准项目可以成功地集成在一个阻塞工件免费视频编码环境。执行的时间预测是使用块运动估计(BDM)和重叠块运动补偿(OBMC),每个预测块的引用可以获得一个长期的参考系的记忆。率失真框架定义一个非常低比特率编码方案[19]基于四树分割的运动估计和优化选择。这一技术达到最大的约束下重建图像质量的目标比特率编码向量场和分类信息。优化四树对象分割方法对混合运动估计2 d和3 d运动估计和补偿提出了率失真意义。这个方案适应四树的深度和技术用于运动估计每片叶子的树。更复杂的技术,适应的要求很低比特率编码也提议也考虑预测误差的传播对应于特定的运动估计量的选择。基于这些编码方案的两个版本很低比特率图像序列编码。

结论

回顾了各种基于块匹配的运动估计算法。这些算法分为三类,即面向快速算法,真正的运动或高质量的方法和较低的计算复杂性VSBME技术算法。的特性,介绍了这些算法的优点和缺点。此外,我们还简要地回顾了各种匹配,则如梅,MSE,或悲伤。

算法进行了综述,在编码效率和计算复杂度。此外,我为了设计低复杂度算法,研究人员应共同使用上面列出的强大的技术来降低计算成本在不同的方面。一起使用时,新的设计将大大降低计算成本,相比与传统的快速算法。

引用

j . r . Jain和a . k . Jain,位移测量及其在国际米兰帧图像编码中的应用,“IEEE反式。Commun。,vol.29, pp. 1799- 1808, Dec. 1981.
伊恩·e·g·理查森,视频编解码器设计,西萨塞克斯郡:约翰·威利的儿子有限公司,2002年,Ch。4、5和6。
概述h / AVC视频编码标准,IEEE电路和系统视频技术,13卷,2003年7月7号。
建华路,明l . Liou”的一种简单而有效的块匹配运动估计搜索算法”,IEEE反式。电路与系统视频技术,7卷,没有。2,页429 - 433,1997年4月
曾Renxiang李,Bing,明l . Liou“新三步搜索算法块运动估计”,IEEE反式。电路与系统视频技术,卷4。,没有。4,页438 - 442,August1994。
Lai-Man Po, Wing-Chung马”,小说的4步快块运动估计搜索算法”,IEEE反式。电路与系统视频技术,6卷,没有。3,页313 - 317,June1996。
山朱马Kai-Kuang,“新钻石搜索算法的快速块匹配运动估计”,IEEE反式。图像处理,9卷,没有。2,第290 - 287页,2000年2月。
姚聂,马Kai-Kuang“适应性十字架模式搜索快速块匹配运动估计”,IEEE反式。图像处理,11卷,没有。12日,第1448 - 1442页,2002年12月
Chun-Ho张Lai-Man阿宝,“小说Cross-Diamond搜索算法快块MotionEstimation”, IEEE反式。电路与系统视频技术,12卷。,没有。12月12日,页。1168 - 1177年。2002年。
p . Thambidurai M . Ezhilarasan d·拉马钱德兰M。Ezhilarasan”,有效的运动估计算法先进视频鳕鱼ing”国际会议在2007年计算智能和多媒体应用
H.264AVC运动估计算法的研究和优化基于3 g网络,2013乌普萨拉大学。
谢Liyin,张苏,回避“视频压缩的审查运动估计算法的“2010年国际会议上计算机应用和系统建模(ICCASM 2010)。
m . Bierling”位移估计层次集团孵化:一个¢前的学报Ksirual通信和图像处理(vol.1001 VCIPJ, 1988年,页942 - 951。
姚聂,马Kai-Kuang“适应性十字架模式搜索快速块匹配运动估计”,IEEE反式。图像处理,11卷,没有。12日,第1448 - 1442页,2002年12月。
刘b和a . Zaccarin“新的快速算法块运动矢量的估计”,IEEE紫。对电路andSyslems视频技术、Vo1.3第二,pp.148 - 157, 1993
美国征服者,Y.Q.张和J.S.二巴拉”,预测块匹配运动估计电视Codine——第一部分:Inter-BlockPredicti&”, IEEE反式。广播:Vo1.37,第三,pp.97 - 101.1991。
h . Jelveh和a .南帝”,改进的可变尺寸块匹配运动补偿视频会议应用,“在数字信号处理中,Eds卡佩里尼a和a·康斯坦丁尼德斯。德国柏林:斯普林格出版社,1991年版
广义相对论马丁R.A.帕克伍德和i Rhee可变尺寸块匹配运动估计以最小的错误,计算机科学系,华威大学Oct95 1
Rhee, g·r·马丁Muthukrishnan和r·a·帕克伍德“四树形结构适应可变块运动估计——匹配以最小的错误,“IEEE反式。在电路和系统视频技术,卷。10页。42-50,2000年2月
助教布朗J.V.康德尔,g·普拉萨德,T.M. McGinnity”调查光流计算在FPGA硬件”国际机器视觉和图像处理的会议
Franscisco深峡谷,马特奥预、JavierDiaz Mauricio Vanegas和爱德华多Ros“平行架构分层光流估计基于FPGA”, IEEE非常大的综合VLSI系统。
Videoprocessing.ussd.edu/ ~ Stanleychan /研究/ MotionEstimation.html。(网页)
Adrian Basarab皮埃尔•Gueth Herve李高特,菲利普Delachartre“分阶段块匹配运动估计与应用非常规波束成形策略”,IEEE超声学,铁电体,和频率控制,卷。56岁的没有。2009年5月5日。
p . Vijaykumar先生,阿曼Kumar Sidharth Bhatia”最新趋势、应用和创新运动估计研究”国际科学和工程研究杂志》卷2,问题7,2229年7月- 2011年ISSN - 5518
Ljubomir Jovanov, Aleksandra PiAzurica,斯特凡·舒尔特”相结合的小波域和基于Motion-Compensated视频去噪的视频编解码器运动估计方法”IEEE电路和系统视频技术,vol.19, 3号,2009年3月
小说RD-optimization VBSME匹配的高度数据可重用的硬件架构,2011年IEEE事务系统电路和视频技术,第21卷。