关键字 |
数字图像伪造,拼接图像,伪造检测,光源不一致,支持向量机分类器 |
介绍 |
数字信息时代的发展已经发展到用最先进的数字对等物取代技术。摄影技术从需要难闻的化学药品和暗房技巧来处理图像的时代已经让位于数字时代。随着移动到百万像素的世界,一扇新的门打开了图像伪造和伪造的黑暗面。需要用模拟相机或在暗房里精心准备化学制剂来制作“特技镜头”的日子已经一去不复返了。如今,处理图像只需要使用数字暗房中可用的工具,如Adobe Photoshop或Macromedia Fireworks。随着这些新技术通过廉价的个人电脑方便地向大众提供,由于我们对数字媒体的日益依赖,验证数字图像真实性的需求也就存在了。数字图像认证的重要性有两个例子,一个是我们所依赖的提供准确信息的新闻媒体,另一个是法庭,在法庭上,某人的命运可能取决于数字图像作为证据的真实性。本文探讨了这些问题,重点是创建工具来帮助检测拼接图像的数字图像篡改。 |
图像拼接或蒙太奇是最常见的图像处理技术之一,以创建伪造图像。图像拼接是一个简单的过程,从相同或不同的来源裁剪和粘贴区域。这是数码照片蒙太奇的基本步骤,指的是使用Photoshop等数码工具将图片粘贴在一起。照片蒙太奇的例子可以在一些臭名昭著的新闻报道案件中看到,这些案件涉及使用伪造的图像。为了寻找图像认证的技术解决方案,研究人员最近开始了新技术的开发。 |
如图1所示,通过将源图像的拼接部分复制到目标图像中,可以创建一个复合风景来欺骗他人。使用图像编辑软件,即使非专业用户也可以轻松地进行拼接。虽然有经验的专家仍然可以识别出不太复杂的伪造品,但用机器以全自动的方式解决这个复杂的问题仍然是一个具有挑战性的问题。 |
在评估图像的真实性时,法医调查人员会使用所有可用的篡改证据来源。在其他迹象中,照明不一致可能对拼接检测有效:从操纵器的角度来看,在创建合成图像时很难实现适当的照明条件调整。当图像拼接时,这些边的统计数据可能与原始图像不同。 |
利用拼接图像光照的不一致性,可以检测出被篡改的图像。例如,当创建两个人并排站在一起的数字合成时,通常很难匹配个人照片的照明条件。因此,照明不一致可以成为揭示数字篡改痕迹的有用工具。借用和扩展计算机视觉领域的工具,我们描述了如何从单个图像中估计点光源的方向。我们在现实环境中展示了这种方法的有效性。 |
相关工作 |
Johnson和Farid[1]还提出了利用眼睛高光的拼接图像检测。在随后的扩展,萨伯亚。[2]通过提取额外的特征,如查看者的位置,自动对这些图像进行分类。然而,这两种方法的适用性都受到这样一个事实的限制,即人们的眼睛必须在高分辨率下可见。 |
Johnson和Farid[1]还提出了利用眼睛高光的拼接图像检测。在随后的扩展,萨伯亚。[2]通过提取额外的特征,如查看者的位置,自动对这些图像进行分类。然而,这两种方法的适用性都受到这样一个事实的限制,即人们的眼睛必须在高分辨率下可见。 |
Riess和Angelopoulou[3]采用了一种不同的方法,他们使用了一种基于物理的颜色恒定算法,该算法对部分镜面像素进行操作。该方法避免了高镜面区域的自动检测。作者提出对图像进行局部分割,以估计每段图像的光源颜色。根据局部光源估计对每个图像区域重新上色,得到所谓的光源图。难以置信的光源颜色估计指向一个被操纵的区域。不幸的是,作者没有为篡改检测提供一个数值决策标准。因此,专家留下了一项艰巨的任务,即通过视觉检查光源图来寻找篡改的证据。 |
在颜色恒常性领域,对光源颜色的描述符进行了广泛的研究。大多数关于颜色恒常性的研究都集中在包含单一主导光源的均匀照明场景上。有关概述,请参见例如,[4]-[6]。然而,为了使用入射照明的颜色作为图像篡改的标志,我们需要多个空间限定的光源估计。到目前为止,这方面的研究还很有限。这是Bleier的作品。[7]表示许多现成的单光源算法在较小的图像区域上不能很好地缩放。因此,需要特定问题的光源估计器。 |
Ebner[8]提出了一种早期的多光源估计方法。假设光源平滑混合,作者提出了一个扩散过程来恢复照明分布。不幸的是,在实践中,这种方法过于平滑光源边界。Gijsenij[9]提出了一种像素光照估计器。它允许将图像分割成由不同光源照亮的区域。不同的照明区域可以有清晰的过渡,例如在阳光和阴影区域之间。 |
a .收集训练样本,形成数据库 |
在我们的项目中,第一步也是最重要的一步是使用图像编辑软件收集或创建正、负样本。这些样本用于训练阶段和测试阶段。阳性样本包括人类的真实图像。阴性样本不包含人体图像,也可能包含伪造图像。培训过程大约需要30到35天。从训练过程中收集的数据用于训练在测试阶段使用的SVM分类器。 |
B.Illuminant估计 |
第二步是计算一组局部的光源颜色估计,使用灰度世界算法将输入图像分割为超像素,即近似恒定色度的区域。将输入图像分割成均匀区域。每个光源估计器,创建一个新的图像,其中每个区域都用提取的光源颜色着色。由此产生的中间表示称为光源映射(IM)。 |
颜色恒常性 |
有不同的颜色恒常性算法。 |
a.灰色世界 |
b.白斑 |
c.修改后的白色补丁 |
d。进步 |
e.单尺度视网膜造影 |
f.多尺度视网膜扫描 |
g. MSR多尺度Retinex彩色恢复 |
h.自动色彩均衡 |
颜色恒常性是指不受光源颜色影响而测量物体颜色的能力。 |
灰色世界算法 |
灰色世界假设,这是在一个著名的颜色恒常性方法的基础上,假设世界表面的平均反射率是无色的。我们提出了灰边假设,该假设假设场景中的平均边缘差是消色差。基于这一假设,我们推导了一种光源颜色估计算法。该方法很容易与Grey- world, max-RGB和Shades of Grey结合在一起,成为一个基于低层次图像特征的颜色恒定的单一框架 |
算法: |
第一步:设I是m行n列的像。从RGB图像中分离R, G, B。 |
步骤2:将2维向量转换为1维向量,方法是将所有的行相加,然后再将这些单独平面的列相加。 |
Rmean = sum(sum(I(:,:,1)))/(m*n);Rmean = 143 |
Gmean = sum(sum(I(:,:,2)))/(m*n);Gmean = 194 |
Bmean = sum(sum(I(:,:,3)))/(m*n);Bmean = 177 |
步骤3:将所有这些单一值组合在一个向量中,并找到平均值。 |
[Rmean Gmean Bmean] = [143 194 177] |
步骤4:找到这个向量的平均值,例如:Avg = 171.333 |
Avg = mean([Rmean Gmean Bmean]); |
步骤5:现在将这个Avg分为Rmean, Gmean, Bmean并存储它 |
Kr = Avg/Rmean; |
Kg = Avg/Gmean; |
Kb = Avg/Bmean; |
第6步:现在将这个最终存储值与各自的颜色平面相乘,最后连接颜色平面并显示输出。 |
OUT(:,:,1) = Kr*double(I(:,:,1)); |
OUT(:,:,2) = Kg*double(I(:,:,2)); |
OUT(:,:,3) = Kb*double(I(:,:,3)); |
OUT = uint8(OUT); |
c .彩色图像转换 |
下一步是使用YCbCr对图像进行转换,得到光源图。YCbCr色彩空间广泛应用于数字视频。在这种格式中,亮度信息存储为单个分量(Y),而色度信息存储为两个色差分量(Cb和Cr)。Cb表示蓝色分量与参考值之间的差值。Cr表示红色分量与参考值之间的差值。(另一种广泛用于数字视频的颜色空间YUV与YCbCr非常相似,但并不完全相同。)YCbCr数据可以是双精度,但颜色空间特别适合uint8数据。对于uint8图像,Y的数据范围是[16,235],Cb和Cr的数据范围是[16,240]。YCbCr在全uint8范围的顶部和底部留下空间,以便额外的(非图像)信息可以包含在视频流中。 |
|
D.Face提取 |
现有的方法 |
现有算法采用偏最小二乘算法(PLS)。PLS算法会导致错误检测,有时无法检测到人脸。所以我们不得不采用半自动人脸提取方法。这是现有方法中唯一可能需要人工交互的步骤。操作符在应该调查的图像中的每个面周围设置一个包围框(例如,通过单击包围框的两个角)。然后,我们从每个光源地图中裁剪出每个边界框,这样就只剩下人脸区域的光源估计。实施PLS算法的效率评级仅为65%。这是本文的一个主要缺点。PLS只适用于2D图像,而不适用于3D图像。PLS的失败是由于PLS只能训练少量的图像 |
E.Texture描述 |
SASI算法:我们使用结构信息统计分析(SASI)从光源图中提取纹理信息。对于我们的应用程序,SASI最重要的优势是它能够捕获纹理模式中的小颗粒和不连续。不同的光源颜色与下面的表面相互作用,从而产生不同的照明“纹理”。这可以是一个非常好的纹理,它的微妙之处被SASI最好地捕捉到 |
SASI是一个度量纹理结构属性的通用描述符。它基于水平、垂直和对角线像素线在不同尺度图像上的自相关性。而不是为每一个可能的移位计算自相关,只考虑了少量的移位。一个自相关计算使用特定的固定方向,比例,和移动。计算所有这些像素值的平均值和标准偏差会产生两个特征维度。对不同的方向、比例和位移重复这个计算,得到一个128维的特征向量。作为最后一步,这个向量通过减去它的平均值并除以它的标准差来规范化。 |
光照边的解释:Hogedge算法 |
不同的光源估计在邻近部分可以导致在光源地图的不连续。不同的光源估计可能发生的原因有很多:改变几何形状,改变材料,噪音,修饰或入射光的变化。因此,可以将光源估计解释为底层图像统计的低级描述符。我们观察到边缘,例如,由Canny边缘检测器计算的边缘,在几种情况下检测到段边界和等影线的组合(即,图像中类似入射光的区域)。当图像拼接时,这些边的统计数据可能与原始图像不同。为了描述这样的边缘不连续,我们提出了一个新的特征描述符HOGedge。它基于众所周知的HOGdescriptor |
过程 |
步骤1:使用Canny边缘检测器提取边缘点 |
STEP 2:生成大量空间闭合边缘点。为了减少点数,我们过滤了Canny输出。 |
第三步:不要。通过选取脊点的分叉来减少边缘点 |
步骤4:我们计算定向梯度直方图(HOG)来描述所选边缘点的分布 |
f .配对面部特征 |
接下来,我们的目标是评估图像中的一对人脸是否持续被照亮。对于有n个人脸的图像,我们构造联合特征向量,由(n(n-1))/2所有可能的人脸对组成。为了比较两个面,我们为每个面组合相同的描述符。例如,我们可以连接在灰色世界中计算的sasi -描述符。其思想是,当其中一个人脸是原始的,另一个是拼接的时,来自两个人脸的特征连接是不同的。 |
G.Classification |
我们将图像中每对人脸的照明分类为一致或不一致。假设所有选定的人脸都被相同的光源照亮,如果其中一对被分类为不一致,我们将图像标记为已操作。单个特征向量,即灰色世界或基于iic的光源地图上的SASI或HOGedge特征,使用具有径向基函数(RBF)核的支持向量机(SVM)分类器进行分类。我们使用一种称为SVM-Meta融合的晚期融合技术。我们使用两类SVM分类器对光照映射和特征类型的每个组合(即sasi - grey - world, SASI-IIC, HOGedge-Gray-World和HOGedge-IIC)进行独立分类,以获得图像的特征向量与分类器决策边界之间的距离。 |
IV.PROPOSED方法 |
人脸提取在伪证检测中起着至关重要的作用。除非面部提取是完美无缺的,否则几乎不可能在照片中检测到伪造或拼接的图像。在此基础上对该方法的人脸提取步骤进行了改进。该方法采用逐次平均量化变换(SMQT)和稀疏网络(SNoW)分类器进行人脸提取。 |
针对光照问题,提出了逐次均值量化变换,并提出了稀疏网络的分类方法,提高了原分类器的分类速度。最后将SMQT特征和SNoW分类器与chrom相结合进行正面人脸检测。该算法对光照、姿态等变化具有很强的鲁棒性,适用于实时人脸检测系统。 |
目标是利用基于SMQT特征的颜色亮度或色度和SNOW分类器算法检测图像中人脸的存在,以检测场景中均匀和不均匀背景颜色的人脸。该系统支持获取chrom图像,从这些像素值中也有助于获得人脸定位,并进一步用于实时人脸检测。它能够在不同光照条件下拍摄的图像中定位任意数量的不同大小的人脸。因此,错误的识别结果,这是许多现有系统的缺陷,可以大大减少。 |
VI.CONCLUSION |
在这项工作中,我们提出了一种利用光源颜色检测伪造人物图像的新方法。我们利用统计灰色边缘方法和基于物理的色度空间估计光源颜色。我们将这些光源映射视为纹理映射。提出了一种有效的人脸提取方法,即逐次均值量化变换算法,从而消除了人机交互。我们还提取了这些地图上边缘分布的信息。然后使用机器学习后期融合将这些互补线索(基于纹理和边缘)结合起来。为了突出所提出的工作的效率,本文对各种人脸识别算法的结果进行了比较。 |
从产生的结果可以明显看出,使用现有的人脸检测算法会导致人机交互。所提出的方法不需要人工交互,并提供了一个关于图像真实性的清晰声明。此外,它在利用光源颜色作为法医线索方面取得了重大进展。先前基于颜色的工作要么假设复杂的用户交互,要么强加非常有限的假设。 |
数字一览 |
|
|
|
|
|
图1 |
图2 |
图3 |
图4 |
图5 |
|
|
|
|
图6 |
图7 |
图8 |
图9 |
|
|
参考文献 |
- M. Johnson和H. Farid,“通过眼睛上的镜面高光来揭露数字伪造”,在Proc. Int。资讯工作坊。2007年藏,pp311 - 325
- P. Saboia, T. Carvalho,和A. Rocha,“眼睛镜面突出数字取证:机器学习方法”,在Proc. IEEE Int.Conf。图像处理,2011,pp. 1937-1940
- C. Riess和E. Angelopoulou,“场景照明作为图像处理的指标”,Inf.隐藏,vol. 6387, pp. 66 - 80,2010。
- K. Barnard, V. Cardei和B. Funt,“计算颜色恒定算法的比较-第一部分:方法和实验
- K. Barnard, L. Martin, A. Coath和B. Funt,“计算颜色恒定算法的比较-第二部分:ImageData实验”,IEEE Trans。图像的过程。,vol. 11, no. 9, pp. 985–996, Sep. 2002
- A. Gijsenij, T. Gevers,和J. van de Weijer,“计算颜色常数:调查和实验”,IEEE Trans。图像的过程。,第20卷,no。9,页2475-2489,2011年9月
- M. Bleier, C. Riess, S. Beigpour, E. Eibenberger, E. Angelopoulou, T. Tröger,和A. Kaup,“颜色恒定和非均匀照明:现有算法可以工作吗?,在Proc. IEEE Color and Photometry in Comput。视觉工作坊,2011,第774-781页。
- M. Ebner,“使用局部色移的颜色稳定性”,在《欧洲程序》。相依第一版。视觉,2004,第276-287页。
- A. Gijsenij, R. Lu,和T. Gevers,“多光源的颜色稳定性”,IEEE Trans。图像的过程。,vol. 21, no. 2, pp. 697–707, Feb.
|