关键字 |
| 科幻、重建的碎片。 |
介绍 |
| 一个大型的研究是计算机视觉主要集中在面部识别和检测。人脸识别是生物特征识别的一种形式,安全的应用程序。在识别任务来确定图像之间有密切匹配,系统比较单一的图像列表。这一识别过程是有用的特别是在监测识别恐怖分子、罪犯,或失踪一枪的人的脸。例如,这个系统是有用的在筛选危险人员能够他们的飞机在机场当局。一个识别系统让保安摄像机需要图像的乘客和盘问他们怀疑列表存储在外部服务器上。图像的匹配是已知的只有服务器,因此如果任何匹配的结果,那么服务器将通知机场当局。公众常常认为监控摄像机或视频是侵犯隐私。大多数人不希望被记录他们的日常活动。破坏系统链接社交的脸,一个适当的反应将是实现加密系统中,数据加密。 Even though people are still being recorded, encryption will protect the confidentiality of the individuals. However, by introducing cryptography, scalability and efficiency are an immediate problem. Recent developed system is Secure Computation of Face Identification (SCiFI) [1] which combines security with facial recognition. It provides secure transmissions and facial comparisons performing face identification. SCiFI is an elegant system that allows two mutually untrusting parties to represent and compute whether their two respective input face image matches efficiently and securely. The SCiFI system's protocol performs a cross-examination of faces, providing no any additional information about individual being compared or what are in the database. Hence, the suspect list is confidential and input faces in the system are only used to check for matches. |
| 我们探索的结果不诚实的用户使用输入扭曲攻击科幻协议。我们的贡献有两个阶段:一个密码攻击阶段和可视化阶段。在第一阶段,我们引入一个生病的输入,形成攻击者知道特定功能存在于目标图像。整个矢量编码目标人的面部外观和布局部分可以通过多次重复这个了。仅恢复面部向量构成的攻击,不是由人类可用的观察者,结果是分散的补丁。在第二阶段,我们显示重建底层使用计算机视觉技术。 |
相关工作 |
| 有很多工作涉及人类的面孔,如面部识别、建模和重建。我们将讨论一些相关工作对我们的工作及其应用。 |
人脸建模 |
| 人脸识别是人脸建模的基础。我们指的是赵和Chellappa和引用的详细信息,其中[3]。模型类称为整体,整个脸表示是利用这些模型。在面部识别,它已经表明,特征脸是一个全面的方法[4]。主成分分析(PCA)直接应用程序特征脸。面对数据库通过协方差矩阵特征向量的脸创建子空间。权重向量表示为数据库中的脸。现在,通过将输入图像,到面对空间得到权重为特定的形象。一个识别的任务是通过比较输入面图像的重量和一个数据库,执行重建使用脸子空间我们使用PCA技术的一种变体。我们的目标是重建的人脸科幻面部向量利用PCA估计地区失踪的面部信息与经典的特征脸方法。 Active Shape Models (ASM) [5] and their extensions, Flexible Appearance Models (FSM) [6] and Active Appearance Models (AAM)[7] are more advanced than Eigen faces. ASM introduce idea of analysis through synthesis, they are much more flexible and robust than Eigen faces. In addition to shape both FSM and AAM try to account for textural variations. The idea of splitting into two separate components appearance and spatial is utilized by SCiFI. |
| 3 d Morphable模型是强大的建模领域。的3 d人脸照片是由这些模型[8]。我们也希望重建一个很自然的从我们的提取人脸面部向量。然而,我们必须像真正的脸。科幻系统使用部分原因模型形成一个基于索引的脸表示。面临的部分原因模型给出了表示图像或片段的集合对应的不同部分的脸。脸可以很容易变成基于指数模型如果部分是固定的,因为这些模型表示的脸分成不同的部分。使用提高人脸识别和转导李和韦氏使用部分原因模型[9]。傻瓜一个识别系统,他们提出了一个骗子的想法隐藏或封闭的部分他/她的脸。然而,面对的某些部分将保持不变,可以利用成功识别等部分。 As the SCiFI system is aimed to be used in security, this process helps in motivating the usage of a part-based model. A pictorial structure representations using one form of part-based models have been shown for facial recognition[10].To detect faces and human bodies in novel images pictorial structures can be used [11].However, the facial encoding does not provide the optimal way of combining the appearance and spatial information to form a patch face ,our work appearance and spatial information is encoded inside the facial vectors. |
安全的面部识别 |
| 人脸识别是一个大型的研究领域在计算机视觉和图像分析的一个非常成功的领域。实际上,有三个任务(1)检测,特征提取(2),(3)识别和/或验证[3]。出现有两个主要问题,同时结合安全与面部识别是一个困难。面部识别系统要输入匹配相似,没有两个图像的脸是完全相同的是第一个问题。由于加密算法需要两个输入是完全相同的,这是一个加密的问题。因此,一些作品引入“模糊”的概念方案试图解决这个问题(12、13)。现在,考虑到类似的图像输入,可以将它们映射到相同的结果。 |
| 当前最先进的人脸识别算法通常采用连续表示面临的一个问题。这是一个问题对于加密算法,利用离散值。转换为离散的连续表示会影响人脸识别的准确性。利用特征与安全的面部识别面临的工作已经完成(14、15)。用于启用加密应用到面部表示,特征脸本质上是量子化的。他们需要大量的计算查询系统面对比赛,即使这些系统已被证明是有效的安全识别人脸。特征脸的使用意味着必须使用每个像素,图像分辨率高,有一个面部识别的准确性和时间复杂度权衡。此外,一个简单的匹配检测通过比较两个脸的汉明距离向量是科幻的面部表现所允许的。在我们的工作中,我们利用逆向工程的脸图像表示。 |
重建闭塞地区的面孔 |
| 面部遮挡人脸识别系统遇到的一个主要问题。范围可以从眼镜不同,头发,甚至一些外部对象阻止一个人的脸的一部分。因此,如何去除遮挡或工作周围是计算机视觉的一个有趣的问题。我们可以把丢失的区域的人的脸是损坏或阻挡在我们的任务。大量的工作是处理完成消除遮挡。对去除眼镜的工作已经完成[16]面部图像。首先他们隔离区域,然后使用递归PCA合成脸的眼睛没有眼镜根据周围的信息。这个过程非常类似于我们如何将执行面临重建。morphable脸上PCA模型也被调查[17]。这种方法的一个缺点是缺乏精度之间的位移输入面和参考的脸。 There are other similar techniques using PCA for reconstruction [18, 19, 20].The previously done reconstruction techniques have been fairly successful. In our case the source is a fragmented reconstruction itself, computed from a fairly course binary face encoding however, whereas in all previous such methods a real image is the true source. In addition, our reconstructions are estimating 60%-80% of missing facial information as opposed to very specific and small occluded regions such as where eyeglasses lie. These two issues make our reconstruction task significantly more challenging. In addition, our task of sketching faces based on a security break is novel, and has compelling practical implications. |
系统框架:科幻 |
| 科幻的简要概述系统[1]。科幻系统服务器存储面临的列表和客户端输入一个脸到系统中。系统的目标是安全测试是否面对输入端存在于服务器的列表。典型的设置有服务器的列表组成的面临着犯罪嫌疑人或犯罪分子,而客户端输入一个过路人的监控摄像头。为此,科幻发展部分原因的脸表示,一个健壮的距离来比较两个面孔,和检查安全客户端-服务器协议匹配根据这个距离,就像我们解释下。 |
面对表示:为了执行安全计算,科幻系统中每个面解构为一组标准的面部特征(鼻子、嘴、眼睛)。系统建立了一组的典型例子,功能基于一个公共数据库Y为每个特性无关。选择最相似的单词输入人脸特征的词汇 和安排这些话在空间配置类似于输入将产生一个输出类似于原始的脸。表示还跟踪每个输入特性的距离从脸的中心与空间配置称为空间词汇 因此,最后面对的特性的集合表示由词汇最相似的功能,以及每个特性的近似距离中心的脸。 |
输入的脸,让其补丁集{I1、…、Ip}。记录每个二世两个东西:外观组件,它包含n的指数在Vi视觉单词类似二世 .Spatial组件,它包含指数的Di的z字距离接近二世的距离中心的脸,党卫军我{我…,Q}。 |
| 面临比较:比较两个面孔,科幻使用距离度量来决定是否匹配两种面孔。科幻系统认为面临的是匹配如果距离指标低于一定的阈值。 |
所示[20],汉明距离设置差异如果集编码为l = p (N + Q)位二进制向量。每组sa我由佤邦表示,n位二进制指标向量n条目1(即。,those n indices that are in sa i).Similarly, each set ss i is represented by ws i,a Q-bit binary indicator vector for which z entries are 1.The full representation for a given face is |
| 安全协议:科幻协议M脸向量的输入是一个列表w1,…wM t1阈值,从服务器…tM,单面向量w从客户机。协议的输出是“匹配”,如果H (wi, w) < ti的我,“不匹配”否则H是汉明距离的地方。 |
密码输入畸形攻击 |
| 该攻击科幻允许攻击者获得一脸代码(w),旨在保持私有的。攻击依赖于一个不诚实的对手是任何形式的输入向量,不仅向量正确格式化。攻击学习客户端代码的脸一点一点的输出通过“匹配”或“不匹配”。 |
| 假设客户的向量w。一个不诚实的服务器可以添加任何向量wm可疑列表,并选择每个相应的阈值,tm,随意。首先,服务器输入向量wm = [1 0。0],1在第一位置和零其他地方。接下来,该协议比较w和wm照常运行。通过学习发现是否匹配,服务器实际上学习的第一个信息,w1,客户机的输入。我们知道,非零项输入端矢量总和必须完全的p (n + z)。这就产生了两种截然不同的可能性的结果协议: |
| •w1 = 1:在这种情况下,两个输入向量将不会在第一位置不同。因此,他们只会在剩余的不同p (n + z)−1 w是零的位置因此,我们知道两个向量之间的汉明距离是H (w, wm) = p (n + z)−1。 |
| •w1 = 0:在这种情况下,两个输入向量将在第一个位置不同。此外,他们将在所有不同的p (n + z)剩下的地方w是零。因此,我们知道H (w, wm) = p (n + z) + 1。 |
| 利用这两种可能的结果,不诚实的服务器可以固定阈值tm = p (n + z)。如果找到匹配,它必须如此,H (w, wm) = p (n + z) - 1≤(n + z),所以w1 = 1。如果没有发现匹配,那么H (w, wm) = p (n + z) + 1 > p (n + z),所以w1 = 0。因此,不诚实的服务器可以学习的第一个客户的输入。因此,攻击者可以学习客户的整个向量向量通过创建l wi m, 1≤≤l,其中的第i个位设置为1。 |
提出了系统 |
| 我们的方法包含两个主要组件。第一个是离线阶段,构建面部词汇和面临来自公共数据库的子空间。第二个是在线阶段组装人脸和完成之后才一脸向量。 |
| 离线阶段:面对图像应该来自外部数据库Y,用于创建片段词汇可以完全无关的人注册的服务器的列表。所有面孔都标准化规范化大小和地标的位置(即特性。眼睛的角落)认为。图5.1给出了知道什么是在离线阶段完成的。 |
| 鉴于外部数据库脸图像,形成外观和空间词汇V1,…Vp和D1, . .Dp使用一个无监督聚类算法(k - means)来量化图像补丁和距离。我们也使用外部数据库Y构建一个通用的子空间。所有脸图像的空间占据了一个低维子空间内所有图片的空间,如同长在面部识别社区(21岁,17)。可以利用计算lowdimensional图像表示这张脸。为了“产生幻觉”重建面临的部分不受任何补丁我们利用子空间。 |
形式上,面对外部数据库图像F的Y由一组向量 其中每个y“是连接每一行的像素强度的第i个形象。通过计算平均脸 然后中心最初面临来自每一个减去均值。 |
让矩阵Y包含那些集中面临实例,每一列是一个实例 |
主成分分析(PCA)识别F的有序集正交向量u1,…超滤,描述数据,通过捕获最大方差的方向。的特征向量 由相关的特征值的大小排序,通过定义所需的向量是协方差矩阵的特征向量计算Y。顶部K特征向量定义一个K维子空间。 |
| 在线阶段:科幻协议后可以执行建筑外观和空间词汇表。一个补丁脸代表个人使用的指标向量将显示通过攻击者通过逆向工程。攻击者可以估计失踪的脸和返回一个可识别的人脸区域使用我们的重建技术。图5.2提供了一个轮廓的第二阶段我们的视觉重建。 |
| 找到一个最佳匹配的脸:现在我们可以定义如何形成补丁脸重建。对于每个p面部的部分,上面定义的密码攻击收益率n选择外观词汇和z字选择距离。这个编码显示典型的外观和空间是最类似于那些发生在最初的脸指定指标纳入公共词汇表。 |
| 因此,我们地图检索相应的量化每个部分的补丁和距离值到一个图像缓冲区。我们把n量子化的补丁和随机选择其中一个重建的外观我一部分。我们平均距离z值空间信息的第一部分,我们把补丁放入缓冲区相对于其中心,根据方向oi和流离失所的数量恢复本量子化的距离。例如,如果n = 4和sa i ={1、3、7、19},我们看看补丁{vi 1, vi 3、vi 7、vi 19},然后计算平均,如果z = 2,和他相关的距离是党卫军i ={10} 4,我们平均补丁的中心½(Di 4 + Di 10) oi,缓冲的中心在原点。补丁脸重建我们重复这个因为我= 1,…,p.Figure5.3显示了一个示例补丁脸。扭转科幻映射使用所有可用信息的编码过程。 |
| 主成分分析:基于面临重建 |
| 脸图像的其余部分根据所给定的约束补丁脸估计第二阶段我们的重建方法,我们可以利用通用面临子空间中的结构假设或估计剩下的像素值,因为这些地区在原创科幻表示。相关子空间方法的使用进行了调查处理部分闭塞的图像人脸识别为例,重建一个人戴着墨镜,罩,或其他强劲阻塞之前执行识别[16,18日,19日,17日,20)。这里我们想要重建部分缺失,与最终目标为人类创造一个更好的可视化观察者或机器识别系统。 |
| 我们采用递归PCA技术[20]中给出,用于弥补一个阻挡眼睛区域内原本完整的面部图像。首先我们将初始化结果与补丁脸,然后迭代项目和使用公共子空间重建完成每次调整面对与我们已知的补丁。与实验[20],我们的过程使得大大需要更多的幻觉,从60% - -80%的总表面面积没有信息,必须估计。图5.4给出了这种技术的草图。 |
| 小说面对x,获得其低维空间坐标面对我们的脸投射到K特征向量(所以称为特征脸)。尤其是第i个投影坐标: |
 |
| 因为我= 1,…,K。由此产生的w = [w1 w2,…。,wk] weight vector specifies the linear combination of eigenfaces that best approximates (reconstructs) the original input: |
 |
| 其中的第i个列矩阵U ui。在我们的例子中只是从低维坐标重建一次可能会给一个贫穷的幻觉,因为许多未知像素的值(并因此在任意初始化值0)。 |
| 然而,通过引导的全脸估计初始重建高质量的补丁的估计,我们可以不断完善估计使用空间。这是这样工作的:让x0表示原始补丁脸重建。然后,定义投影在迭代t |
 |
| 中间在t + 1迭代重建 |
 |
| 最后在迭代重建t + 1 |
 |
的权重ω是一个二进制掩模图像的大小相同,是0在任何位置不受来自原始补丁脸估计重建,和1在休息。我们这些步骤之间的周期,停止一次连续投影系数的差异小于一个阈值:max |
实验结果 |
| 这个实验结果图5.5显示了原始图像从左到右三联体,补丁脸和重建图像。当发送输入图像的特征提取和存储在数据库中。所有的公共面孔图像和提取特征存储在科幻系统如果找到匹配特性输入面图像然后补丁脸图像形成和应用PCA算法我们终于得到重建图像类似于原始的脸图像。我们运用PCA迭代补丁脸得到重建后的脸。我们看到,重建面临的草图背后真正的脸。 |
结论 |
| 我们提出一个新的攻击一个安全的脸部识别系统控制详细感知安全以及计算机视觉技术。而科幻系统适当地声称安全只有在诚实但很好奇模型中,我们演示了这样一个系统的危险后果当暴露于一个不诚实的对手。我们的愿景贡献伸展的极限subspace-based重建算法的可视化严重堵塞的面孔。 |
|
数据乍一看 |
|
|
|
引用 |
- m . Osadchy b . Pinkas a Jarrous, b . Moskovich“科幻-安全的人脸识别系统”,在IEEE安全和隐私研讨会上,2010年。
- m . Gerbush a .陈德良b水域,k .好莱坞“扭转科幻:恶意的危险的敌人,“手稿,2010。
- w·赵r . Chellappa、p·菲利普斯和A·罗森菲尔德“人脸识别:文献调查,”Acm计算调查(CSUR), 2003年。
- m·a . Turk和a . p . Pentland“使用eigenfaces人脸识别,”《IEEE计算机视觉与模式识别会议(CVPR), 1992年6月在夏威夷。
- t .笨蛋,c·泰勒·d·库珀,j·格雷厄姆和a . Lanitis“主动形状模型,计算机视觉和图像理解1995。
- a . Lanitis c·泰勒,t .笨蛋,“自动解释使用弹性模型和编码的脸图像,”模式分析与机器智能,IEEE Trans-actions 1997。
- t . f .笨蛋、g·j·爱德华兹和c·j·泰勒,“主动外观模型,”欧洲计算机视觉学报》,1407卷,1998年。
- 诉Blanz和t .检查者morphable模型的合成3 d的脸,“在第26届年会在计算机图形学学报》和互动技术。ACM出版社/ addison - wesley出版有限公司,1999年。
- f·李和h .韦氏健壮的部分原因使用提高人脸识别和转导,“在BTAS07, 2007。
- m >和r . Elschlager图形结构的表示和匹配,”电脑,IEEE, .100卷1973。
- p . Felzenszwalb和d . Huttenlocher对象识别图形结构,”国际计算机视觉杂志》,61卷,2005年。
- A . Juels和m .瓦滕伯格“模糊承诺方案,”第六届ACM研讨会论文集在计算机和通信安全。ACM, 1999年。
- A . Juels和m .苏丹,“模糊金库计划”设计,代码和密码,2006年。
- z哈利洛夫,m·弗朗茨·j .瓜哈尔多s Katzenbeisser Lagendijk, t .小丘,“隐私保护面部识别,在隐私增强技术。施普林格,2009年。
- a . Sadeghi t·施耐德,i Wehrenberg“有效保护隐私人脸识别”,2010年信息安全与密码学。
- c . Du和g .苏“眼镜从面部图像,”模式识别字母,2005。
- B.-W。黄和S.-W。李”,重建受损部分的脸图像基于morphable脸模型,“IEEE模式分析与机器智能(PAMI), 25卷,没有。3,2003。
- a . Lanitis“人识别从严重阻挡脸图像,”在ACM研讨会上应用计算,2004年。
- 齐藤y, y Kenmochi, k . Kotani”估计eyeglassless面部图像,采用主成分分析”在图像处理国际会议,1999。
- Z.-M。小王和黄永发。道,“重建快速递归pca的部分遮住了脸,“计算情报和安全研讨会,研讨会,2007。
- p .中提琴和m·琼斯,“快速目标检测使用一个简单的特性,提高了级联”2001
|
菜单
和安排这些话在空间配置类似于输入将产生一个输出类似于原始的脸。表示还跟踪每个输入特性的距离从脸的中心与空间配置称为空间词汇
因此,最后面对的特性的集合表示由词汇最相似的功能,以及每个特性的近似距离中心的脸。
.Spatial组件,它包含指数的Di的z字距离接近二世的距离中心的脸,党卫军我{我…,Q}。
其中每个y“是连接每一行的像素强度的第i个形象。通过计算平均脸
然后中心最初面临来自每一个减去均值。
由相关的特征值的大小排序,通过定义所需的向量是协方差矩阵的特征向量计算Y。顶部K特征向量定义一个K维子空间。
