关键字 |
| 面部表情检测，特征提取，表情分类。 |
介绍 |
| 在过去的几十年里，人机交互与计算机视觉一直是计算机研究的一个重要领域。计算机与人之间的直接交流是一个备受关注的问题。在改进和发展人与计算机之间的交互方面进行了大量的研究。促进和发展计算机与人类之间的互动的一个重要因素是研究计算机区分人类面部表情的能力。一条信息的语言部分仅占其整体意义的7%;声音部分贡献了38%，而面部运动和表情贡献了55%的信息效果，所以可以说面部部分在人类交流中起着主要作用[1]。虽然已经取得了很大的进展，但由于面部表情的微妙性、复杂性和可变性，高精度地识别面部表情仍然很困难。 |
| 从原始人脸图像中提取有效的人脸表征是成功进行面部表情识别的关键步骤。人脸特征提取有两种常用的方法:基于几何特征的方法和基于外观的方法。几何特征表征了人脸组成部分的形状和位置，提取这些特征向量，形成表征人脸几何的特征向量。在基于外观的方法中，将Gabor小波等图像滤波器应用于整个面部或特定的面部区域，以提取面部的外观变化。 |
| 人脸表情识别系统面临的挑战。 |
| 已经说过，面部表情识别技术对于研究人员来说一直是一项非常具有挑战性的任务，因为所有的困难和限制。与面部表情识别相关的挑战可以归结为以下因素: |
| 姿态:由于相机面部相对位置的变化，如正面和非正面。脸部可能有不同的角度，因此一些面部特征，如眼睛或鼻子，可能会部分或全部被遮挡。为了克服这一挑战，实现了对平移、旋转和缩放不变性的良好预处理技术。 |
| 遮挡:面部可能被其他物体部分遮挡。在图像中，如果人脸被其他人脸或物体遮挡，如面具、头发、眼镜等。由于图像的表情特征提取比较复杂。 |
| 照度:如果图像在不同的光线下拍摄。这样对表情特征的检测就不准确，人脸表情的识别率就低。这个因素通常会使特征提取更加困难。为了补偿输入图像中光照的变化，在特征提取[3]之前，可以采用DCT归一化、直方图均衡化、秩归一化等图像预处理方法。 |
文献调查 |
| 根据调查，各种人脸检测方法可以分为四类。基于知识的方法、特征不变方法、模板匹配方法和基于外观的方法[16]。基于知识的方法是基于规则的方法。这些方法试图捕捉人类对人脸的认知，并将其转化为一套规则。特征不变性方法通过寻找一些不变性特征来进行人脸识别。这个想法是为了克服我们对面孔的本能认识的限制。模板匹配方法将输入图像与存储的人脸或特征模式进行比较。 |
| 基于外观的方法依赖于统计或概率分析和机器学习技术来寻找人脸图像的相关特征。总的来说，这种方法比其他方法表现出更好的性能。统计方法提供了一种估计缺失或不确定信息的方法。统计工作在一个大的数据集上，我们想要根据数据集中各个点之间的关系来分析这个数据集。PCA是一种识别数据中的模式，并以突出其异同的方式表达数据的方法。PCA的另一个主要优点是数据压缩，通过减少维数，而不会损失太多信息。基于外观的人脸识别方法有PCA(主成分分析)、LDA(线性判别分析)、ICA(独立成分分析)[16]。 |
各种面部表情识别方法 |
| 面部表情识别包括三个主要步骤。在第一步中，获取人脸图像并从图像中检测人脸区域，并对输入图像进行预处理以获得具有归一化大小或强度的图像。接下来是从观察到的面部图像或图像序列中提取表情特征。然后将提取出来的特征交给分类器，分类器将识别出来的表达式作为输出。面部表情识别系统框图如图1所示。 |
| 输入图像可以用不同的方式表示。如果人脸图像可以作为一个整体来表示，则称为整体表示。如果人脸图像可以表示为一组特征，则称为分析表示。脸也可以表示为这两者的组合，然后称为混合方法。 |
| A.人脸检测 |
| 人脸检测是从背景中定位和提取人脸区域的过程。它涉及从不受控制的背景中分割、提取和验证人脸以及面部特征。它遵循两种不同的方法:从静止图像中进行情感检测和从视频[1]中获得的图像中进行情感检测。 |
| B.面部特征提取 |
| 人脸特征提取是将输入数据转换为一组特征的过程。使用特征提取可以帮助将大量的数据减少到一个相对较小的集，计算速度更快。它受到许多并发症的影响，如同一面部表情的不同照片的差异，成像的光线方向，以及姿势、大小和角度的变化。即使对同一个人来说，在不同环境下拍摄的图像也可能不一样。通常有两种类型的特征被用来描述面部表情:几何特征和分析特征。 |
| 1)几何特征:这些特征测量面部某些部位的位移，如眉毛或嘴角。提取面部成分或面部特征点，形成表征面部几何形状的特征向量。基于几何的方法是，表情影响各种特征的相对位置和大小，通过测量某些面部点的运动，可以确定潜在的面部表情。几何特征测量的任务通常与人脸区域分析有关，特别是寻找和跟踪人脸区域中的关键点。 |
| 2)外观特征:特征描述了特定动作发生时面部纹理的变化，如皱纹、隆起、前脸、口周和眼周区域。使用图像滤波器，应用于人脸图像的整个面部或特定区域，以提取特征向量。从研究结果来看，基于算法的范围很广。这些方法包括主成分分析(PCA)、独立成分分析(ICA)、局部保持投影(LPP)、线性判别分析(LDA)、Gabor小波、局部二值模式(LBP)。 |
| a.主成分分析(PCA):主成分分析的主要思想是在整个图像空间中找到最能说明人脸图像分布的向量。这些向量定义了人脸图像的子空间，我们称之为人脸空间。在这种方法中，面被表示为加权特征向量的线性组合，称为特征面。特征面只是面分布的主要组成部分。PCA用于人脸识别的主要思想是将二维人脸图像所构成的大的一维像素向量表示为特征空间的紧凑主成分。这被称为特征空间投影。特征空间是通过识别一组人脸图像(向量)衍生的协方差矩阵的特征向量来计算的。 |
| b.核主成分分析:同样是基于特征向量的方法，但该方法使用非线性映射 |
| c.线性判别分析(LDA):LDA和相关的fisher线性判别是在统计学、模式识别和机器学习中使用的方法，用于寻找将两个或多个类别的对象或事件分开的特征的线性组合。得到的组合可以用作线性分类器。这也是一个基于特征向量的方法和一个有监督的线性映射。 |
| d.独立分量分析(ICA): ICA是一种将多变量信号分离为可加的子分量的计算方法，这些子分量是非高斯信号，并且在统计上彼此独立。ICA是盲源分离的一种特殊情况。 |
| e.自组织映射(SOM):这是一种人工神经网络(ANN)，使用无监督学习进行训练，以产生训练样本输入空间的低维(通常是二维)离散表示，称为映射。SOM与ANN的不同之处在于它们使用邻域函数来保留输入空间的拓扑性质。 |
| f. Gabor小波变换(GWT):以Dennis Gabor命名的Gabor变换是短时间傅里叶变换的一种特殊情况。这是生物驱动的线性过滤器。信号x(t)的Gabor变换定义为: |
 |
| C.表情分类 |
| 下一个功能块是表达式分类块，它使用从前一个块中提取的特征，并尝试根据特征数据之间的相似性对特征进行分类。分类器，如人工神经网络，线性分类器等通常用于这种[1]。从人脸区域中提取出特征集后用于分类阶段。这组特征被用来描述面部表情。分类需要有监督的训练，所以训练集应该包含有标签的数据。一旦训练好分类器，它就可以通过为输入图像分配特定的类标签来识别它们。 |
| 支持向量机(SVM):SVM是线性分类器，最大化决策超平面和训练集中示例之间的裕度。因此，最优超平面应使未见测试模式的分类误差最小化。该分类器首次应用于人脸检测。 |
| 神经网络:许多模式识别问题，如物体识别、字符识别等，神经网络已经成功地解决了。这些系统可以以不同的方式用于人脸检测。一些早期的研究使用神经网络来学习面部和非面部模式。他们将检测问题定义为两类问题。真正的挑战是如何表示“不包含人脸的图像”类。另一种方法是使用神经网络找到判别函数，使用距离度量对模式进行分类。一些方法尝试使用约束生成模型来寻找人脸和非人脸图像之间的最佳边界。 |
讨论与结论 |
| 实现面部表情识别的自动化系统的开发是困难的。对于鲁棒面部表情识别，应用了不同的图像检测、特征提取、分析和分类方法。本文简要介绍了人脸表情识别的方法。特征提取是表情识别系统的重要环节，因为提取的特征被用于分类阶段。使用几何特征进行表情识别的特征提取比较困难，因为它依赖于特征的形状和大小，因此基于外观的特征更容易提取。引用列表提供了对所描述的方法的更详细的理解。 |
数字一览 |
 |
| 图1 |
|
|
参考文献 |
- Alka Gupta, M. L. Garg，“使用监督自组织地图的人类情感识别系统”，IEEE可持续全球发展计算国际会议(INDIACOM)， 2014
- Ajit P. Gosavi, S. R. Khot，“基于奇异值分解的主成分分析的情感识别”，电子与通信系统国际会议(ICECS- 2014)。
- MarryamMurtaza, Muhammad Sharif, MudassarRaza和Jamal Hussain Shah，“不同面部表情下的人脸识别分析:一项调查”，《国际阿拉伯信息技术杂志》，2014年7月，第10卷，第4期。
- 单彩峰，龚绍刚，Peter W. McOwan，“基于局部二值模式的面部表情识别:综合研究”，《图像与视觉计算》27(2009)，Elsevier。
- MuzammilAbdulrahman, Tajuddeen R. Gwadabe, Fahad J. Abdu, AlaaEleyan，“基于Gabor小波变换的基于PCA和LBP的面部表情识别”，2014年IEEE第22届信号处理与通信应用会议(SIU 2014)。
- 单彩峰，龚绍刚，Peter W. McOwam，“基于局部二元模式的鲁棒面部表情识别”，IEEE图像处理国际会议2005 ICIP第2卷。
- Farhan Bashar, Asif Khan, Faisal Ahmad，和MdHasanoulKabir，“基于中值三元模式的鲁棒面部表情识别”，2013年电气信息与计算机技术国际会议(EICT)。
- SukanyaSagarikaMeher, Pallavi Maben，“基于PCA的人脸识别和面部表情识别”，2014年IEEE国际高级计算会议(IACC)。
- 阿尼玛·马宗达，“基于SelforganizingMap的面部表情识别”，神经网络国际会议，2014年7月6-11日，中国北京。
- 王晓明，王晓明，“基于神经网络的人脸表情识别方法研究”，计算机科学与技术，Vol. 5(1)， 2014, 39 - 44。
- RojaGhasemi, Maryam Ahmadi，“基于面部有效区域和模糊逻辑的面部表情识别”，伊朗智能系统会议，2014。
- 张晓明，张晓明，“人脸识别方法与应用”，计算机工程学报，Vol . 4(1)，第4- 6页。
- Mohammad Javed, Bhaskar Gupta，“各种人脸检测技术的性能比较”，国际科研工程技术杂志(IJSRET)，第2卷第1期，pp 019-0027, 2013年4月。
- 王国伟，林健文，萧万芝，“一种基于人脸检测和人脸特征提取的高效算法”，模式识别学报34(2001)1993-2004。
- “基于特征空间的面部表情识别”，《计算机科学》，2012年第8期。
- 沙娜P，保罗奥古斯丁，Tripti C，“基于成分分析的人脸识别方法的探索性调查”，国际计算机与通信工程高级研究，第2卷，第5期，2013年5月。
|
菜单
