模拟鼠标使用人脸(HCI)

Snehal Dongre¹,Sachine帕蒂尔²

主机(公元)的学生,G.H. Raisoni工程学院&管理Ahmednagar,印度浦那
Asst.教授,it部门,G.H. Raisoni College of Engineering &管理Wagholi,印度浦那

相关文章Pubmed,谷歌学者

访问更多的相关文章国际期刊的创新在计算机和通信工程的研究

文摘

这个项目是用于应用程序的能力与人脸交换鼠标与电脑的交互。面部结构(提示、眼睛和鼻子)在使用他们的追踪和跟踪运动的鼠标事件。鼻子的坐标提示视频中解释为开发鼠标在屏幕上的坐标。左/右眨眼控制左/右单击事件。外部设备将视频凸轮。

关键字

光标控制系统、眼睛检测、眼球运动、人脸检测、人机交互,支持向量机(SVM)。

介绍

在过去的几年中知识成为发展和成本更低。高执行处理器和经济摄像头,人们使用使用图像处理实时应用程序。人工智能就是其中之一。我们的工作目标是使用人脸与机器进行交互。我们的系统捕获特性以及凸轮和注意其行为来解释事件与机器交流。我们补偿那些双手残疾的人。我们的系统可以防止它们使用鼠标。我们的系统使用面部表情与机器进行交互。鼻子尖被选为定点设备;这一决定背后的原因是鼻子的位置和形状; as it is located in the middle of the face it is more comfortable to use it as the feature that moves the mouse pointer and defines coordinates, it is placed on axis that the face take turns about. It is in convex shape which makes it easier to track as the face moves. Eyes were used to simulate clicks. User now fire events. He blinks their eyes while different devices were used in our system. (e.g. infrared cameras, sensors, microphones) we used an off-the-shelf cam that affords a moderate resolution and frame rate as the capturing device in order to make the ability of using the program affordable for all individuals. We will try to present an algorithm that distinguishes true eye blinks from involuntary ones, detects and tracks the desired facial features.

二世。相关工作

注意对机器视觉的发展,对我们的项目的兴趣增加比例。as我们之前提到的不同的人类特性和监控设备被用来实现我们的项目,但在我们的研究我们只对工作感兴趣,涉及使用面部特征和网络摄像头。我们注意到一个大的面部特征选择的多样性,他们探测和跟踪的方式,和功能,提出了该项目。研究人员选择了不同的面部特征:眼睛瞳孔,眉毛,鼻子,嘴唇,眼皮的每个角落,嘴角,他们提供了一个解释选择,特别的一个。不同的检测技术应用(如功能为基础,基于图像)的目标是获得更准确的结果减少了处理时间。控制鼠标指针的各种点跟踪从中间距离眼睛,眉毛之间的中间距离,鼻子尖。模拟鼠标点击;眼睛眨眼睛,嘴巴打开/关闭,有时眉毛运动。每个项目的方法,我们了解了一些缺点,一些方法使用昂贵的设备,有些人不够快实现实时执行,和其他人不够健壮和精确取代鼠标。我们试图从中获得的经验,其他研究人员在项目现场并添加自己的想法产生的应用程序快速、健壮的和可用的。

三世。算法

答:设计注意事项:

人脸检测算法概述:

两个主要类别:

1。基于特征的方法

2。基于图像的方法。

基于特征的方法:首先涉及发现面部特征(如眉毛、嘴唇、眼睛学生…。)

基于图像的方法:扫描图像感兴趣的一个窗口,寻找面临尺度和位置。

b算法的描述:

我们系统相信来自不同种族的人有相同的肤色但是他们不同的照明强度,颜色(例如在HSB颜色模型根据这个想法的人接近H和S值但不同的B值)。

为了找到一个合适的肤色模型,根据前面提到的想法,我们将使用纯r、g值的r, g值没有亮度的RGB颜色模型,并计算出以下方程:

我们使用基于特征的人脸检测方法来减少领域,我们正在寻找,我们可以减少执行时间。

发现面对候选人(SSR)六分段矩形过滤器,过滤器中使用以下方法:最初我们计算积分的图像。我们正在通过一个视频帧使用这些方程[3]:

s (x, y) = s (x, y-1) + i (x, y) ........(7)

二世(x, y) = 2 (x - 1, y) + s (x, y)……(8)

这里的(x, y)是累积行求和,s (x) 1) = 0,二(1,y) = 0。图2显示了一个理想的位置SSR过滤器,其中心是一个候选人。

(x, y)滤波器的位置(左上角)。

加号是滤波器的中心面对候选人。

我们可以注意到,在这个理想的位置的眼睛落在行业S1和S3,虽然鼻子部门S5。

自的眼睛和眉毛是耳背式和颧骨,我们推断出:

我们使用一个阈值与当前使用的大小SSR过滤器,消除小的集群。足够大的每个集群中心设置以下方程:

我是像素从集群,n是集群的区域。

发现鼻子提示:

现在我们位于眼睛,最后一步是发现鼻子尖。

从图3中,我们可以看到,蓝线定义了一个广场的学生。嘴角;鼻子尖应该落在这个广场,这个广场成为本地区的兴趣发现鼻子尖(见图4)。所以第一步是提取ROI;以防我们需要的脸上旋转旋转ROI回到眼睛的水平对齐。

使用先前的想法我们试图找到鼻子尖,强度配置文件。垂直水平强度资料添加到每一行的值行之前的ROI(见图5),如此以来,鼻梁比周围的特征值应该积累速度在斯坦福桥的位置;换句话说最大值的水平剖面给我们鼻子的“x”协调小费。

四、伪代码

诉仿真结果

数字化(a, b)空间我们轮值0.01被乘数,我们得到101 a的值,和88 b的值。最后,发现皮肤肤色模型提取735像素样本每个771脸图片取自[6、7],所以皮肤样本像素的总数是566685个样本。为每个样品我们计算了a和b值,并增加计数器的值(“a”有101计数器,' b '有88计数器)。最常见的值被认为是皮肤像素值,所以在策划' a '和' b '结果(见图5和6)我们推导出以下阈值为' a ',和' b '考虑像素作为皮肤像素。

投资回报率:感兴趣的地区。

我们添加水平每一列的值的列之前的ROI(见图7);一样的水平,积累速度值在鼻子尖位置的最大价值给我们鼻子的y坐标小费。来自,水平和垂直侧面我们能够定位鼻子尖位置(见图8),但不幸的是这种方法没有给出准确的结果,因为这可能是几个最大值在相互接近一个概要文件,并选择正确的最大价值,真正指出鼻子尖的坐标是一个艰巨的任务。

每个平衡将与S2部门添加一定量的积累和水平剖面,但鼻子颤音的平衡位置将添加一个较小的数量(S2部门平衡的鼻子颤音位置的颜色比S2部门其他平衡的),所以如果我们计算的第一个导数值平衡的S2部门(第一次导数的最大值的值在每个ROI水平剖面线)我们会注意到一个局部最小值在鼻子颤音位置(参见图9);通过定位这个局部最小值取平衡位置对应于它的鼻子颤音,和下一步是寻找上面的鼻子尖鼻子颤音。自从鼻子尖是比其他功能将捐赠S2sector累计金额超过其他平衡的,这就意味着局部极大值的衍生物(参见图9);所以鼻子尖的位置是平衡的位置相对应的局部极大值高于局部最小值的衍生物。

在跟踪模式结果是非常健壮的:

1。帧率是20 fps和更高;用户可以移动非常快没有失去他的面部特征。

2。眼镜反射光线,导致亮点,有时迫使我们的节目失去联系的眼睛。检测和跟踪是准确的和健壮的照明条件必须设置光线是额的方式会在脸上均匀,因为侧光会导致虚假的人脸检测和最终将影响跟踪过程。

六。结论和未来的工作

我们非常有希望;以下的结论是基于实验,在世博会期间举行。在检测模式时定位准确的眼睛和鼻子尖以下条件满足:

1。面对不超过5°的轴旋转,从鼻子尖(只要眼睛下降行业S1和S3的SSR过滤器)。

2。面对不是围绕轴旋转超过30°,从颈部(概要视图)。

3所示。戴眼镜不影响我们的检测过程。

4所示。至于不同尺度最好得到接近凸轮约35厘米,因为当面对有点远离屏幕程序可能探测到一个假阳性尤其是挤满了背景(拥挤)。

功能可能包括工作改善跟踪鲁棒性对照明条件;也许采用更复杂的和昂贵的捕获设备如红外摄像机可以在没有光,给更准确的跟踪结果。添加双左键点击(检测双左眨眼)和拖动模式(启用/禁用右双眨眼)功能。添加语音命令来启动程序,启动检测过程,并启用/禁用控制鼠标的脸。

引用

M。Mangaiyarkarasi和。Geetha”,光标控制系统为人类使用面部表情——计算机交互”.新兴技术在计算机科学和电子杂志(IJETCSE) ISSN: 0976 - 1353卷8期2014年4月1日。
Shrunkhala Satish Wankhede, S.A.女士Chhabria博士和随机变数Dharaskar,“使用眼动控制鼠标光标”.杂志的应用程序或创新工程与管理(IJAIEM) 2013。
塔伦达睡椅,Rajesh女子,“自动眨眼跟踪和检测在图像序列”。国际计算机科学与信息技术杂志》上(IJCSIT),卷2。(5),2011年。
Akhil Gupta阿卡什Rathi, y博士完婚,“免提pc控制”控制鼠标光标的眼球运动。国际期刊的科学和研究出版物,卷2,问题4,2012年4月。
诉Pradeep”,一个简单的算法,使用面作为定点设备使用opencv”。国际先进研究期刊》的研究在计算机scince和软件工程中,卷2,问题2,2012年2月。
Erik Hjelm和恩凯低,“人脸检测:一项调查”。机器视觉和图像理解83、236 - 274 (2001)。