国际电气、电子和仪器工程高级研究杂志
菜单在线刊号(2278-8875)印刷版(2320-3765)
在线刊号(2278-8875)印刷版(2320-3765)
曼朱娜塔1, Pradeepkumar安塞2, Santhosh.S.Y3.
|
| 有关文章载于Pubmed，谷歌学者 |
更多相关文章请访问国际电气、电子和仪器工程高级研究杂志
本文提出了一种可用于基于视觉的人机界面的手姿势估计的实时实现和新方法。本文讨论和比较了不同的方法，分割，特征提取，分类器。实验结果表明，在不同的环境条件下，不同的方法对于基于视觉的界面是可行的，尽管针对不同的数据库和指定的分类器讨论的方法用于更快地实现实时处理
关键字 |
| 分割，特征提取，分类器。 |
介绍 |
| 人类手部动作具有控制功能(例如，抓取物体、设计物体)和逻辑解释功能(例如，手语、指向)。“人的技能”大多属于控制功能。由于很难描述手部的操作动作，因此向系统教授人类技能是一项艰巨的任务。 |
| 手势识别对于开发一种有吸引力的替代流行的人机交互模式非常重要。在许多论文中，他们都专注于动态手势的识别问题。他们专注于单个手掌手势，这是一系列不同的手部形状和姿势。一个给定的手的形状可以经历运动和离散的变化。然而，在旧的新方法中，连续变形是不允许的。这些手势是根据所涉及的手的形状和运动的性质来区分的。他们已经开发了一种实时识别系统，可以很容易地识别这些手势，尽管有个体差异。该新型接近系统还能够以自动方式检测手势序列的开始和结束。 |
| 手势生成的范围很广，从用手指着和移动物体的简单动作，到更复杂的表达我们的感受并使我们能够以有效的方式与他人交流的动作。为了开发人机交互中手势的使用，有必要提供计算机可以解释手势的方法。手势的HCI解释要求机器能够测量人手、手臂甚至人体其他部位的动态和/或静态配置。 |
2相关研究 |
| 在本文中，他们提出了一种新的手部姿态估计方法，可用于基于视觉的界面。在该方法中，从多视点摄像系统获得的手轮廓图像构建体素模型。体素模型方法不仅可以应用于技能教学系统，还可以应用于虚拟现实界面和三维设计系统[1]。在这项工作中，他们开发了一个基于HMM的手势识别系统，该系统使用手势的时间和形状特征进行识别。他们考虑了单手动态手势。一个手势是由一系列的时代组成的。每个纪元的特点是不同的手形状的运动[2]。所提出的方法是通过连续图像相减，测量熵，从图像中分离手区域，跟踪手区域，识别手势来获得图像。通过熵测量，对值大的区域得到肤色分布接近的颜色信息，并从输入图像[3]中提取手部区域。本文提出了一种基于PCA-ICA的手关节表示方法，用于跟踪图像序列中的手-指手势。利用主成分分析(PCA)对手运动空间进行降维，然后利用独立分量分析(ICA)提取局部特征向量[4]。 The most fundamental result is that using EMG forearm signals to build a high accuracy classifier to predict hand gestures are possible. Top end accuracies above 90%, indicate that classification has promise as a technique to control a prosthetic hand. Comparisons of ANN and RF showed them to be equivalent, indicating either are good candidates for future EMG classification studies [5]. A Computer vision color tracking algorithm is developed and applied towards tracking human hand. This system is based on three main stages: skin color detection, hand tracking and hand gesture recognition. Thus a system id developed 26 hand gestures which represents the alphabet from A to Z in ASL (American Sign Language) [6]. This paper presents a real-time method for hands detection and gesture classification. Since hands are non-rigid body components, it is difficult to segment and track the regions precisely. By using both the depth and color property, they are able to reconstruct the gesture trajectory in real-time [7].In this paper, an overview of algorithms for hand gesture segmentation has been presented. A universal algorithm for segmenting hand gesture images certainly does not exist and, on the contrary, most techniques are tailored on particular application and may work only under certain hypotheses and assumptions [8]. Many of input providing technologies require physical touch and also there are other variations that provide input to the application without using physical touch as they may be based on other human characteristics like speech, hand gesture etc. The advantage of the usage of hand gesture based input mode is that this method provides the user ability of interacting with the application from a distance without using the traditional input devices like keyboard or mouse [9]. They have developed a gesture recognition system that is shown to be robust for JSL gestures. The system is fully automatic and it works in real-time. It is fairly robust to background cluster. The advantage of the system lies in the ease of its use. Experiments on a single hand database have been carried out and recognition accuracy of up to 99% has been achieved [10]. They suggested a simple and effective algorithm for hand detection. When input image of the hand is detected,the algorithm articulate and sectored the hand portions andthen performed the operations on the fingers of hand detected. The proposed model works well in simple conditions with an accuracy of 95% but due to weaker localizing portion its efficiency decreases with complex backgrounds [11]. The current approach taken provides a simple and fast localization of hand gesture. It takes the advantages directly from the image content through a combination of motion and color cues. The color map is statistically generated from a generic skin color model and motion probabilities are obtained from simple differencing [12]. |
3方法 |
答:Algorithm-1 |
| 所提出的方法是通过连续图像相减，测量熵，从图像中分离手区域，跟踪手区域，识别手势来获得图像。通过熵测量，对值大的区域得到肤色分布接近的颜色信息，并从输入图像[3]中提取手部区域。 |
| 步骤1:取图像序列 |
| 步骤2:邻域帧的差分图像 |
| 步骤3:对于每个子块，评估PIM |
| 步骤4:获取PIM值的均值和方差 |
| 步骤5:手部区域的提取 |
| 步骤6:利用质心和链码提取轮廓 |
| 步骤7:获取中心轮廓 |
| 否= >步骤2 |
b . Algorithm-2 |
| 本文描述的实验收集并分类了与一组手势相关的表面肌电信号。目的是(1)展示利用从人类前臂肌肉收集的表面肌电信号分类预测与一组信号相关的特定手势的可行性，(2)提高分类精度，(3)通过减少特征集[5]简化分类模型。 |
 |
c . Algorithm-3 |
| BGS的主要任务是建立一个明确的背景模型，然后通过计算当前帧与背景模型之间的差异来分割提取前景对象。一个好的BGS算法应该对光照条件的变化具有鲁棒性，能够忽略小背景元素的运动，并能够将新对象纳入背景模型[8]。 |
| 步骤1:输入视频流 |
| 步骤2:对流进行预处理，进行背景建模 |
| 步骤3:前景检测 |
| 步骤4:延迟处理流 |
| 步骤5:获取前景蒙版 |
| 步骤6:背景建模 |
| 步骤7:通过前景检测得到背景模型 |
d . Algorithm-4 |
| 程序从采集阶段开始。作为标准输入设备，如键盘，位置和指向设备已被宣布为不受欢迎的应用领域。我们的努力是面向用户友好和智能界面的可能替代方案，灵感来自于现实场景[9]中用户的自然行为。在选择图像捕捉设备时，他们还必须考虑安装点。 |
| 步骤1:将捕获的图像作为图像序列 |
| 步骤2:背景减法，手检测。定位手的位置使用哈尔级联。 |
| 第三步:Camshift, Lucas kanade光流。执行手部跟踪。 |
| 步骤4:找出并提取最大的轮廓线(Area)。寻找轮廓的凸包。 |
| 步骤5:计算缺陷的数量。求有界矩形的方向。 |
| 步骤6:手势建模。把手势理解为有意义的指令。 |
| 步骤7:执行适当的动作。 |
| 在第一个算法中，他们进行了6种手部姿势的实验。 |
 |
| 在对6种手势的实验结果中，采用熵分析方法，在5帧/秒的速度下，对人的识别率达到95%以上，对每个手势的识别率达到90~100% |
| 第二种算法他们使用不同的分类器:人工神经网络(ANN)，随机森林(RF)，最近邻(1NN)，增强决策树(DT/B)，支持向量机(SVM)和决策树(DT)。 |
 |
| 最后，通过不同的分类器，例如;ANN-6和RF-30在使用五通道特征时是较好的分类器。ANN-6被证明是有效的，即使使用很少的两个特征。ANN和RF的方差分析比较显示它们是等效的，表明两者都是未来肌电图分类研究的良好候选者。[5] |
| 在第三种算法中比较了不同背景的减法分析，讨论了它们的优缺点，并讨论了基于颜色的分割分析。该算法讨论了不同的背景减法技术，如高斯建模用于对象的鲁棒分类，与其他两种类型相比，它将得到较好的结果，定向梯度直方图用于形状的轻微变化，力场用于遮挡[8]。 |
| 聚类技术中不同类型的基于颜色的分割分析会给出非监督分类。在自适应聚类中，空间约束被施加。在直方图阈值技术中，不需要图像的先验信息，可以快速地逼近图像。 |
| 在游戏应用程序中，第四种算法在时间响应方面是最适合的。一旦手被检测到，应用程序将进一步跟踪用户通过手执行的不同手势，并在其周围生成轮廓。该应用程序使用在应用程序内定义的四手手势与虚拟游戏进行交互。不同的手势连同他们分配的命令(功能)来控制应用程序，进一步用于虚拟游戏控制 |
诉的结论 |
| 本文对不同方法的概念、分割、特征提取、分类器等进行了讨论和比较，实现了手部姿态的识别和手势建模。根据我们的调查，不同的方法、分割技术和特征提取技术进行了比较。在不同的分类器中，人工神经网络分类器的识别率和准确率优于本文所比较的其他分类器，但在本文中他没有讨论系统的时间响应。为了获得较好的时间响应，可以使用多类支持向量机分类器。该界面使人类用户能够通过手势控制智能环境。目前的研究已经分类了不同的简单的手姿态和任何手势，由预定义的手姿态的任何组合组成。 |
参考文献 |
|
