关键字 |
| 人机交互，单片机，网络摄像头，MATLAB工具，射频模块。 |
介绍 |
| 如今，大多数人机交互(HCI)都是基于键盘、鼠标、操纵杆或手柄等机械设备。近年来，人们对基于计算视觉的一类方法越来越感兴趣，因为它能够以自然的方式识别人类的手势。这种方法使用从相机或立体声相机获得的图像作为输入。这类算法的主要目标是测量每个时间瞬间的手部构型。为了促进这一过程，许多手势识别应用程序诉诸于在手上或手指上使用独特颜色的手套或标记。此外，使用受控背景可以有效甚至实时地定位不同的手。这两个条件对用户和界面设置施加了限制。由于应用程序的初始要求，我们特别避免了需要彩色手套或标记和受控背景的解决方案。它必须适用于不同的人，没有任何补充和不可预测的背景 |
| 我们的应用程序使用放置在工作区域前面的低成本网络摄像头的图像，其中识别的手势作为特定机械臂运动的输入。在这里，网络摄像头与电脑或笔记本电脑连接，实现人机界面。计算机已装载MATLAB 7工具，安装Windows XP。网络摄像头对计算机先行若干个识别值。MATLAB工具通过比较存储的手势值并给出各自的输出来识别首选的手势。对比产生的输出通过射频模块进行无线传输。接收部分接收发射信号，并将信号发送给AVR单片机，由AVR单片机对信号进行检测。将微控制器的输出输出给安装在机械臂上的电机，得到机械臂各自的运动轨迹。 |
| 在本文中，我们提出了一种实时无创手部跟踪和手势识别系统，并将我们的方法分为三步。第一步是手分割，其中包含手的图像区域必须被定位。为了实现这一过程，可以使用形状，但在人手的自然运动过程中，形状会发生很大变化。在这种方法中，我们选择皮肤颜色作为手部特征。皮肤的颜色是手的一个独特的线索，它是不变的比例和旋转。下一步是跟踪手的位置和方向，防止在分割阶段出现错误。我们使用基于像素的跟踪来对不同的手状态进行时间更新。在最后一步中，我们使用估计的手状态来提取几个手的特征来定义一个确定的手势识别过程。最后，我们给出了系统的性能评估结果，证明我们的方法在不受约束的环境中，如在工业和多个用户中工作良好。 |
2相关工作 |
| 今天，许多机械臂用于机器人研究，其中许多具有独特的功能和设计标准。在本节中，简要介绍了一些最近广泛使用和/或有影响力的机械臂。在机器人领域，有几项研究致力于识别人类的手势。 |
| 以下是几个流行的系统: |
| a .基于视觉的手势识别[3]-这个识别系统基本上在服务机器人领域工作，研究人员最终设计了一个执行清洁任务的机器人。他们设计了一个基于手势的界面来控制装有机械手的移动机器人。该界面使用一个摄像头来跟踪一个人，并识别包括手臂运动在内的不同手势。一种快速的自适应跟踪算法使机器人能够在光照条件不断变化的办公环境中可靠地跟踪和跟踪人。比较了基于模板和基于神经的两种手势识别方法，并将其与Viterbi算法相结合，实现了通过手臂运动定义的手势识别。它的结果是一个交互式的清理任务，用户引导机器人去到需要清洁的特定位置，并指示机器人捡起可用的垃圾。 |
| B.动作捕捉传感器识别[4]-这种识别技术使实现基于加速度计的系统与工业机械臂无线通信成为可能。在这个特殊的项目中，机械臂由基于ARM7的LPC1768核心提供动力。实际上，MEMS是一个三维加速度计传感器，它捕捉人体手臂的手势，并在三维轴上产生三个不同的模拟输出电压。两个柔性传感器用于控制夹持器的运动。 |
| C.基于加速度计的手势识别——这种手势识别方法在很短的时间内变得越来越流行。加速度计的低成本和相对较小的体积是使其成为检测和识别不同人体手势的有效工具的两个因素。使用人工神经网络(ANNs)从加速数据中识别手势已经进行了一些研究。 |
| 图中显示了网络摄像头与笔记本电脑连接的系统框架。在笔记本电脑上运行的手势识别系统。一对无线通信模块分别与手势识别系统和机器人控制器连接。网络摄像头用于获取手部各种动作的图像数据。作为输入获取的图像或视频可能有噪声，或者通过将周围识别为手区域而降低性能。对所获得的数据进行增强和进一步处理，以使其适合于与存储在数据库中的手势(数据)的近似。然后对数据进行处理以识别手势。每个手势都对应一个不同的机器人控制命令。然后使用无线模块将这些不同的机器人控制命令发送到机器人控制器。相应地，机械臂会根据人的不同手势做出动作，从而实现人机交互。 The gesture recognition system is developed with MATLAB tool. |
| 机械臂单元由一个微控制器(PIC16F877A)组成，根据接收到的代码做出决定。机器人手臂单元实现的不同微控制器接口如图b所示，PIC16F877A工作在5V，而RF模块工作在3.3V，频率范围为2.4 GHz。根据接收到的代码，直流电机用于物理地驱动应用程序。直流电机工作电压为12v。要驱动直流电动机，我们必须需要一个叫做L293D的直流电动机驱动器。这种直流电机驱动器能够同时驱动2个直流电机。为了保护直流电动机不受直流电动机在旋转方向改变时产生的反电动势的影响，直流电动机驱动器有内部防护服。我们还提供了反EMF保护服通过连接4个二极管配置横跨每个直流电动机。LCD在项目中用于可视化应用程序的输出。我们使用16x2 LCD表示16列2行。 LCD can also used in a project to check the output of different modules that interfaced with the microcontroller. Thus LCD plays a vital role in a project to see the output and to debug the system module wise in case of system failure in order to rectify the problem. |
四、算法 |
| 第一步:网络摄像头捕捉用户的手部动作。 |
| 第二步:PC/Laptop通过MATLAB将接收到的手势与存储的数据库进行比较。 |
| 3 .匹配? |
| 是的 |
| 步骤4 |
| 没有 |
| 步骤2 |
| 步骤4:通过无线射频模块传输产生的输出。 |
| 第五步:接受发射信号，并向单片机前进。 |
| 第六步:微控制器将接收值与存储数据进行匹配。 |
| 第七步:匹配? |
| 是的 |
| 步骤8 |
| 没有 |
| 步骤8:电机给机械臂相应的运动。 |
诉客观 |
| 本课题的主要目的是通过引入基于PIC的无线系统，研究模拟人手操作物体的机械臂的特点和性能。 |
| 以下是拟议系统的附加目标: |
| a .制造机器人手，能够对抓住的物体施加独立的力。 |
| B.制造一种模仿人手操作物体的无线人工机械手，解决机器人末端执行器抓取问题和机器人重编程难题。 |
| C.使用手套与手结合，通过射频无线模块远程操作，控制动作。 |
| D.以PIC/AVR/ARM系列中端微控制器为控制器，设计机械手的控制部分。 |
六、实验结果 |
| 为了获得可靠的识别，即使在图像尺度、噪声和光照变化的情况下，从训练图像中提取的特征也能被检测出来是非常重要的。这些点通常位于图像的高对比度区域，例如物体的边缘。手势识别最初通过将每个关键点独立匹配到从训练图像中提取的关键点数据库来执行。由于模糊的特征或背景混乱引起的特征，许多初始匹配将是不正确的。因此，首先识别出一些特征的聚类，这些特征在物体及其姿态上是一致的，因为这些聚类比单个特征匹配的正确概率要高得多。然后，通过对模型执行详细的几何拟合来检查每个聚类，并使用结果来接受或拒绝解释。 |
| 我们实现的结果如图C和d所示。噪声调整是我们方法中非常重要的一部分，它可能导致低效或错误匹配。然而，我们使用了一些参数，这些参数应该有助于保持特征匹配对噪声的鲁棒性 |
| 这个表示字符O的输入图像是一个彩色图像。当它作为输入查询图像应用时，它与数据库中出现的字符O的缩放图像相匹配。Matlab工具将输入/接受的图像与数据库图像进行比较，并将相应的输出输出到处理块。 |
| 我们在实现中测试的一些转换是: |
| 饱和,即使从输入查询图像、数据库图像和两者中去除颜色，结果也是正确的。 |
| 规模,我们缩小了源图像和目标图像，仍然发现识别是正确的 |
| 旋转,我们以倾斜的角度拍照，然后进行匹配，结果是正确的。 |
7申请及未来工作 |
| 通过手势实时控制机器人是一种新颖的方法，其应用范围非常广。未来几年，服务机器人对家庭用户和行业的影响将广泛需要这种方法。由于该方法的时间复杂度较高，且硬件规格较好，在进一步优化后具有巨大的潜力。在机器人单元上使用更高效的无线通信技术和摄像头，将在很大程度上提高系统的性能，并可用于未来的工作。 |
8结论 |
| 低成本计算机视觉系统是我们工作的主要目标之一，该系统可以在配备低功率USB网络摄像头的普通PC上运行，并已成功实现。我们已经对大约30个手势图像进行了实验，并获得了更高的平均精度。不同光照条件下的最佳分类率为97%。但这种方法的缺点是，手应该相对于网络摄像头正确放置，以便捕捉整个手部区域。如果手放得不正确，手势就不能被正确识别。用这种方法做出的手势只涉及一只手，这就减少了可以用两只手做出的手势的数量。 |
数字一览 |
|
|
|
参考文献 |
- David G. Lowe，“基于尺度不变的图像特征识别方法”，《计算机视觉学报》，Vol.60, No. 2,pp。91 - 110年,2004年。
- Mokhtar M. Hasan和Pramod K. Mishra:“使用几何特征的手势建模和识别:综述”:加拿大图像处理与计算机视觉杂志第3卷，第1期，2012年3月。
- S. Waldherr, R. Romero和S. Thrun，“基于手势的人机交互界面”，《自主机器人》，第9卷，第2期，151-173页，2000年。
- K. Brahmani, K. S. Roy, Mahaboob Ali，“基于Mems的电子手势识别单元的机械臂控制”，国际工程趋势与技术杂志，第4卷，第4期，pp. 50-63, 2013年4月。
- 杨杰，W. Bang, E. Choi, S. Cho, J. Oh, J. Cho, S. Kim, E. Ki和D. Kim，“基于模糊artmaped识别器的3D手绘手势输入设备”，系统控制与信息学杂志，第4卷第3期，pp. 1-7, 2006。
- R. W. Jasutkar教授，Shubhangi J. Moon女士，“基于嵌入式设备的实时手势识别技术”。《国际先进工程科学与技术》第2卷第1期。2005年5月，第043-046页。
- “手图像姿态的手势识别研究”，《国际计算机与信息科学杂志》，2012年第5卷第3期，第110-121页。
- G. R. S.默西和R. S.杰顿。“基于视觉的手势识别综述”，《信息技术与知识管理》，第2卷，第2期，pp 405-410, 2009
|
菜单
