关键字 |
| 人机交互、单片机、摄像头,MATLAB工具,射频模块。 |
介绍 |
| 如今,人机交互(HCI)的大多数是基于机械设备,如键盘,鼠标,操纵杆或游戏手柄。近年来已经有越来越多的兴趣类基于计算机视觉的方法由于其人类的手势识别能力在一个自然的方式。等方法使用输入的图像从相机或获得一双立体相机。这种算法的主要目标是在每次测量手的配置。促进这个过程很多手势识别应用程序采取独特的彩色手套或标记的使用手或手指。此外,使用一个控制背景可以有效地定位不同的手甚至在实时。这两个条件限制用户在界面设置。我们有专门解决方案,避免需要彩色手套或标记和控制的背景,因为我们的应用程序的初始需求。它必须适合不同的人,对他们没有任何补充和不可预知的背景 |
| 我们的应用程序使用了一种低成本的网络摄像头的图像放在工作区域前,在识别手势作为特定的输入机器人手臂运动。这里,摄像头与电脑或笔记本电脑人机界面。电脑已经装有MATLAB 7工具安装Windows XP。电脑摄像头之前认识的几个值。MATLAB工具识别的首选手势通过比较存储手势&给各自的输出值。生成的输出相比之下是通过射频无线传输模块。接收部分接收发射信号和AVR单片机检查几个值。单片机的输出给电机已经安装在机器人手臂,我们将各自的机械手臂的运动。 |
| 在本文中,我们提出一种实时非侵入性手跟踪和手势识别系统,将我们的方法在三个步骤。第一步是手工分割的图像区域包含手必须位于。为了使这个过程可以使用形状,但他们在人手的自然运动差异很大。对于这样的方法,我们选择进行手功能。进行独特的线索的手,它是旋转和尺度不变。下一步是追踪手的位置和姿态,以防止错误在细分阶段。我们使用一个基于像素跟踪时间更新的不同状态。在最后一步我们使用估计手状态提取几个手特性定义一个确定性的手势识别的过程。最后,我们目前系统的绩效评估结果证明我们的方法在无约束的环境中,如在行业和几个用户。 |
二世。相关工作 |
| 今天,一个用于机器人机械臂的数量研究,许多具有独特功能和设计标准。在本节中,简要的一些最近的广泛使用和/或有影响力的机械手臂。在机器人领域,一些研究成果已经指向人类的手势识别。 |
| 以下是一些流行的系统: |
| 答:建立手势识别[3]——识别系统基本服务机器人技术领域的工作,研究人员最终设计了一个机器人执行清理任务。他们设计了一个基于手势的接口来控制移动机器人配备了机械手。接口使用摄像头来跟踪一个人,认识到不同的手势包括手臂运动。一种快速、自适应跟踪算法使机器人跟踪和可靠地跟随一个人通过改变办公环境照明条件。两个手势识别方法即基于模板方法和神经的方法进行比较,结合维特比算法通过定义手势识别的手臂运动。它导致一个交互式清理任务,用户指南机器人到特定位置还需要清洗和指示机器人捡垃圾。 |
| b .动作捕捉传感器识别[4]——识别技术能实现基于加速度计的系统与工业机器人手臂进行无线通信。在这个特定的项目的机械手臂与基于ARM7的LPC1768核心动力。实际上,MEMS三维加速度计传感器捕捉手势的人胳膊,产生三种不同的模拟输出电压在三维坐标轴。flex和两个传感器是用来控制机械手爪的运动。 |
| c .基于重力感应的手势识别——手势识别方法已成为越来越受欢迎的在很短的时间。low-moderate成本和相对体积小的加速度计是两个因素,使其一个有效的工具来检测和识别不同的人体姿态。几项研究已经进行手势识别的加速度数据使用人工神经网络(ann)。 |
| 图中显示该系统框架的摄像头连接到笔记本电脑。手势识别系统运行在一台笔记本电脑/电脑。一对无线通信模块与手势识别系统和机器人控制器。使用网络摄像头获取的图像数据不同的手部运动。图像或视频获得作为输入噪声或可能降低性能通过识别周围的手地区。获得的数据进行增强和处理进一步使它适合近似手势(数据)存储在数据库中。然后数据处理识别手势。每个手势都对应一个不同的机器人控制命令。那么无线模块用于将这些不同的机器人控制命令发送到机器人控制器。因此,机械手臂会行动根据不同人类的手势,从而可以实现人机交互。 The gesture recognition system is developed with MATLAB tool. |
| 机械臂单元由一个单片机(PIC16F877A)作出决定根据接收到的代码。不同的单片机接口中实现机械臂单元如图b所示PIC16F877A工作5 v,射频模块工作在3.3 v, 2.4 GHz频率范围。直流电机用于驱动应用程序根据接收到的代码。在12 V直流电机的工作原理。驱动直流电机,我们必须需要一个叫做L293D直流电机驱动。直流电机驱动程序能够驾驶2直流电机。为了保护后生成的EMF的直流电机直流电机旋转方向改变时,直流电机驱动程序有一个内部保护服。我们还提供了EMF保护诉讼通过连接4二极管配置在每个直流电机。液晶在项目中使用可视化应用程序的输出。我们使用16 x2液晶显示2行16列。 LCD can also used in a project to check the output of different modules that interfaced with the microcontroller. Thus LCD plays a vital role in a project to see the output and to debug the system module wise in case of system failure in order to rectify the problem. |
四、算法 |
| 步骤1:摄像头捕捉手运动由用户执行的。 |
| 步骤2:电脑/笔记本电脑比较接收到的姿态与存储数据库通过MATLAB。 |
| 步骤3:匹配? |
| 是的 |
| 步骤4 |
| 没有 |
| 步骤2 |
| 步骤4:传输通过无线射频模块生成的输出。 |
| 第五步:接受发射信号对单片机和收益。 |
| 第六步:单片机接收匹配值与存储数据。 |
| 第七步:匹配? |
| 是的 |
| 步骤8 |
| 没有 |
| 第八步:汽车给各自的机械手臂运动。 |
诉客观 |
| 这个项目的主要目的是研究机械臂的发展的特点和性能来模拟人类的手在操纵对象通过引入基于PIC的无线系统。 |
| 追随者是额外的目标提出系统: |
| 答:制造机器人的手,这是应用独立的力量抓住对象的能力。 |
| b生产无线人工机器人模仿人类手操纵的对象以及有助于解决机器人末端效应器把握问题和机器人编程困难。 |
| c .控制运动使用手套的手,teleoperate集成射频无线模块。 |
| d设计机械手的控制部分由PIC / AVR /手臂家庭中档单片机作为控制器。 |
六。实验结果 |
| 为了得到一个可靠的识别,它是相当重要的,从训练图像提取的特征是检测到即使在图像比例尺的变化,噪音和照明。这样的点通常躺在高对比度图像的区域,例如对象边缘。手势识别是最初由匹配每个关键独立的数据库从训练图像中提取关键点。许多这样的初始匹配将错误由于模糊特性或特性,来自背景杂乱。因此,集群的一些特性是首次发现,同意一个对象及其构成,这些集群已经被正确的概率远高于个人特征匹配。然后,检查每个集群通过执行详细的几何模型适合,结果用于接受或拒绝解释。 |
| 从我们的实现结果如图C & d .噪声调整是一个非常重要组成部分我们的方法导致效率低下或错误的匹配。然而,我们使用参数这应该有助于保持特性匹配的健壮的噪音在这个实现 |
| 这代表人物O是一个彩色图像输入图像。应用作为输入查询图像,它匹配的缩放图像字符O出现在数据库中。Matlab工具比较输入/接受图像与数据库形象和给处理块拨款的输出。 |
| 的一些转换我们测试在我们的实现中是: |
| 饱和,虽然颜色清除完成从输入查询图像,图像数据库,,,结果是正确的。 |
| 规模,我们降低了源图像和目标图像,识别被发现是正确的 |
| 旋转,我们在倾斜一个角度拍照片然后做了匹配结果出来是正确的。 |
七世。应用和未来的工作 |
| 实时控制机器人,通过手势是一种新颖的方法,其应用程序是无数的。炎症的服务机器人在未来国内用户和行业需要这些方法广泛。有巨大的潜在的方法一旦得到进一步优化,其时间复杂度较高,硬件的帮助下更好的规范。使用更高效的无线通信技术和摄像机机器人单元将提高系统的性能在很大扩展,可以纳入未来的工作。 |
八世。结论 |
| 一个低成本的计算机视觉系统,可以执行在一个共同的电脑配备低功率USB网络摄像头是我们工作的主要目标之一,已成功实施。我们已经尝试了约30手势图像,取得了更高的平均精度。最好的分类97%的速度是在不同光照条件下获得的。但是这种方法的缺点是,手应妥善放置对摄像头捕捉这整个手地区。如果手没有放置正确适当的手势不认可。手势在这种方法只涉及一个手,这降低了手势的数量可以使用双手。 |
数据乍一看 |
|
|
|
引用 |
- 大卫·g·劳”独特的形象从尺度不变特征关键点”,国际期刊《计算机视觉,Vol.60,问题2号,页。91 - 110年,2004年。
- 莫·m·哈桑,Pramod k Mishra:“手势建模和识别使用几何特性:回顾”:加拿大journalon图像处理和计算机视觉第三卷,第一期,2012年3月。
- s . Waldherr r·罗梅罗和杜伦,人机交互的“基于手势界面”,自主机器人Springer, 9卷,问题2,151 - 173年,2000页。
- k . Brahmani k . s .罗伊Mahaboob阿里,“基于Arm 7机械臂控制电子手势识别单元使用Mems”,国际工程趋势和技术杂志》4卷,问题4,页50 - 63年,2013年4月。
- j·杨,w .爆炸,大肠崔曹,j .哦,j .赵s . Kim Ki和d·金”3 d手绘手势输入设备使用模糊ARTMAPbasedRecognizer”,在杂志的系统性,控制论和信息,4期3卷,1 - 7,2006页。
- r·w·Jasutkar教授女士Shubhangi j .月亮,“实时手势识别技术通过使用嵌入式设备”。InternationalJournal先进的工程科学和技术,2卷,没有问题。2005年5月1日,第046 - 043页。。
- RafiqulZaman Khan1 &努尔Adnan Ibraheem”调查对手势识别手形象姿势”,国际期刊和信息科学,5卷,问题3号,110 - 121页,2012年。
- g . r . s .没吃& r·s·米伦。“回顾基于视觉的手势识别,”国际信息技术和知识管理学报,2卷,2号、405 - 410页,2009年
|
菜单
