关键字 |
| 检测;功耗;执行时间;硬件解决方案;HW / SW合作设计 |
介绍和相关工作 |
| 有必要系统能够自动监控人类活动以减少训练的压力和扩大力量健康解决方案。因此,重要的是要开发一个自动检测应用程序以防止下滑的风险,老年人和康复中的病残者和提供直接帮助。 |
跌倒检测方法 |
| 一般来说,自动下降检测可以由许多不同的技术: |
| •室内传感器:红外传感器阵列[1],激光扫描仪[2][3]甚至地板振动和声音。 |
| •可穿戴传感器:加速度计、陀螺仪甚至气压传感器[4]。 |
| •视频系统:mono相机[5],[6]多摄像机,Kinect传感器[7]。 |
| 其中,可穿戴传感器可以捕捉速度高,发生在关键阶段,水平方向的职位下降阶段。然而,在这些方法的用户必须穿设备,因此,如果不方便,可以打扰他们。此外,这样的系统需要经常充电电池,这对于实际应用而言可能是一个严重的限制。另一方面,视频系统允许操作员快速检查警报是否与实际下降。基于视频处理的框图的跌倒检测是图1所示。 |
 |
| 一个有趣的对象(即前台)将从背景中提取每个视频帧的视频剪辑。这种检测技术被称为背景减法。这种方法检测阈值的区别当前帧的前景和背景像素的像素过程建模。在过滤模块选择平滑对象之后,这个结果将由2 d建模等跟踪点跟踪,内核跟踪(矩形,椭圆,骨架…),或轮廓跟踪。然后,了解对象的特征提取手势基于其中一个建模计算。问题是,这些特性必须封装独特的特征相同的活动,但由不同的人。为了避免misdetection和假警报系统,它不仅取决于技术,但也面临一些挑战,如 |
| •动态背景:在某些情况下有许多移动对象在一个场景,如何提取准确的对象表示。 |
| •亮度:光强度的变化在一天的不同时间或突然把灯也影响到后台处理。 |
| •遮挡:通常认为是工件,不受欢迎的运动在许多图像计算。我们认为,遮挡展示相关重要信息关于相机运动(相机的位置和角度)和场景结构(静态或动态环境;亮度,颜色服装的对象)。 |
| •静态对象:对象时睡觉,平静地坐着或走路,很容易错误的提取对象。 |
| 对象跟踪特性和提取后,系统的问题理解的意义通过特征识别块对象的行为。 |
跌倒检测应用程序的实现 |
| 最近,一个视频处理框架称为OpenCV经常上开发计算机视觉英特尔的开源库。然而,如何实现视频应用程序与硬件平台上OpenCV非常大的挑战。工作的Floris Driessen[8],他提出的结合嵌入式处理器和定制的加速器在异构计算平台——Zynq - 7000可编程芯片系统,提供高端嵌入式处理器结合基于现场可编程门阵列(FPGA)的可重构逻辑。此外,另一个检测系统,实现了落在Terasic德- 115开发板包括阿尔特拉气旋IV (EP4CE115) FPGA器件,5像素CMOS相机传感器和液晶触控面板。该系统还设计了高度利用FPGA的并行计算和管道结构[9]。 |
| 微光技术和应用正交匹配追踪(OMP)先进的数据压缩算法[10]所示。该系统模拟和实现Virtex-5和Zynq 7 (FPGA)使用Vivado高级合成工具。它是用来估计该地区,电力和计算时间的检测与不同的场景。在另一边,Kinect的组合和无线加速度计是用于提取对象的图像在一个黑暗的房间[11]。这个系统是实现PandaBoard ES与实时显示。 |
| 在下一节中,研究目的是提到。跌倒检测应用程序将在第三部分描述四个步骤:对象分割、滤波、特征提取和识别。在第四节一个深刻的实验实施和评价。最后,第五部分包含本文的结论。 |
研究目标 |
| 在异构平台上部署应用程序的嵌入式系统,包含各种不同的计算单元(如现场可编程门阵列(FPGA),微处理器和图形处理器GPU,我们需要确定一个特定活动的设计阶段。然后,设计师将概要文件的分区软件(SW)或硬件(HW)实现。 |
| 共同的实践中,部署的决定是在早期的设计阶段,而且分支分为两个分离流:HW和SW设计流。在实现阶段,他们分别进化,直到最后的集成。在这种情况下,设计阶段影响HW或西南流中断等问题,重新设计和无计划的迭代产生负面影响整个开发过程的效率、质量和成本,系统生命周期。特别是,该方法耗时分离为整个应用程序实现对HW和西南。 |
| 在我们的研究中,我们提取的执行时间,整个秋天的能耗检测应用程序部署在ARM处理器的Zynq -7000美联社SoC平台。之后,在秋天的模块检测以最执行时间将HW (fpga)上实现。 |
跌倒检测应用程序 |
对象分割 |
| 对象分割块负责检测和区分移动对象和框架的其余部分被称为背景。背景减法的方法是应用于本研究。一个像素标记为前景 |
| 如果| Ii - Bi | >τ,(1) |
| 二是当前视频帧;Bi是背景建模框架和τ是一个预定义的阈值。 |
| 更新的背景估计:Bi + 1 =αIi +(1−α)。Bi (2) |
| α是保持小,以防止人工形成的“尾巴”。 |
过滤器 |
| 有一些支持的方法来提高图像从对象二进制图像质量等形态数学(毫米),边缘检测滤波器(索贝尔,精明的,Prewit过滤器)。在这个模块对象将平滑,blob和噪声将被删除。 |
| 数学形态学(毫米)技术分析和处理的几何结构。它也被运用于形态学图像处理通过将图像的特征对象。一些MMs的扩张,侵蚀,打开,关闭或组合这些。 |
| Sobel边缘检测算法,最常用的方法是在图像处理边缘检测[12]。摘要两种类型的Sobel算子,水平,垂直,使用。操作员计算图像的梯度强度每一点,给予最大可能的方向增加从亮到暗,这个方向的变化率。给出了索贝尔内核 |
 |
| 这里的内核Gx在x方向上的变化很敏感,即垂直边缘运行,或有一个垂直分量。同样,内核Gy y方向的变化敏感,即边缘运行水平,或有一个水平分量。两个梯度计算在每个像素由卷积(Gx和Gy)与上面两个内核可以视为梯度向量的x和y分量。这个向量是面向的方向变化,正常的方向运行。梯度大小和方向是由: |
 |
| 近似计算级使用:| G | = | Gx | + | Gy | (5) |
| 边的取向角(相对于像素网格)引起的空间梯度: |
 |
特征提取 |
| 椭圆模型通常是用于跟踪对象,因为它很容易适应一个椭圆的对象。在这项研究中,有三个参数需要设置一个椭圆:椭圆的重心垂直角度的对象,对象的主要和次要的轴(图2) |
 |
| 椭圆的重心:为每个二进制帧,质心坐标的椭圆O(牛,Oy):横坐标(牛)和纵(Oy)平均整个x坐标和整个的白色像素的y坐标。 |
| 垂直角度的对象:确定质心坐标后,系统计算椭圆长轴之间的夹角和水平线(θ或当前角度计算方程7)。 |
 |
| 我,j是像素的位置(i = 1…的宽度,j = 1…框架的高度)x = i -牛和y = j - Oy(牛,Oy:重心的位置),和P (i, j):像素(i, j)的价值。 |
对象的主要和次要的轴 |
| a和b分别轴和椭圆的长轴。d1和d2距离O O1 (x1, y1)和O2 (x2, y2),分别。计算:O1、O2 (x1, y1)和(x2, y2)坐标是整个的平均x坐标和y坐标的白色像素W(天气,王寅)满足2以下条件: |
| y-ordinate这些白色像素(王寅)小于质心的坐标(Oy)。 |
| 在有限的角,这样这些W |
 |
| 最后,主要和次要的轴计算:= 2 d1, d2 b = 2。 |
特征提取:定义5的特性 |
| 当前角度:cf。方程7。 |
| 运动(Cmotion)系数 |
| 在同一位置与时间灰色像素是白色的前一帧的像素。灰色像素的亮度增加和时间逐帧包含白色像素在同一位置。灰色的框用于确定对象的运动速度也被称为运动历史图像(MHI)。运动对象Cmotion系数是由: |
 |
| 在“白色像素”是白色像素的数量;“灰色像素”是灰色的像素的数量。Cmotion的价值必须在[0,1]区间。 |
角的偏差(Ctheta) |
| Ctheta标准差15角θ来自15个连续帧。秋天是发生时Ctheta通常是更高的。 |
| 偏心率在计算当前帧: |
 |
| e:偏心;a、b:较明显,椭圆的长轴;e是较小的直接下降时。 |
| 偏差的质心(Ccentroid)被定义为标准偏差15纵坐标来自15个连续帧。当秋天发生Ccentroid迅速减少。 |
基于模板匹配的识别 |
| 基于瀑布的方向和瀑布的类型,建了四个模型检测坠落事故。第一个模型是沉下脸,在这种情况下Cmotion, Ctheta, Ccentroid高但θ是低。第二个模型是交叉下降,高Cmotion Ctheta,而θ,Ccentroid和偏心媒介价值。在未来的模型中,受害人在垂直方向上的摄像头,因此θ几乎是恒定的,平均Cmotion,离心率低而Ccentroid很高。其他情况下都包含在最后的模型。相互结合的特性取决于模型,和阈值选择调查的培训视频。 |
实施和评价 |
| 我们设计这个系统在高级语言C / c++中指定集成OpenCV和交叉编译库实现通信的应用程序编程接口(api)和运行时层使用gcc / g + +工具链。这些工具链生成一个.elf文件下载到处理器ARM皮层A9 Zynq平台上支持的SDK工具。此外,这个系统出现功率消耗;估计每一帧的执行时间从输入数据处理器。这个核心设置的频率为666 MHz。 |
| 执行时间是提取可用的时间。h图书馆。采取的电能和热能的测量融合数字设计师GUI。TI USB适配器连接到总线控制器电源管理(PMBus) Zynq平台和电脑显示测量结果,如图3所示。 |
| 在这项研究中,输入视频的摄像头记录下来了网络摄像头飞利浦程控900数控是安装在墙上的电脑从地上3米的距离。数据捕获分辨率320 x240像素和680 x360像素。 |
 |
软件实现 |
分类性能: |
| DUT-HBU数据库[5]中使用这个系统。.avi格式的所有视频数据压缩和捕捉到一个相机在一个小房间的条件如亮度、对象,相机的方向等。 |
| 数据库:秋天方向分为三个基本方向 |
| 直接下降:对象面对镜头。 |
| 横向坡:发生在物体落穿过相机。 |
| 秋天:物体垂直地落在了双方的相机。 |
| non-fall视频而言,通常的活动可以与秋天misrecognized行动如说谎、坐、爬、弯曲也分为三个方向。 |
| 在这项研究中,我们创建了两个数据集(如表1所示): |
 |
| 火车:清晰的视频数据由稳定的背景。这些视频捕获在一个小房间好亮度条件下。对象不是被房间里的家具。训练集包含21个秋天的视频和26视频的日常活动。 |
| 测试集:内容和活动视频剪辑的测试基本上是类似的执行培训,只是一个小环境条件的差异。在每个片段,只有一个对象与稳定的背景,包括21个视频和其他33个视频。 |
分类评估: |
| 中华民国(接收机工作特性)的方法来评估系统的效率和准确性通过计算精度(PR),回忆(RC)和准确性(Acc),在方程中看到6。 |
 |
| TP、TN、FN和FP定义如下: |
| 真阳性(TP):数量的下降动作正确归类为下降。 |
| 假阳性(FP):数量的non-fall行动错误地认为是秋天。 |
| 假阴性(FN):数量的下降动作错误地拒绝并列为non-fall操作。 |
| 真阴性(TN):数量的正确分类为non-fall non-fall行动。 |
混淆矩阵 |
| 实际和预测分类混淆矩阵给出了信息的分类系统。这种系统的性能通常是评估使用矩阵中的数据。下面的表2显示了两个类的混淆矩阵进行分类或非下滑对数据集的训练和测试的手臂上实现皮层A9 zynq - 7000美联社SoC平台。 |
 |
 |
| 从混淆矩阵,记得,精密度和准确度计算和图4所示。 |
| 明确数据训练集的结果高于测试集在所有回忆,精度和准确性。原因是模板匹配使用“硬阈值”和功能非常简单的结合来检测事件下降。秋天的四个模型不足以描述所有可能发生下降。 |
测量 |
| 如图5所示,总执行时间的均值下降大约0.107 s /检测应用程序框架。帧过滤模块基于形态学滤波器需要2/3倍左右的总执行时间。类似的观察获得当使用高分辨率输入680 x360像素的视频。执行时间是0.221毫秒/帧对帧过滤和0.3 s /总执行时间的框架结构。 |
| 在这种情况下,整个秋天的功耗测量检测应用程序关闭0.403 w。 |
| 因此,能源每帧乘以功耗(P)和总执行时间(T)如下: |
| E = P * T = 0.403 * 0.107 = 0.043 (J /帧) |
| 这个实验的结果,该系统的帧率计算: |
| 帧率= 1/0.107 = 9。3帧/秒 |
| 发现该系统的所有不以每秒24帧的继续操作。因此,该参数将影响这个系统的识别能力。这也是巨大的挑战在视频设计合理的精度,精度、性能当我们改变的线下队伍在线。 |
 |
HW实现 |
| 基于Xilinx的Zynq®-7000家庭是所有可编程SoC架构。这些产品集成featurerich双核手臂®皮层™a9基础处理系统(PS)和28 nm Xilinx可编程序逻辑(PL)在一个单一的设备。ARM cortex - a9 cpu PS的核心,还包括片上存储器、外部存储器接口和一组丰富的外围连接接口[13]。因此,zynq - 7000美联社soc能够广泛应用包括视频应用程序服务。 |
| 在第二部分讨论和观察到的结果在图5中,选择框过滤器对HW实现。为了减少执行时间,Sobel过滤器被形态学滤波器所取代。在索贝尔过滤器,两种类型的Sobel算子,水平和垂直,。操作员计算图像的梯度强度每一点,给予最大可能的增加的方向从亮到暗,变化的速度方向[14]。通过这种方式,这个模块的权力和执行时间估计使用Vivado_HLS工具。 |
| 从表3中所示的功耗和执行时间,能量消耗计算每帧 |
| (*)E = P * T = 1.65.10-3 (J /帧) |
| (* *)E = P * T = 1.158.10-3 (J /帧) |
| 使用相同的函数框架过滤器,Sobel过滤器上实现HW少花四十倍能源与形态学滤波器在ARM处理器上实现。 |
| 执行之后,前面的实验选择哪些模块或算法适合HW或SW实现。因此,今年秋天HW / SW架构提出了检测应用程序,在帧选择滤波器基于Sobel滤波器获得更好的性能和低功耗。 |
 |
结论 |
| 本文检测应用程序安装在臂下降皮层A9 zynq - 7000美联社Soc平台的处理器有两个视频输入的决议。其识别性能评估的回忆,精密度和准确度。SW实现应用程序的显示了近80%的平均精度在不同的测试条件。从提取的测量在实际功耗估计执行时间,Sobel过滤器已经选定了HW fpga相同的平台上实现。相关参数如能耗、执行时间和能源利用Vivado_HLS估计。西南的整体观察导致一个建议/ HW合作设计的fpga技术特点的优势加速数字信号处理算法。HW / SW架构优化的调查将在这个平台上进行了研究。 |
|
引用 |
- a . Sixsmith:约翰逊,r . Whatmore“热释电红外传感器阵列检测下降的老年人口,“第四物理学杂志》(诉讼),128卷,第160 - 153页,2005年9月。
- t . Palleja m . Teixido m . Tresanchez, j . Palacin”使用地面激光测距传感器测量步态,”杂志的传感器(巴塞尔),9卷,没有。11日,页。9133 - 9146年,2009年1月。
- y Zigel, d . Litvak Gannot,”的方法自动检测老年人使用地板振动和隔音的概念对人类模仿娃娃下降,“IEEE事务在生物医学工程、卷。56岁的没有。12日,第2867 - 2858页,2009年12月。
- m . Tolkiehn l . Atallah b . Lo和G.-Z。杨,”方向敏感检测使用三轴加速度计和气压传感器,“IEEE会议进行生物医学工程科技社会,2011卷,第372 - 369页,2011年1月。
- y . t .非政府组织,h . v .阮,t . v .范教授,“秋天检测研究基于智能视频分析,”国际会议上先进技术交流,第117 - 114页,2012年10月。
- e . Auvinet f . Multon a . Saint-arnaud j .卢梭和j·贝”与多个摄像头检测:一个Occlusion-Resistant方法基于3 d轮廓垂直分布,“IEEE事务信息技术在生物医药、15卷,没有。2、290 - 300年,2011页。
- s . Gasparrini e . Cippitelli s Spinsante e .特使,美国为,“下降地使用Kinect®传感器检测系统,”杂志的传感器,14卷,第2775 - 2756页,2014年。
- f . Driessen“吞吐量探索和优化消费相机接口的可重构平台,”http://parse.ele.tue.nl/tools/usbcam/papercameraFD.pdf。
- p s Ong y . c, c·p·Ooi e . k . Karuppiah和s . m . Tahir”基于FPGA实现的智能视觉检测,“国际期刊的计算机、信息、系统和控制工程,第七卷,不。2、199 - 204年,2013页。
- h·Rabah。阿米拉,艾哈迈德,“跌倒检测系统的设计和implementaiton使用压缩传感和微光技术,“24日国际会议微电子(ICM),页1 - 4,2012年12月。
- m . Kepski和b . Kwolek秋天使用Kinect和无线加速度计检测嵌入式平台上,“学报13电脑帮助人们有特殊需要,国际会议》,第414 - 407页,2012年。
- 古普塔和s . g . Mazumdar Sobel边缘检测算法,“国际计算机科学和管理研究杂志》上,卷2,没有。2、1578 - 1583年,2013页。
- d . s . 12月,“zynq - 7000可编程SoC概述,”Xilinx的出版物,DS190, 21, 2013页。
- 在香港。t·k·阮、c . Belleudy和老爷Van范教授,“权力评价Sobel过滤器在Xilinx的平台上,“IEEE Faible张力Faible Consommation (FTFC)会议上,1 - 5,2014页。
|
菜单
