关键字 |
健康参数,photoplethysmographic成像,心率(HR)、呼吸速率(RR),独立分量分析(ICA),拉普拉斯算子Eigenmap (LE)、锥体Lucas-Kanade追踪(路)特性。 |
介绍 |
各种参数如心率(HR)、心率变异性(HRV)、呼吸率(RR),血液脉压,血糖浓度和血液中氧合血红蛋白饱和度的确定的完整性是很重要的一个人的健康。传统的方法获取这些信息不能被废除,和他们作为黄金标准的临床和研究的目的。脉搏血氧测量的例子被用于监测氧合血红蛋白饱和度和人力资源为临床目的是众所周知的。心脏的心电图(ECG)使用胸部电极,是一种行之有效的技术观察心脏的电活动。然而,这些方法有一定的局限性。电极的主要缺点是需要在不断接触病人。雷竞技网页版大多数这些方法需要休息的椅子或床过程中测量。考虑在长期监测病人的安慰,这些技术也不是很好做。 |
激光多普勒测速技术测量红细胞流速[1]和光学非接触测量方法[2],[3]开发了经过艰苦的研究[4]中提到。雷竞技网页版与传统的方法相比,他们更非侵入式的、非接触的倾向。雷竞技网页版 |
Photoplethysmographic成像很简单,普通的相机指向对象和记录他们的活动。然而,它是底层处理和分析使phoplethysmographic成像适合健康参数的提取。在这篇文章中,我们进一步将讨论取得的进展几photoplethysmographic成像和处理技术对提取的健康参数和评估这些技术。同时,我们将提出一些在这个领域未来工作方向。 |
背景和理论 |
为获取可靠的信号,我们必须用侵入性传感器。但当我们谈论非接触信号捕获入侵传感器是我们不能雷竞技网页版选择的。在这种情况下,我们认为如果有真的一种收集可靠信号用一种非侵入性技术以成本有效的方式吗?利用皮肤反射光谱的光信息可能会方便。 |
答:Photoplethysmogram (PPG)及其成像 |
血液输送到身体的各个部分通过动脉当心脏合同。这在某个时间点上引起一波又一波的血液流经的各种皮肤组织。当皮肤组织的毛细血管充满了血液,他们阻止光线通过这将导致更多的光反射的皮肤。的变化在皮肤组织的毛细血管的血液直接影响反射的光的数量。这种光可以被一个摄像头和一个时间信号表示可以生成各种健康参数。分使用光反射或传输收集生理卫生信息。血液的流动影响光的反射或传输包含它的组织。脉搏血氧测量使用这种方法来确定动脉的血氧饱和度。衰减的光从身体组织的变化反映了血液中血氧饱和度。分的详细描述在工作由Sahindrakar et al。[5]。 |
独立分量分析(ICA) |
ICA是一种计算技术用于分离多元信号为其独立假设源信号的非高斯源组件,在统计上是相互独立的[6]。ICA是盲源分离(BSS)的一个特例。photoplethysmographic信号反射或传输通过皮肤组织可以拿起相机和记录的视频区域的皮肤。让红,绿,蓝(RGB)颜色传感器的相机记录他们所观察到的信号分别随着时间signalsxr (t) xg (t) andxb (t)。让我们假设底层源信号是s1 (t), s2 (t)和s3 (t)。ICA模型假定源的观测信号是线性混合信号为: |
(1) |
,x (t)是观察到的列矩阵,s (t)是源列矩阵和是一个混合3 x3的平方矩阵系数aij。ICA算法试图找到一个近似的分层矩阵W混合矩阵的逆: |
(2) |
和信号sA(t)是一个近似s (t)包含潜在的源信号。W系数的迭代更新,以最大化每个源的同时。 |
c·拉普拉斯算子Eigenmap (LE) |
勒是一个光谱图论的概念,使用迭代Laplacian-Beltrami运营商,highdimensional空间映射到低维空间。这里的方法是找到数据在低维空间中同时保持的距离关系的任意两个点[7],[8]。对提取的健康参数记录的目的是减少一个三维空间X = (x1, x2,…。xn) 3,一维空间y = (y1, y2,…。yn)。为此,LE算法计算X的欧氏距离来生成一个方阵g . LE主要试图解决优化问题: |
(3) |
,维琪的距离是两个点ξ和xj附近。的距离这两个增加维琪的价值增加。这些步骤应用在连续迭代降低数据的维数。 |
d .锥体Lucas-Kanade跟踪器的特性 |
Lucas-Kanade(路)算法用于帧间运动估计。该算法可用于跟踪皮肤像素从帧到帧通过指定特定的突出点在皮肤上用作功能。它作用于稀疏技术通过使用一个小的局部窗口跟踪特性。这种算法的问题是,如果这些特性的运动是当地的窗外是不可能追踪他们。 |
这就是锥体路追踪[9],[10],[5]方便。图解释这个算法的流在[10],[5]。根据[5]它开始通过一个更大的地区较低的细节(更高层次)和工作一步一步的较小区域更高的细节(低级别)。如果我们假设我和J是两个图像。让像素坐标矩阵咳嗽= (x, y) T。一个点在第一图像(I), u = [ux uy] T得到流离失所的第二图像(J)和新坐标估计。d = [dxdy] T的向量给出了X和被定义为光流矢量最小化剩余函数ε是: |
(4) |
这是衡量一个社区的大小(2 Wx + 1)(2王寅+ 1)天气和王寅整数数字通常介于2和7。金字塔的高度是Lm + 1 L = 0, 1,…。,Lm金字塔的水平。 |
的算法,首先计算光流在Lm水平。处理的结果传递给水平Lm - 1使用一个初始猜测定义为: |
(5) |
在那里,Lm是零即初始猜测水平。全球语言监测机构= [0 0]T。使用这个初始猜测精制光学流在水平Lm - 1和这个过程迭代。如果我们考虑两个层次之间的过程L + 1, L,它们之间的光流矢量dL是最小化εLgiven新形象匹配误差为: |
|
包括猜对水平l .锥体路方法正常工作我们需要良好的特性,我们可以跟踪从帧到帧。重要的是,这些特性躺在皮肤,因为它是我们必须追踪的皮肤。 |
方法 |
有许多种技术可以用于提取健康parametersfrom PPG信号。但是一些技术已经开发了近年来给结果,同意之前的常规方法。在本节中,我们看一看方法,利用ICA, LE和锥体路技术参数提取。 |
答:实验装置 |
为目的的参数提取、视频图像的某一部分的皮肤需要做的事情。对这个感兴趣的区域(ROI)可以面对,指尖或耳垂。这些被放置在摄像机前和他们视频记录在固定的时间。面对ROI主要是用于反射式photoplethysmographic成像和指尖ROI用于传输和反射式photoplethysmographic成像。的ROI技术,所需的主题是坐在前面的相机或他/她的指尖在镜头面前,安静地坐着。主题要自发为了不引起呼吸运动构件。所需的ROI的视频记录在颜色与15 - 30帧每秒的帧率(fps),是在电脑上保存为AVI格式进行进一步处理。这可以通过在MATLAB编写一个定制的程序(Mathworks Inc .)或使用开放的计算机视觉(OpenCV)库在C语言实现。 |
b .使用ICA算法 |
Poh等。[11]提出了一个算法基于ICA分析后2010年在麻省理工学院媒体实验室的工作。一个人脸检测的第一步是受雇于OpenCV一样需要面对ROI。这个可以使用一种算法实现基于工作中提琴和琼斯[12]或Lienhart Maydt[13]使用Haar-like特性。检测后的脸和其作为ROI的选择,它分为RGB通道。所有像素的空间平均的ROI计算每一帧的所有三个渠道,从而使这三个xr痕迹(t) xg (t)和xb (t)。移动窗口的30秒内约有97%的重叠(1秒增量)是用于生成一个时域信号。规范化的RGB痕迹: |
(7) |
我= r, g, b;μi和σi平均值和标准偏差分别为xi (t)。这些标准化的信号被分解成三个独立的组件使用联合近似对角化eigenmatrices(玉)算法由卡多佐[14]或根据工作的FastICA Hyvarinen[15]作为ICA算法。在这个快速傅里叶变换(FFT)是应用于选定的源信号获得功率谱。脉冲(人力资源)据说是频率最高的权力的运作范围0.75 - 4赫兹对应每分钟45 - 240次(bpm)。 |
这项工作进一步提出了相同的团队[16]。他们包含额外的处理步骤后种族隔离的独立组件。五点的步骤包括使用移动平均滤波器和一个128点汉明窗带通滤波器(0.75 - 4赫兹)。三次样条函数应用于这个信号放大斜坡。新技术战胜间隔(宜必思)是用来计算人力资源。人力资源可以找到从IBI的平均时间序列为60 / (IBI)。HRV信息反映在功率谱密度(PSD)使用随着周期图。这里一个高频(HF)组件与呼吸有助于估计的RR [17]。RR可以计算使用中心频率的高频峰值fHF PSD为60 / fHF。 |
c使用拉普拉斯算子eigenmap算法 |
方法结合拉普拉斯算子eigenmap[18]采用类似的方法IBI的系列方法。RGB通道的原始痕迹的脸ROI首先被用来构造一个Lalpacian eigenmap这减少了三个信号到一个通过降维。我们一旦获得一个信号,消除数据中的奇异点的振幅大于或等于十倍的平均时间序列信号。后移动平均滤波的处理步骤后,汉明窗和三次样条应用于信号。然后发现人力资源从IBI系列。根据这项研究,勒算法测量相比,测量用指尖脉搏血氧计有密切的协议。与ICA相比,LE给出更好的结果作为ICA终止当失败时得到最优结果,并显示最后的迭代结果的组件。但LE地图构建和迭代优化。LE票价的比较与其他技术相比已经被魏所示工作et al . [18]。 |
d .使用锥体路算法(运动强健的技术) |
Sahindrakar等。[5]发展一种技术,据说超过ICA在运动的鲁棒性。这种技术使用面对作为ROI和跟踪在连续帧使用锥体路的方法。这基本上是跟踪一个补丁的皮肤的过程也被称为块跟踪(PT)。这里的方法是结合RGB痕迹以添加剂的方式和生成两个组件添加剂信号R - G, G - B和“R - B”。生成的三个组件添加剂信号“R + G - 2 B”和“- 2 R + G + B”在同一时间。利用矢量分析,R - G和R + G - 2 b的向量是发现相互正交,包含最大光的光谱吸收率的皮肤。使用' R - G’和‘R + G - 2 b的向量与补丁跟踪产生补丁跟踪- GB vs RG2B (PT-RG-RG2B)方法。如果这两个信号之一是延伸到匹配的振幅的变化,之后结合,两个信号在一起它给了一个更强大的合成信号。根据Sahindrakar et al . [5], FFT分析人力资源提取显示PT-RG-RG2B有信号噪声比(信噪比)等效的方法类似于使用补丁ICA类型BSS跟踪,和均方根误差(RMSE)优于ICA技术。 |
当皮肤补丁追踪从一个构架到另一个没有多少改变组件由于任何变化。不同跟踪可以通过生成之间的区别的平均RGB值连续的帧。这可以从帧到帧捕捉微妙的变化对应于脉搏。还将这种差异给RGB痕迹痕迹与更高的信噪比。如果我们认为xR (m, n), xG (m, n)和xB (m, n)的总和是红色,绿色和蓝色像素n m框架上的补丁。如果有N补丁从帧跟踪m - 1 m。然后区别diffR痕迹,diffG和diffB可以给出: |
(8) |
我= R, G, B和patchSize的长度是一个补丁。PT-RG-RG2B从而从它被修改成一个PT-RGRG2B平均差异(PT-RG-RG2B-AD)。这种技术的主要优势似乎是,它需要更少的处理能力相比,ICA技术和更健壮的运动。处理能力需求的因素是很重要的,当我们考虑使用更高的帧速率或fps。 |
大肠的选择感兴趣的区域(ROI) |
理论上,任何区域的皮肤可以作为ROI捕捉PPG信号提取所需的健康参数。在实践中虽然信号的参数恢复使用不同的ROI技术有不同的特点。根据[4],光吸收血液的静脉不改变因此组织包含给分显示直流(DC)组件。动脉血液及其流包含脉冲信息,组织包含它反映了PPG交流电(AC)组件。的身体部位有两种类型的组织,当用于测量显示一个交流分量叠加在直流分量。研究表明,光反射率可受到各种生理差异在不同深度的组织[19]。为了便于测量和舒适的主题三个roi通常是首选,包括指尖[20];面对[5],[11]、[16]或任何一个耳垂[21]。其中前两个是普遍使用。 |
多年来,一些研究已经进行隔离某些地区面临的一个ROI和比较他们之间已经完成[22],[23]。在其中的一些研究已经发现,前额区域使用时作为ROI确实给结果比得上一脸ROI的结果。 |
未来工作方向 |
第三节。E。,we have seen that the selection of the ROI may affect the characteristics of the parameter being extracted. Individual studies have been done using the face, a fingertip and an earlobe as a ROI but the measurements of these regions has never been compared. Much work has to be done to find out which of these regions gives more stable and reliable readings. The studies focusing on the earlobe ROI make use of PPG sensors and other capture techniques instead of making use of a camera device. It is understandable that measuring the health parameters using a smartphone or laptop camera and employing earlobe ROI technique is not feasible. Measurement of parameters from the earlobe ROI may require a special PPG device for capturing signals. It is important that such devices are compact and inexpensive so that they can be embedded into an earring or a hands-free headphone. This will help in long-term monitoring of health parameters because both earrings and hands-free headphones can be worn for a longer period of time. But if PPG signal capture using a camera and earlobe ROI is a stringent requirement then using smartphones is the way to go. For this it is important that the smartphones satisfy the requirement of processing power of the algorithms used for PPG signal capture and analysis. |
时间序列信号的傅立叶域分析我们可以使用FFT或离散傅里叶变换(DFT)变换技术从时域转换到频域。很明显,FFT比DFT的计算速度快。因为这个原因FFT总是优先于DFT在高速硬件设计[4]中提到。但事实上,是被忽视的大小窗口FFT计算。这是间接影响的大小窗口包含信号的时间序列数据。在一些研究中一个移动窗口的30秒的数据样本已被用于为他人的这个窗口持有价值10秒的数据样本。移动窗口的大小的改变而造成的健康参数被提取并没有被调查。但可以说,小窗口将更有效的跟踪时间的变化在一个较短的时间。同样的一个更大的窗口将首选跟踪变化更大的持续时间。采取的一个例子Poh et al。[11],其中使用的窗口是规模大(30秒)。 The algorithm in this work discards a change of 12 bpm from the previous measurement. If the heart rate has actually risen above 12 bpm in the past 30 seconds, there will be an error in measurement. Hence the size of the window does play an important role in measurement. |
当我们考虑ICA方法从观测信号中提取源信号的重要的是要考虑源信号之间的非线性。如果根据这些非线性源信号混合是预先知道处理就变得容易多了(这显然并非如此)。该算法使用的非线性估计源信号可能影响最终的解决方案。也为收敛ICA的不同使用不同的方法影响最终的解决方案。算法应该进行迭代,直到它找到了一个最优解,与一些技术并非如此。 |
ICA方法时有效的非线性是已知的和高效的计算方法是用不同的ICA。LE方法被描述为提供更好的结果比其他处理技术[18]。方法使用锥体路算法[5]是健壮的运动,需要较小的处理时间,因此可能是一个强有力的候选人实时实现。然而,对比信噪比、均方根误差和计算时间复杂度LE和锥体之间的路是必要的和尚未完成的方法。LE方法看起来更准确,而锥体路运动方法似乎更健壮和计算不重。Sahindrkar et al .[5]的方法也可以使用一张脸探测器开发与锥体路追踪,然后利用向量减法计算的R, G, B中提取健康的参数。 |
大部分的方法见第三节上实现视频对象而不是实时的录音。重要的是算法用于提取参数满足一定时间限制以实时的方式实施。如果算法计算重,他们需要更多的时间来实施,这可能导致跳帧[5]。具体来说,技术依赖于人脸检测算法可能有严重的下台,如果人脸检测算法消耗大量的计算能力。这是因为人脸检测算法时,需要大量计算能力的检测在许多通过一张脸在一个框架。因此,应该改进算法消耗更少的时间在处理过程中,实时实现。 |
便携式监测健康参数,捕获技术必须手持嵌入式平台上实现。对于这个重要的是复杂的算法被用来保持在一定范围内处理能力的硬件平台上实现。应该考虑的一个方面,当谈到消费者手持嵌入式设备如智能手机是他们的美学和因此可能缺乏在某些方面的处理能力。一个例子是一个来自[4]谈到最传统的智能手机和桌面相机的帧速率。传统的帧速率之间的这些相机10 - 30 fps。很明显,一个更高的帧速率会给一个更好的时间分辨率,将有助于分析的那一刻,发生在健康参数随时间的变化。算法,否定这drawbackshould是首选在硬件设计实现的依赖减少了。 |
目前大部分的PPG信号监测技术重点监测心率、呼吸率、心率变异性和氧合血红蛋白浓度。然而,其他参数如血压和血糖是很重要的健康监测。目前收购这些参数不是成本定期监测时有效。图像处理已经被用于预测血液中的葡萄糖浓度血清[24]基于光反射。这个方法需要一个血清和绘画是在病人的舒适的成本。但更非接触的方式获得血糖浓度雷竞技网页版了,重点是近红外光谱[25]。Zalevsky等。[26]已成功地测量心率,血液脉压和血糖浓度使用光学传感器。但这种方法需要一个陪伴中提取健康的激光参数。这些技术需要进一步提高给一个完全非侵入性技术,可以获得广泛的健康参数,也可以在便携式手持设备上运行。 |
结论 |
在本文中,我们回顾了新趋势photoplethysmographic成像和处理技术对提取的健康parametersand提出一些未来工作方向。Photoplethysmographic成像监测健康参数提供了一种新的非侵入性的方式在更长的持续时间。上面讨论的算法相比,尚未考虑运行窗口大小等各个方面,地区利益和处理能力的要求。处理能力是更高的重要性的一个方面,因为较低的算法执行速度和处理能力有更高的要求可以考虑实时实现。 |
也仍需要发展PPG信号提取技术使用一个简单的商业摄像头监控血液脉压和血糖浓度。 |
引用 |
- p . Castellini m . Martarelli和密纹唱片Tomasini”,激光多普勒Vibrometry:开发先进的解决方案技术'sneeds回答,“动力机械。系统和信号处理。,20卷,不。6,1265 - 1285年,2006页。
- c . Takano和y研究员合作,“心率测量基于延时形象,”地中海,Eng。和物理。卷,29号8,853 - 857年,2007页。
- p . Pelegris k . Banitsas t·巴赫和k . Marias”一种新颖的方法来检测心跳率用手机,”Eng。地中海,杂志。Soc。,2010 Annu. Int. Conf. IEEE,2010年,页5488 - 5491。
- 王y . h . Liu和l . Wang,“非接触式的审查,低成本的基于测量onPhoto雷竞技网页版plethysmographicImaging生理信息,”Proc,第34物质。Int, IEEE Eng相依。在Med.社会和生物学IEEE 2012,页2088 - 2091。
- p . Sahindrakar g . de Haan和i Kirenko”提高非接触式监测心率的运动的鲁棒性使用视频分析,”论文的数学部门。雷竞技网页版和Comp。科学,埃因霍温科技大学,埃因霍温,荷兰,2011年8月。
- p .通常,”独立分量分析,一个新的概念?”信号处理,36卷,不。3、287 - 314年,1994页。
- m·贝尔金和p .他Laplacianeigenmaps维数降低及数据表示,“神经计算,15卷,不。6,pp.1373 - 1396, 2003。
- m·贝尔金和P。他,“Laplacianeigenmaps和光谱技术嵌入和集群,”相依Process.Systems神经信息,2001年,14卷,第585 - 591页。
- J.-Y。Bouguet,”卢卡斯的锥体实现仿射金特征跟踪算法的描述,“微处理器研究实验室、英特尔(intc . o:行情),圣克拉拉,CA, 2001。
- G。Bradski和a . Kaehler用OpenCV LearningOpenCV:计算机视觉库第二版,塞瓦斯托波尔CA: O ' reilly, 2008年。
- 安茂忠编。Poh, d . j . McDuff和r·w·皮卡德“无触点自动心脏脉搏测量使雷竞技网页版用视频成像和盲目sourceseparation。”光学表达,卷。18日,没有。10日,10762 - 10774年,2010页。
- p .中提琴和m·琼斯,“快速目标检测使用一个简单的特性,提高了级联”Proc。2001年IEEE计算机协会Conf. onComputer视觉和模式识别,2001,1卷,511页。
- r . Lienhart, j . Maydt”一组扩展的Haar-like特性快速目标检测,”ImageProcessing Proc. 2002 Int。设计,2002,1卷,900页。
- 肯尼迪。卡多佐,“高阶为独立分量分析对比,神经计算,卷。11日,没有。1,第192 - 157页,1999。
- a . Hyvarinen“快速独立分量分析和健壮的定点算法,”IEEE反式。神经网络,10卷,不。3页。626 - 634年,1999年。
- 安茂忠编。Poh, d . j . McDuff和r·w·皮卡德“无触点的进步,多参数生理测量使用摄像头,“雷竞技网页版IEEE反式。Biomed.Eng。,卷。58岁的没有。1、7 - 11,2011页。
- t·e·布朗,l . a . Beightol Koh和d . l . Eckberg”重要影响呼吸对人体RR间隔的功率谱是largelyignored,”j:。杂志。,卷75,不。5,2310 - 2317年,1993页。
- t·l·魏y, y Wang Ebrahimi和t .黄,“自动使用LaplacianEigenmap Webcam-Based人体心率测量,”Proc。11日亚洲Conf。计算机视觉,2013,7725卷,第281 - 292页。
- 施p, v . a .珀里斯a . Echiadis j .郑朱y, p . y . s . Cheang和美国,“非接触式对有效反射photoplethysmogra雷竞技网页版phy人类生理监测,”j .地中海,杂志。Eng。,30卷,不。3、161 - 167年,2010页。
- c·G·史卡利,j·李,j·梅耶,a . m . Gorbach d G。弗雷泽、y门德尔松和k h .分“生理参数监测从光学用手机录音,”IEEE反式。生物医学。Eng。卷,59号2、303 - 306年,2012页。
- 安茂忠编。Poh, n·c·斯文森和r·w·皮卡德”Motion-tolerant磁性耳环wearablephotoplethysmography传感器和无线耳机,“IEEE反式。正,抛光工艺。生物医学。,14卷,不。3、786 - 794年,2010页。
- m . Lewandowska j . Ruminski t Kocejko和j·诺瓦克,“测量脉搏的摄像头——一个非接触式方法EvaluatingCardiac活动”雷竞技网页版Proc.Federated相依Comp。科学和信息。系统IEEE 2011,页405 - 410。
- w·Verkruysse l . o . Svaasand和j·s·尼尔森,“远程使用环境光plethysmographic成像,”光学表达,卷。16日,没有。26日,pp.21434 - 21445, 2008。
- a . s . Raja和z . k . Sankaranarayanan领导”,数字图像处理技术对血糖测量,”研究MedicalSciences杂志,1卷,不。1,42-46,2007页。
- k .徐问:秋江j . x和,“非侵入式葡萄糖传感与近红外光谱增强光学measurementconditions繁殖技术,”光学和激光在Eng。,43卷,不。10,pp. 1096-1106, 2005.
- z Zalevsky, y Beiderman、诉Mico和j·加西亚。(2011年,7月12日)生物医学光学医学成像:小说remotelymonitoring关键生物技术参数在线. .可用:http://spie.org/x48866.xmlDOI: 10.1117 / 2.1201106.003742
|