关键字 |
健康参数、光容积描画成像、心率(HR)、呼吸频率(RR)、独立成分分析(ICA)、拉普拉斯特征图(LE)、金字塔卢卡斯-卡纳德(LK)特征跟踪器。 |
介绍 |
心率(HR)、心率变异性(HRV)、呼吸频率(RR)、脉搏压、血糖浓度和血氧血红蛋白饱和度等各种参数对于确定一个人的健康完整性非常重要。获取这些信息的传统方法不能被抛弃,它们是临床和研究目的的金标准。脉搏血氧仪用于临床目的监测血氧饱和度和HR的例子是众所周知的。此外,使用胸部电极的心脏心电图(ECG)是一种成熟的观察心脏电活动的技术。然而,这些方法有一些局限性。其主要缺点是电极必须与患者保持持续接触。雷竞技网页版这些方法大多要求受试者在测量过程中躺在椅子或床上。考虑到长期监测期间患者的舒适度,这些技术效果不佳。 |
如[4]所述,经过艰苦的研究,开发出了用于测量红细胞速度[1]的激光多普勒测速技术和用于非接触式测量[2]、[3]的光学方法。雷竞技网页版与传统方法相比,它们具有更非侵入性和非接触性的倾向。雷竞技网页版 |
光容量描记成像非常简单,只需将普通相机对准受试者,记录他们的活动。然而,正是底层的处理和分析使血管容积描记术适合于健康参数的提取。在这篇论文中,我们将进一步讨论在健康参数提取方面的一些光电体积描记成像和处理技术的发展,并将对这些技术进行综述。同时,我们将为今后在这一领域的工作提出几个方向。 |
背景与理论 |
为了捕捉可靠的信号,我们必须使用侵入式传感器。但当我们谈到非接触式信号捕获时,侵入式传感器是雷竞技网页版我们不能选择的。在这种情况下,我们不得不思考是否真的有一种方法可以用一种非侵入性的技术以一种经济有效的方式收集可靠的信号?利用皮肤反射光谱的光信息可能会派上用场。 |
A. photoplethysogram (PPG)及其成像 |
心脏收缩时,血液通过动脉被泵到身体的各个部位。在某个时间点,这会导致一波血液流经各种皮肤组织。当皮肤组织的毛细血管充满血液时,它们会阻挡光线的通过,从而导致更多的光线从皮肤反射回来。皮肤组织毛细血管中血容量的变化直接影响反射光的量。这种光可以被摄像机捕捉到,并且可以生成各种健康参数的时间信号表示。PPG利用光的反射或透射来收集生理健康信息。血液的流动会影响光在组织中的反射或传输。脉搏血氧仪使用这种方法来确定动脉的氧饱和度。来自身体组织的光线衰减的变化反映了血液中的氧饱和度。Sahindrakar et al.[5]的工作中对PPG进行了详细的描述。 |
B.独立成分分析(ICA) |
ICA是一种计算技术,用于将多元信号分离为独立的源分量,假设源信号本质上是非高斯的,并且在统计上彼此独立[6]。ICA被认为是盲源分离(BSS)的一种特例。通过皮肤组织反射或传输的光容量描记信号可以被相机捕捉并记录为皮肤区域的视频。让相机的红、绿、蓝(RGB)色传感器分别将其观测到的信号记录为时间信号sxr(t)、xg(t)和xb(t)。让我们假设底层源信号是s1(t), s2(t)和s3(t)。ICA模型假设观测到的信号是源信号的线性混合,如下所示: |
(1) |
式中,x(t)为观测到的列矩阵,s(t)为源列矩阵,A为系数为aij的3x3平方混合矩阵。ICA算法试图找到解混合矩阵W的近似值,它是混合矩阵A的逆,如: |
(2) |
信号sà  (t)是包含底层源信号的s(t)的近似值。W的系数迭代更新,以最大化每个源的非高斯性。 |
C.拉普拉斯特征映射(LE) |
LE是谱图理论的一个概念,它使用拉普拉斯-贝尔特拉米算子迭代地将高维空间映射到低维空间。这里的方法是在低维空间中找到数据,同时保持任意两个给定点[7],[8]的距离关系。对于健康参数的提取,目的是将记录的三维空间X = (x1, x2,...., xn)3到一维空间y = (y1, y2,....yn)。为此,LE算法通过计算X的欧氏距离来生成方阵g, LE基本上是试图解决优化问题: |
(3) |
式中,wij为两个近点xi和xj的距离。随着这两者的接近度增加,wij的值也会增加。应用于连续迭代的这些步骤降低了数据的维数。 |
D.金字塔型卢卡斯-卡纳德特征跟踪器 |
采用Lucas-Kanade (LK)算法进行帧间运动估计。该算法可以通过指定皮肤上的某些突出点作为特征来跟踪帧与帧之间的皮肤像素。它利用稀疏技术,利用一个小的局部窗口来跟踪特征。这种算法的问题是,如果这些特征的运动在局部窗口之外,就不可能跟踪它们。 |
这就是金字塔LK跟踪[9],[10],[5]派上用场的地方。[10],[5]给出了该算法的流程图。根据[5],它开始采取更大的区域较低的细节(较高的水平),并逐步向下工作到一个更小的区域较高的细节(较低水平)。假设I和J是两个像。设像素坐标矩阵beX = [x y]T。第一个图像(I)中的一个点u = [ux uy]T在第二张图像(J)中被移位,必须估计新的坐标。向量d = [dx dy]T给出了X的光流,并定义为使ε为的残差函数最小的向量: |
(4) |
这是在大小为(2wx + 1) × (2wy + 1)的邻域上测量的,其中Wx和Wy是整数,通常范围在2到7之间。金字塔的高度为Lm + 1,其中L = 0,1, ....Lm是金字塔的层次。 |
在该算法中,首先在Lm级上计算光流。处理结果被传递到Lm - 1级,使用定义为: |
(5) |
其中,Lm级别的初始猜测为零,即glm = [0 0]T。利用这一初始猜想,在Lm - 1级发现了一个细化的光流,并迭代此过程。考虑两层L + 1和L之间的过程,它们之间的光流向量dL是使新的图像匹配误差εLgiven最小的一个,为: |
![图像](//www.cheescube.com/articles-images/IJAREEIE-177-e006.gif) |
为了让金字塔LK方法正常工作,我们需要良好的特征,我们可以从一帧跟踪到另一帧。这些特征在皮肤上是很重要的,因为这是我们必须跟踪的皮肤。 |
方法 |
从PPG信号中提取健康参数的方法有很多。但是近年来已经发展出一些技术,其结果与以前的常规方法一致。在本节中,我们将介绍使用ICA、LE和金字塔LK技术进行参数提取的方法。 |
A.实验设置 |
为了提取参数,需要对皮肤的某一部分进行视频成像。因此,感兴趣的区域(ROI)可以是面部、指尖或耳垂。它们被放置在摄像机前,并在固定的时间内录制视频。面部感兴趣区主要用于反射式光电容积描记成像,指尖感兴趣区主要用于透射和反射式光电容积描记成像。对于这两种ROI技术,受试者都被要求坐在摄像机前或将他/她的指尖放在摄像机前并静坐不动。实验对象必须自主呼吸以免产生运动伪影。目标ROI的视频以彩色方式记录,帧率为15-30帧/秒(fps),并以AVI格式保存在计算机上以供进一步处理。这可以通过在MATLAB (The Mathworks Inc.)中编写自定义程序或使用开放计算机视觉(OpenCV)库在C语言中实现来实现。 |
B.使用ICA算法 |
2010年,Poh等人在麻省理工学院媒体实验室工作后,提出了一种基于ICA分析的算法。为此,在OpenCV中首先采用了人脸检测步骤,因为它需要人脸作为ROI。这可以使用基于Viola和Jones[12]或Lienhart和Maydt[13]工作的算法来实现,它们使用了类似haar的特征。在检测人脸并将其选择为ROI后,将其分割为RGB通道。对所有三个通道的每一帧计算ROI的所有像素的空间平均值,从而给出三条迹线xr(t), xg(t)和xb(t)。一个30秒的移动窗口,大约97%的重叠(1秒的增量)用于生成时域信号。RGB跟踪被规范化为: |
(7) |
式中,i = r, g, b;μi和σi分别为xi(t)的均值和标准差。使用Cardoso[14]或FastICA基于Hyvärinen[15]的工作作为ICA算法开发的联合近似特征矩阵对角化(JADE)算法将这些归一化信号分解为三个独立的组件。在此之后,对选定的源信号进行快速傅里叶变换(FFT)以获得功率谱。据说脉冲(HR)在0.75 - 4 Hz的工作范围内具有最高功率的频率,对应于每分钟45- 240次(bpm)。 |
这项工作由同一团队[16]进一步推进。他们在分离的独立组件上加入了额外的后期处理步骤。这些步骤包括使用五点移动平均滤波器和128点汉明窗带通滤波器(0.75 - 4 Hz)。三次样条函数应用于该信号以放大斜率。本文采用了一种新的节拍间隔(IBIs)技术来计算心率。HR可以从IBI时间序列的平均值中得到60/(IBI)。利用Lomb周期图将HRV信息反映在功率谱密度(PSD)中。在这里,与呼吸有关的高频(HF)成分有助于估计受试者[17]的RR。用PSD中高频峰值fHF的中心频率60/fHF计算RR。 |
C.使用拉普拉斯特征映射算法 |
结合拉普拉斯特征映射[18]的方法采用了与IBI级数方法相似的方法。首先利用人脸感兴趣区域RGB通道的原始轨迹构造Lalpacian特征映射,通过降维将三个信号降为一个特征映射。一旦获得单个信号,我们就会消除数据中振幅大于或等于时间序列信号平均值10倍的奇异点。然后对信号进行了移动平均滤波、汉明窗和三次样条的后处理。然后从IBI系列中找到HR。根据这项研究,LE算法的测量结果与使用指尖脉冲血氧计进行的测量结果非常一致。与ICA相比,LE得到了更好的结果,ICA在得不到最优结果时终止,并将上一次迭代的组件显示为结果。但是LE构建了一个映射,并进行迭代以使其最优。在Wei等人的工作中,已经展示了LE与其他技术的比较。[18]。 |
D.使用Pyramidal LK算法(运动鲁棒技术) |
Sahindrakar等人[5]开发了一种据说在运动鲁棒性方面优于ICA的技术。该技术使用人脸作为ROI,并使用金字塔LK方法在连续帧中跟踪它。这基本上是跟踪皮肤补丁的过程,也称为补丁跟踪(PT)。这里的方法是以相加的方式组合RGB迹线,并生成两个分量相加信号' R - G ', ' G - B '和' R - B '。同时生成' R + G - 2B '和' - 2R + G + B '三分量加性信号。使用矢量分析,发现' R - G '和' R + G - 2B '矢量相互正交,包含皮肤最大光吸收光谱。使用' R - G '和' R + G- 2B '向量进行补丁跟踪,产生了补丁跟踪- GB vs RG2B (PT-RG-RG2B)方法。如果这两个信号中的一个被拉伸以匹配另一个的振幅变化,然后将两个信号结合在一起,它会给出一个更强的合成信号。Sahindrakar et al.[5]对HR提取的FFT分析表明,PT-RG-RG2B的信噪比(SNR)与使用补丁跟踪的ICA类型BSS类似,均方根误差(RMSE)优于ICA技术。 |
当皮肤斑块从一帧跟踪到另一帧时,由于任何变化,它们的成分没有太大变化。通过取连续帧的平均RGB值之间的差值,可以生成差值跟踪。这可以捕捉帧与帧之间与脉冲相对应的细微变化。此外,集成这些差分迹线可以使RGB迹线具有更高的信噪比。假设xR(m, n)、xG(m, n)和xB(m, n)是第m帧第n个patch中红色、绿色和蓝色像素的和。如果从帧m - 1到帧m有N个patch被跟踪,则差迹diffR, diffG, diffB可表示为: |
(8) |
其中,I = R, G, B, patchSize为patch的长度。由此得到的PT-RG-RG2B被修饰为具有平均差值的PT-RGRG2B (PT-RG-RG2B- ad)。这种技术的主要优点似乎是,与ICA技术相比,它需要更少的处理能力,并且对运动更稳健。当我们考虑使用更高的帧率或fps时,处理能力需求的因素很重要。 |
E.感兴趣区域(ROI)的选择 |
理论上,皮肤的任何区域都可以作为ROI,用于捕捉提取健康参数所需的PPG信号。在实际应用中,不同的ROI技术所恢复的信号参数具有不同的特点。根据[4]的说法,静脉中血液吸收的光不会改变,因此含有它的组织会产生显示直流(DC)成分的PPG。由于动脉血液及其流动包含脉冲信息,包含它的组织反映了具有交流(AC)成分的PPG。当用于测量时,具有这两种组织的身体部位显示一个交流分量叠加在直流分量上。研究表明,在组织的不同深度,光反射率会受到各种生理差异的影响[19]。为了便于测量和受试者的舒适度,通常首选三个roi,包括指尖[20];脸部[5],[11],[16]或任何一个耳垂[21]。其中前两种是常用的。 |
多年来,已经进行了一些研究,将面部的某些区域隔离为ROI,并对它们进行了比较[22],[23]。在其中一些研究中,人们发现,前额区域用作ROI时,其结果与面部ROI的结果相当。 |
未来工作方向 |
在第三节。E.我们已经看到,ROI的选择可能会影响所提取参数的特性。个别研究已经使用面部、指尖和耳垂作为ROI,但这些区域的测量结果从未进行过比较。要找出这些区域中哪个区域的读数更稳定可靠,还需要做很多工作。专注于耳垂ROI的研究使用PPG传感器和其他捕获技术,而不是使用相机设备。可以理解,使用智能手机或笔记本电脑摄像头测量健康参数,使用耳垂ROI技术是不可行的。从耳垂ROI测量参数可能需要一个特殊的PPG设备来捕捉信号。重要的是,这样的设备体积小,价格便宜,可以嵌入耳环或免提耳机。这将有助于长期监测健康参数,因为耳环和免提耳机都可以戴更长的时间。但如果使用摄像头和耳垂ROI捕捉PPG信号是一个严格的要求,那么使用智能手机就是正确的选择。 For this it is important that the smartphones satisfy the requirement of processing power of the algorithms used for PPG signal capture and analysis. |
对于时间序列信号的傅里叶域分析,我们可以使用FFT或离散傅里叶变换(DFT)作为从时域到频域的转换技术。很明显,FFT在计算速度上要比DFT快。因此,在[4]中提到的高速硬件设计中,FFT总是优先于DFT。但是一个被忽略的事实是计算FFT的窗口的大小。这间接地受到包含信号数据的时间序列窗口大小的影响。在一些研究中,使用了一个30秒的数据样本移动窗口,而在其他研究中,这个窗口保存了10秒的数据样本。改变移动窗口的大小对正在提取的健康参数的影响还没有被研究过。但可以说,较小的窗口将更有效地跟踪较短时间内的变化。类似地,更大的窗口将用于在更长的时间内跟踪更改。以Poh et al.[11]为例,其中使用的窗口很大(30秒)。 The algorithm in this work discards a change of 12 bpm from the previous measurement. If the heart rate has actually risen above 12 bpm in the past 30 seconds, there will be an error in measurement. Hence the size of the window does play an important role in measurement. |
当我们考虑ICA方法从观测信号中提取源信号时,重要的是考虑源信号之间的非线性。如果事先知道这些源信号混合的非线性,处理就会容易得多(显然不是这样的)。该算法用于估计源信号的非线性可能会影响最终的解。此外,ICA的不同变体使用不同的收敛方法,这将影响最终的解决方案。算法应该迭代,直到找到一个最优解,这不是一些技术的情况下。 |
在非线性已知的情况下,ICA方法是有效的,并从ICA的不同变体中采用了一种高效的计算技术。LE方法被描述为比许多其他处理技术提供更好的结果。使用金字塔LK算法[5]的方法是已知的运动鲁棒性,需要较少的处理时间,因此可能是实时实现的强大候选。但是,比较LE和pyramid LK方法之间的信噪比、RMSE和计算时间复杂度是必要的,目前还没有做过。LE方法看起来更准确,而金字塔LK方法似乎更健壮的运动和计算量更轻。sahinderkar等人的方法[5]也可以使用人脸检测器来代替金字塔LK跟踪器,然后使用从R、G和B计算的减法向量来提取健康参数。 |
在第三节中看到的大多数方法都是在被试的视频记录上实现的,而不是实时的。重要的是,用于提取参数的算法满足一定的时间限制,以便实时实现。如果算法的计算量很大,它们需要更多的时间来实现,这可能会导致帧的跳过[5]。具体来说,如果人脸检测算法消耗大量的计算能力,那么依赖人脸检测算法的技术可能会出现严重的衰落。这是因为人脸检测算法的计算量很大,因为它们在许多通道中检测一个帧中的人脸。因此,需要改进算法,减少处理时间,实现实时性。 |
对于健康参数的便携式监测,必须在手持嵌入式平台上实现捕获技术。因此,重要的是,所使用的复杂算法要保持在其实现的硬件平台的处理能力范围内。在谈论消费者手持嵌入式设备(如智能手机)时,应该考虑的一个方面是,它们是为美学而设计的,因此可能在某些方面缺乏处理能力。[4]上的一个例子是关于大多数传统智能手机和桌面相机的帧率。这些相机的传统帧率在10 - 30帧/秒之间。显然,较高的帧率将提供更好的时间分辨率,并有助于分析健康参数随时间发生的微小变化。在实现过程中应该优先考虑消除这种缺点的算法,从而减少对硬件设计的依赖。 |
目前,PPG信号监测技术大多集中在监测心率、呼吸频率、心率变异性和血氧血红蛋白浓度。然而,血压和血糖等其他参数对健康监测同样重要。目前,在定期监测这些参数时,获取这些参数并不具有成本效益。根据血清[24]的反射光,利用图像处理技术预测血清[24]的葡萄糖浓度。这种方法需要血清,并且以牺牲病人的舒适为代价。但近红外光谱[25]是一种非雷竞技网页版接触式的血糖浓度测定方法。Zalevsky等人[26]已经成功地使用光学传感器测量心率、脉搏压和血糖浓度。但该方法需要伴随激光来提取健康参数。这些技术必须进一步改进,以提供一种完全非侵入性的技术,可以获得广泛的健康参数,也可以在便携式手持设备上运行。 |
结论 |
本文综述了健康参数提取的光容积描记成像和处理技术的新进展,并提出了今后的工作方向。光容积描记成像提供了一种有前途的方法,以非侵入性的方式监测健康参数在较长时间内。考虑到运行窗口大小、感兴趣区域和处理能力要求等方面,上述算法还有待比较。处理能力是一个比较重要的方面,因为对处理能力要求较低的算法具有较高的执行速度,可以考虑用于实时实现。 |
此外,还需要开发使用简单的商用摄像机来监测血压和血糖浓度的PPG信号提取技术。 |
参考文献 |
- P. Castellini, M. mararelli和E.P. Tomasini,“激光多普勒振动测量:满足技术需求的先进解决方案的开发”,动力机械。系统与信号处理“,”,第20卷,no。6, pp. 1265-1285, 2006。
- C. Takano和Y. Ohta,“基于延时图像的心率测量”,地中海,Eng。和物理。,第29卷,no。8, pp. 853-857, 2007。
- P. Pelegris, K. Banitsas, T. Orbach和K. Marias,“一种使用手机检测心率的新方法”,在Eng。地中海,杂志。Soc。,2010 Annu. Int. Conf. IEEE, 2010, pp. 5488-5491。
- 刘海华,王玉华,王磊,“基于光容量描记成像的非接触、低成本生理信息测量综述”,载于《中华人民雷竞技网页版大学学报》年第三十四章。Int。IEEE工程师会议。在医学和生物学学会, IEEE, 2012, pp. 2088-2091。
- P. Sahindrakar, G. de Haan和I. Kirenko,“利用视频分析提高非接触式心率监测的运动鲁棒性”,数学系论文。雷竞技网页版2011年8月,荷兰埃因霍温理工大学(Eindhoven university of Tech), Comp. Science。
- P. Comon,“独立成分分析,一个新概念?”信号处理,第36卷,no。3,页287-314,1994。
- M. Belkin和P. Niyogi,“降维和数据表示的拉普拉斯特征映射”,神经计算,第15卷,no。6,页1373-1396,2003。
- M. Belkin和P.Niyogi,“用于嵌入和聚类的拉普拉斯特征映射和光谱技术”,在神经信息处理。系统, 2001, vol. 14, pp. 585-591。
- J.-Y。Bouguet,“仿射Lucas Kanade特征跟踪器的金字塔式实现算法描述”,微处理器研究实验室,英特尔公司,加州圣克拉拉,2001年5月。
- g。bradski和a。Kaehler,LearningOpenCV:计算机视觉与OpenCV库塞瓦斯托波尔,加州:奥莱利,2008年版。
- 安茂忠编。Poh, D. J. McDuff和R. W. Picard,“使用视频成像和盲雷竞技网页版源分离的非接触式自动心脏脉搏测量。”光学表达,卷。18日,没有。10, pp. 10762-10774, 2010。
- P. Viola和M. Jones,“使用增强的简单特征级联快速目标检测”,在2001 IEEE计算机学会计算机视觉与模式识别大会, 2001,第1卷,第511页。
- R. Lienhart和J. Maydt,“用于快速目标检测的haar样特征的扩展集”,在2002年12月12日IEEE会议。图像处理, 2002,第1卷,第900页。
- 肯尼迪。卡多索,“独立成分分析的高阶对比”神经计算,卷。11日,没有。1, pp. 157-192, 1999。
- A. Hyvärinen,“独立成分分析的快速和鲁棒定点算法”,IEEE反式。神经网络,第10卷,no。3页。626 - 634年,1999年。
- 安茂忠编。Poh, D. J. McDuff和R. W. Picard,“使用网络摄像头进行非接触式多参数生理测量的进展”雷竞技网页版,IEEE反式。Biomed.Eng。,第58卷,no。1, pp. 7- 11,2011。
- T. E. Brown, L. A. Beightol, J. Koh和D. L. Eckberg,“呼吸对人类RR区间功率谱的重要影响在很大程度上被忽视了。”j:。杂志。第75卷,no。5,第2310-2317页,1993。
- 魏磊,田毅,王毅,T. Ebrahimi和T. Huang,“基于拉普拉斯特征映射的自动网络摄像头人体心率测量”,在第11届亚洲会议计算机视觉, 2013, vol. 7725, pp. 281-292。
- 史佩平,V. A. Peris, A. Echiadis,郑俊杰,朱玉玉,张鹏阳,胡S.,“非接触式反射式容积描记术在人体生理监测中的应用,”雷竞技网页版医学生物学。Eng。,第30卷,no。3, pp. 161-167, 2010。
- C. G. Scully, J. Lee, J. Meyer, a . M. Gorbach, D. G. fraser, Y. Mendelson和K. H. Chon,“用手机从光学记录中监测生理参数”,IEEE反式。生物医学。Eng。第59卷,no。2, pp. 303-306, 2012。
- 安茂忠编。Poh, N. C. Swenson和R. W. Picard,“用于可穿戴光电容积描记术的耐运动磁耳传感器和无线耳机”。IEEE反式。正,抛光工艺。生物医学。,第14卷,no。3,页786-794,2010。
- M. Lewandowska, J. Ruminski, T. Kocejko和J. Nowak,“用网络摄像头测量脉搏率-一种评估心脏活动的非接触式方法”,在雷竞技网页版Proc.Federated Conf. Comp.科学与信息。系统,IEEE, 2011, pp. 405-410。
- W. Verkruysse, L. O. Svaasand和J. S. Nelson,“使用环境光进行远程容积描记成像”,光学表达,卷。16日,没有。26, pp.21434-21445, 2008。
- A. S. Raja和Z. K. Sankaranarayanan,“血糖测量的数字图像处理技术”,医学科学研究杂志,第1卷,no。1, pp. 42- 46,2007。
- 徐凯,邱强,蒋杰,杨欣,“基于光学测量条件再现技术的近红外光谱无创葡萄糖传感”,光学和激光工程。,第43卷,no。10,pp. 1096-1106, 2005.
- Z.扎列夫斯基,Y.贝德曼,V. Micó和J.加西亚。(2011年7月12日)生物医学光学和医学成像:一种用于远程在线监测关键生物参数的新技术。可用地址:http://spie.org/x48866.xmlDOI: 10.1117/2.1201106.003742
|