设计视觉语音训练对听障儿童艾滋病

美国Nilashree Wankhede *
助理教授,部门的选举。和电信。,Fr.C。Vashi罗德里格斯理工学院、纳孟买,印度

文摘

缺乏对听障儿童的听觉反馈最终导致说话障碍。因此,听障儿童无法说话,尽管有适当的言语生成机制。即使听障孩子试图通过可视化说话嘴唇动作,他的清晰度,准确性,重读和语调都受到了影响,因为元音和辅音的舌运动藏在嘴里不区分他和演讲强度或音高变化都不理解。根据听力障碍的严重程度,听觉或触觉或视觉反馈可以提供听力受损的人。语言训练系统可以设计基于反馈强度等声学参数的演讲,基频,光谱特性,或反馈的发音等参数表达,鼻声,嘴唇和声道运动。使用基于计算机的语音训练辅助器材,为听障儿童听觉反馈机制可以更换重要的声学参数的可视化表示的言论等,一个孩子说他能够正确评估和他的话语/发音根据预期和实际参数显示。探讨关于演讲培训艾滋病和可能的语音处理,才能获得视觉反馈的听障儿童,使他们得到一个学习的机会,通过这些艾滋病正常说话和沟通。同样,一个实现使用LPC分析的演讲是为了获得声道形状不同年龄段的孩子来说元音,以便它可以作为视觉反馈设计视觉援助。

关键字

声学、发音、反馈、螺距、强度、演讲,触觉,培训,声道

介绍

语音信号产生的压力波的形式,由压力的变化作为时间的函数。对于每个声音所产生的人类,都有定位每个声道的发音器官如声带,舌头,嘴唇,牙齿,软腭和下巴[1]。正常儿童可以获得的能力来控制这些不同的发音器官通过四岁的时候,因为他们得到视觉和听觉反馈。然而,听障儿童无法获得听觉反馈,因此他们变得愚蠢,尽管有适当的言语生成机制。听障儿童没有听觉循环也没有任何纪念自己的言论。唇读技术教听力受损的人不是一个解决方案从元音和辅音的舌运动藏在嘴里不区分他们通过可视化嘴唇动作。他们也许能够理解消息,但没有说话。

如今,语言训练系统可以设计基于视觉或触觉反馈等声学参数的演讲强度、基频、光谱特性[15]-[23]或基于反馈的发音等参数表达,鼻声,嘴唇&声道运动[38]- [42]。视觉援助将是这样,虽然听力受损的人说他能够正确评估和话语或发音基于预期和实际参数显示给他。例如,他们可以看到的清晰度声道形状和比较它与参考清晰度知道并纠正发音缺陷存在适当的[31]- [37]。

一些重要的演讲要求培训援助奥斯特[3]所总结的,明确的说明和手册必须创建和使用了不同组的孩子。孩子的视觉反馈的声音,清晰度应立即显示在电脑屏幕上,没有延迟。援助必须接受语言治疗师以及孩子,这意味着援助必须有吸引力,有趣,容易理解,容易处理,激励。视觉模式必须是自然的,合乎逻辑的和容易理解的。这意味着训练参数例如,沥青可以显示垂直间距发生变化;强度大小的一个对象,成为更大的声音变得响亮和较小的声音变得柔和和持续时间可以显示水平。的援助应该最后给出客观评价孩子的训练结果

本文第二部分论述关于使用听觉和触觉艾滋病为听障儿童和他们的缺点。雷竞技官网第三部分讨论了关于演讲培训艾滋病提供视觉反馈。第四部分提出了一些实现结果的初步研究工作开展对获得声道形状不同年龄组的儿童通过执行LPC分析他们的演讲。第五部分提供了结论和未来努力设计视觉语音教具使用结果。

二世。相关工作:听觉和触觉设备为听力受损

听力损失存在敏感性下降时通常听到的声音。耳聋会被定义为贫困的程度听力,这样一个人是无法理解演讲通过听力甚至在放大的存在。听力损失的严重性分类根据名义额外的强度高于阈值,一个良好的必须在检测到一个独立的个体。听力障碍是测量分贝听力损失或dBHL [4]。可能列为轻微、中等、中等严重,严重,深刻的或完全失聪的列表在表i听觉艾滋病不得用于严重和深刻的耳聋。

助听器的选择是基于比较在四维空间即对声音敏感,耐受极限,背景噪声的效率和效率在区分小声音的差异。传统语音训练和深刻的聋儿是基于方法,帮助孩子们学习语言通过查看治疗师的脸和嘴唇,通过残余听力或治疗师的触觉反馈,感觉脸,喉咙和过期的空气等获得建立控制他们的演讲。非常广泛的设备已经发展为听力损失[9]- [11]。莱维特[1][5][6]的形态分类这些设备不仅刺激(即。,auditory, visual, tactile, or direct electrical stimulation of the auditory nerve (auditory-neural)] but also in terms of the degree of speech processing that is used.

辅助监听设备(艾滋病)使用听觉通道,包括高增益电话和房间和礼堂听系统的信号是通过电磁穿在身上接收器[5]。低电力调频收音机或红外传输通常用于此目的。大多数辅助听力设备的主要功能是为了避免环境噪声和混响通常拿起,传统助听器放大。FM传输通常是在教室和红外传输用于剧院、礼堂、礼拜场所和其他公共场所。

Uptil现在主要的推力助听器的发展一直是对仪器的尺寸越来越小,因为大多数助听器用户不希望被人看到穿这些设备。微型助听器适合完全在耳道,依稀可见非常受欢迎。目前已经开发出了更小的助听器只占据耳道的最里面的部分,是不可见的,除非一个同行直接进入耳道[5]。

感音神经性听力障碍的一个共同特点是损伤的程度增加而增加的频率。有人建议,语音清晰度可以改善这种形式的听力损失的置换演讲低频区域的高频成分,听力障碍不是那么严重。一系列的调查frequency-lowering计划及其对听力障碍的使用是由波森分别[7]和约翰逊[8]。商用演讲训练设备基于听觉反馈喋喋不休的电话(模型PVC-C)[9],说话容易(4392)[10]。

有时耳聋儿童可能是由于耳蜗毛细胞的损伤,将机械振动转换为神经活动。但如果神经元连接到这些毛细胞仍然功能,它们可以由人工耳蜗产生的电磁场。它人为地刺激耳蜗神经通过提供电动脉冲代替毛细胞的射击。如果人工耳蜗是在很小的时候完成的,一些深刻的障儿童可以获得有效的听力和演讲,尤其是支持适当的康复。然而,耳蜗植入设备不仅是昂贵的,但需要复杂的编程与培训有效性。人工耳蜗接受者可能患脑膜炎而变成了劣势[11][12]。

演讲还可以通过振动器在指尖和身体的其他部位来表示各种元素的言论表达或鼻音化等[1]。这样的援助被称为触觉援助可以作为一个补充唇读语音训练。触觉感官艾滋病的一个重要的优点是,这些设备可以方便而不干扰其他重要的感官输入。失聪的人戴谱的例子有触觉艾滋病多年来和那些能够有效沟通在面对面的情况下使用他们的触觉援助[6][38]。

图1[6]显示了一个示意图的触觉援助,语音信号处理的一个例子。这种援助是戴在较低的前臂,提供语音基频信息,佛。语音信号从输入换能器(声学麦克风或表面安装加速度计)送到距器产生方波的频率等于基本声音频率的一半。电子元件被安置在一个穿在身上单元,输出由导线连接的传感器阵列可以戴在手腕上,如图1所示。触觉刺激的轨迹Fo的价值成正比。Fo较低时,该地区附近的手腕是刺激;佛是增加,刺激远离手腕的轨迹。

的触觉显示也被发现有价值的作为一个言语训练援助。援助的一个非常有用的特性是,它可以穿在教室之外,从而给学生提供持续的反馈他们的言语生成在日常沟通[6]。发展面临的核心问题的实际语音功能触觉可穿戴艾滋病是可穿戴上的信号被麦克风援助是受到环境噪声和混响。

三世。系统基于视觉反馈的演讲培训

尽管许多听觉和触觉艾滋病报道提高演讲的一些孩子,他们的使用是有限的。这可能是由于这一事实提供的反馈这种类型的演讲培训艾滋病是难以理解,不自然,推迟,没有吸引力,没有动机对孩子们的影响。最早的视觉感官艾滋病主要关心发出声音可见一个失聪的人。这些设备的局限性为代表的演讲很快就认识到,然后注意力集中在更先进的信号处理方法考虑到演讲的平均光谱特性等可视语言翻译(威仕特),是一个real-time-version声谱仪[13]。

现在很多培训艾滋病已经开发语言元素的信息通过视觉反馈来代替使用的听觉反馈听到孩子们在他们的语言发展[14]- [34]。一个重大贡献是由Nickerson等。[14]当他们开发了第一个计算机视觉语音训练系统。此后更先进的计算机辅助演讲培训增强了深刻的聋儿的可能性发展理解演讲[39]- [42]。有很多视觉反馈系统所提出的各种人员根据不同的反馈机制。例如,科因[15],Gruenz[16]和Schott[17]设计演讲培训系统基于反馈的音调。里斯贝里[18]语音教具设计基于视觉反馈的声学/发音参数表示摩擦,语调,节奏,鼻音化和频谱。小尖塔[19]设计了一个基于PC的系统称为动态山岳气压计。舌头,运动模式的反馈对牙齿的舌和屋顶的嘴,嘴唇和下巴,运动,佛,并给出强度,说话的人。雷竞技网页版后来伯恩斯坦等。[20]开发了一个基于PC的系统持续表达和强度控制。安德鲁et al。[22]开发了一个改进的元音教具,DSP版本的模拟滤波器银行系统。实时处理战略和连续特征空间映射到一个二维的显示空间

演讲培训艾滋病研究基于视觉反馈的声道形状(VTS)是在进步和研究人员试图获得变形设计演讲培训艾滋病听力受损的成年人[33][35]。声道的计算机可视化的工具,在语音清晰度,通过矢的人头已经设计并由马赫迪[35]。图2显示了系统的多窗格屏幕显示和用户提取的特征。可以看到,系统的屏幕分为四个声道窗口用于显示图形,声音强度、音高和语音信号的前三个共振峰。

实际演讲训练,声道领域需要估计与一致性和适当的动态响应。一些研究者曾对获得现实的VTS成人[36]- [38]。

第四。实现获得声道形状(VTS)的孩子

根据Vorperian et al .[44],声道长度从婴儿大约7到8厘米增加到15到18厘米成年女性和男性。Vorperian等。[46]提出了一个定量解剖数据增长声道的口腔和咽部的部分从605年个人成像研究2年到19岁之间。据报道,口腔和咽部的部分声道进行不同的增长模式。不均匀的声道的增长部分长度是观察到随着年龄的增加[45]- [46]。有一个声道长度的增加主要是由于咽地区的增长。再咽中观察到成年男性相比,妇女和儿童。也有下降的喉、舌骨的舌头和延长声乐tractwith减少oro-laryngo-pharyngeal角[46]。因此,如果我们观察整个声道长度,我们可以说比成年人多声道的变化区域可以看到接近声门。儿童整体声道形状仍将保持一样的成年人除了将所有声道的区域价值转向咽的声门结束指示一个很小的长度得到地区几乎没有任何变化区域值。

在我的研究工作,实现LPC分析演讲由儿童是儿童获得管理系统来完成的。Wakita基于LPC分析的演讲的方法已经被使用,在口语元音/ /,/我/ / u /在决定从各年龄组儿童获得的采样频率。基于观测使用MRI图像[44][46],为不同年龄段的孩子,需要适当选择声道长度、LPC的秩序和语音采样率而估计他们使用LPC分析现实的声道形状。不同年龄段的孩子发现了各种设置的最佳参数值。预加重了申请前20 ms的汉明窗语音信号。自相关系数和反射系数是使用LPC的分析获得。使用反射系数,最后声道形状的声道区域功能得到不同的预测订单。图8、9和10所示VTS获得群2到6岁的元音/ /,/我/ / u /。每一个元音,五VTS显示通过改变预测订单从8到12步骤之一。

同样我们有dividedthe孩子到5个年龄组,即从2到6、7到9,10到12、13 - 16和17至21年,发现系统在每种情况下不同的预测订单。估计基于LPC分析给出了形状的横截面积沿轴与节号从声门嘴唇沿着x轴。现实声道形状获得特定年龄段的孩子只有在特定的预测如下表列在表二世

变形获得不同年龄段使用我们的实现可以作为一个参考形状在演讲培训艾滋病特定年龄组,听障儿童可以比较自己的VTS参考形状口语元音

诉的结论

论述了各种方式培养的听障儿童,以提高自己的演讲能力。它会导致孩子发展的结论理解演讲,视觉语音教具thantactile援助要好。使用视觉辅助,听力受损的孩子可以更好地理解语言和尝试学习说话。的动机实现LPC分析的演讲获得VTS的孩子使用基于计算机的援助,孩子可以看到自己的清晰度声道形状和比较它与参考提供的清晰度语音教具和尽量少在他的系统不匹配。但设计这样一个演讲培训援助,声道领域需要估计的一致性和适当的动态响应。对于听障儿童,适当的显示,基于动态漫画或游戏不同的声道形状需要设计。因此,各年龄组儿童获得现实的形状是必须的,这样设计的语音教具可以有效地用于从任何年龄段的儿童。帮助和评估结果需要定期由医生或老师的听障孩子直到他主人使用这样一个演讲培训援助

引用

l·r·拉宾和r·w·谢弗,数字语音信号的处理。恩格尔伍德悬崖,新泽西:Prentice Hall出版社,1978年。
b . r .大卫和G.W.杰伊(Eds)、语音人和机器之间的通信。华盛顿:国家科学院出版社,1994年。
点奥斯特,“临床应用以计算机为基础的语音训练听力障碍儿童”,在4日Proc.国际会议上口头语言处理,费城,1996年美国、pp.157 - 160
可用:http://en.wikipedia.org/wiki/Ear。2012年7月30日访问。
h·莱维特,j·m·皮科特,r . a .厚德做人(Eds),感觉听障人士的助听器。纽约:IEEE出版社,1980年。
s . Rosen j . r . Walliker A . Fourcin诉球,“极度受损的micro-processor-based声学助听器侦听器”,j . Rehabil。Dev >, vol4 pp23 1987。
m·波森c·m·里德和l . d .签“frequency-lowered语音的可懂度由通道声码器”,j . Rehabil。Dev >, 30 (1), pp.26-38 1993。
b·约翰逊”转换器的使用管理失聪的孩子。”,Int, Audiol。,5: pp 362-373,1966.
可用:http://www.aimeesolutions.com。最后于2012年8月4日通过。
可用:http://www.enablingdevices.com。最后于2012年8月4日通过。
可用:http://en.wikipedia.org/wiki/Deaf。2012年7月30日访问。
w .房子和j .城市“长期结果的电子注入和电子刺激耳蜗的男人”,j·安。Otol。Rhinol。Laryngol。,pp. 82:504510, 1973.
右眼明显,“教学/ ba /和/ pa /失聪儿童使用实时光谱显示”,j . Lang。演讲中,15:pp.14-29, 1972年。
R s Nickerson K.N.史蒂文斯。“教学演讲聋:电脑可以帮忙吗?”,IEEE反式。音频Electroacoust。,21卷,不。5,pp.445 - 455, 1973。
a·e·科因“科因音高指示器”,Volta审查,40卷,pp.437 - 439, 1938。
o Gruenz”,提取和描述语音的音调。“j . Acous。Soc。点。,vol 21, pp.487, 1938.
润滑Schott,提取语音的音调,j . Acous。Soc。点。,vol 24, pp.211, 1949.
里斯贝里,“聋人语言处理艾滋病”,j .言语听觉研究Vol.13 pp.22-24, 1968
弗莱彻,“视觉语音装置反馈”,J。演讲和听力障碍研究所硕士,pp.178 - 185, 1983。
L.E.伯恩斯坦和Mahshie演讲培训艾滋病为听力受损的人:我。概述和目标”,j . Rehabil。Dev >,陈俊玮没有。4,pp.59 - 62, 1988。
Zahorian和引导,“聋人元音发音训练援助”。Proc. Int。Conf.声学,演讲,和信号处理,pp.1121 - 1124, 1990。
E.B.安德鲁和s . a . Zahorian”言论转换光谱二维连续语音特征空间价值母音训练”,在Proc, IEEE Int。Conf.声学,演讲,和信号处理》,第244 - 241页,1992年。
b, D。杨f .张x王”,研究计算机辅助聋儿言语训练方法基于学习矢量量化”,中国控制与决策会议上,中国,4266 - 4269年,2008页。
可用:http://www.kayelemetrics.com。2012年8月5号最后一次访问。
可用:http://www.drspeech.com/SpeechTrain2.html。2012年8月5号最后一次访问
c·s·沃森·m·阿尔伯特·g·迪瓦恩,”印第安纳州演讲训练援助(ISTRA)”, j . Acoust。Soc。点。,Vol. 81, Issue S1, pp.95, 1987.
点奥斯特,听觉和视觉反馈在L2口语教学”,从语音学的部门报告,于默奥大学,PHONUM 4, 1997。
可用:www.videovoice.com。2012年8月5号最后一次访问。
j·b·弗格森l·e·伯恩斯坦和m . H。戈尔茨坦,”演讲培训艾滋病为听力受损的人:II。约翰霍普金斯大学艾滋病的配置”,j . Rehabil。Dev >,卷。25日,第68 - 63页,1988年。
j . j . Mahshie V.M.黛安娜,至此贝蒂和L.E. Bernstein”演讲培训艾滋病为听力受损的人:三世。初步观察在诊所,j . Rehabil儿童家庭”。Dev >,卷。25岁,没有。4,pp.69 - 82, 1988。
h . Wakita“直接估计声道形状的逆滤波的声学语音波形、“IEEE反式。音频Electrocaust。,21卷,不。5,417 - 427年,1973页。
一个。瑟哈德里,K。Makwana, T。约瑟夫,m . Varde”动画声道形状的演讲训练听力受损”,项目报告(指导:博士。Milind Shah),电子和电信工程系FCRIT,孟买大学,2009。
年代。H公园,d . j . Kim j . H。李和t . s . Yoon“综合语音训练系统为听力受损,“IEEE反式,康复,Engg。,卷2,不。4页,189 - 196年,1994年。
A.E.救世主,”可视化声道形状的听力受损的计算机语音训练系统”,打开电气和电子工程日报》2卷,新,2008页。
硕士沙和电脑Pandey,“估计发音部位在停止关闭VCV话语”,IEEE反式。音频、语音、语言处理、vol.17没有。2,pp.277 - 286, 2009。
m . s .沙和电脑Pandey,“估计声道形状VCV音节语音教具”,在Proc。27日年会的IEEE在医学和生物工程协会(上海,中国),pp.6642 - 6645, 2005。
p c Pandey n .乐,“估计的唇口伸缩声道面积函数演讲培训艾滋病”,国家通讯Conf. pp3-5, 2012年。
j·d·米勒,a . m . Engebretsen和c l . DeFilippo“初步研究三通道vibrotactile speech-reception援助聋子”,Proc.研讨会的演讲沟通、4卷,1974年,页230 - 234。
h . Javkin: a .巴罗佐Das, d . Zerkle h·莱维特和K。Youdelman”动机维持发音/声学语音训练系统完全失聪的孩子,“在Proc, IEEE Int。相依Acoust。、演讲、信号的过程。,第148 - 145页,1993年。
l·e·伯恩斯坦J.B.弗格森和M。h·戈尔茨坦”,深刻的聋儿言语训练设备,”在Proc, IEEE Int。相依Acoust。演讲中,信号的过程。,第636 - 633页,1986年。
a·布斯l . Hanin e·杨问:陈,“游戏言语知觉测试和培训年轻的听力受损的孩子”,在Proc. Int.相依计算应用程序来帮助残疾人,NY, pp.25-28, 1992年。
j·m·帕尔多声道形状分析儿童,”在Proc, IEEE Int。相依Acoust。、演讲、信号处理、pp.763 - 766, 1982。
Vorperian,香港王,S。,Chung,M., Michael,E., Reid R., Kent, Andrew,Z., Lindell,R., “Anatomic development of the oral and pharyngeal portions of the vocal tract: an imaging study”, J. Acoust. Soc. Am., vol 125, no.3, pp. 1666-1678, 2009.
Vorperian,香港肯特,R。,Gentry,L., Yandell,B., “Magnetic resonance imaging procedures to study the concurrent anatomic development of vocal tract structures: preliminary results”, International Journal of Pediatric Otorhinolaryngology, vol 49, pp.197–206, 1999.
Vorperian,香港肯特,R。,Gentry,L., Yandell,B., “Development of vocal tract length during early childhood: A magnetic resonance imaging study”, J. Acoust. Soc. Am., vol 117, no.1, pp. 338–350, 2005.
惠誉,W。,and Giedd,J., “Morphology and development of the human vocal tract: A study using magnetic resonance imaging”, J. Acoust. Soc. Am., vol 106, no.3, pp. 1511-1522, 1999.