视频检索使用融合的视觉特性和潜在语义索引

Rashmi M,罗山费尔南德斯
计算机科学和工程部门,Nitte Mahalinga Adyanthaya纪念理工学院,Nitte, Udupi,卡纳塔克邦,印度

文摘

人们普遍承认,不断增长的视频数据库应该有效地索引以便快速视频检索。分类基于网络视频是一个重要而具有挑战性的任务。困难来自于大型数据类别内多样性,缺乏标签数据等相似性匹配算法在视频检索系统中起着重要的作用。大多数的视频检索系统的设计使用传统相似性匹配算法是基于距离的措施。检索系统的准确性取决于方法用于检测,用于检索视频功能。语义视频索引是一个一步自动视频索引和检索。潜在语义索引(LSI)技术,基于奇异值分解和融合的视觉特性,如颜色和边缘提出了视频索引和检索。大规模集成电路的一个关键特性是能够建立类似的信息之间的关联,所以生产准确的概率指数非常高。

关键字

潜在语义索引、奇异值分解、视频的视觉特性,相似性匹配算法、视频检索系统。

介绍

视频是静止的图像呈现给观众的排序速度给运动的错觉。最近的进步计算机系统的处理能力,互联网,多媒体技术,多媒体文件和档案的数量急剧增加。因此,我变成了一个重要的研究课题和集群多媒体数据,特别是适应分布式环境中的视频检索的要求。协助人类操作员获得所需的视频序列在一个潜在的大型数据库叫做视频检索系统[1]。

动态视频是多媒体信息的一种重要形式。视频可能有听觉通道以及视觉通道。从视频可用的信息包括以下[2]:1)视频元数据,标记的文本嵌入视频,通常包括标题、摘要、日期、演员、制片人、播出时间、文件大小、视频格式,版权,等;2)从听觉通道音频信息;3)记录:可以通过语音识别和语音转录文本标题文本可以读取使用光学字符识别技术;4)视觉信息中包含图像的视觉通道。

语义视频索引的过程将概念术语来段视频[3]。这使得用户访问视频对视频内容根据自己的兴趣和偏好。在大多数现有的方法来检索视频、低层次特征,如颜色、纹理用于查询。这里的用户通常有一个更抽象的概念将满足他们使用低水平特性对应高度抽象语义鸿沟的一个方面。该方法集中于视觉内容的视频颜色和边缘视频索引和检索。

基于内容的视频索引和检索有广泛的应用,如快速浏览的视频文件夹,视觉分析电子商务(如分析广告之间的相关性及其影响),远程教学、数字博物馆,新闻事件分析[2]。

相关工作

多媒体信息索引和检索要求描述,存储,组织多媒体信息,帮助人们找到多媒体资源方便而快速地[2]。传统的基于内容的方法推导语义,纯粹基于低层特征,如颜色和纹理,显示其局限性在征服所谓的“语义鸿沟”[5]。

在[1]的作者使用了视觉特性,如颜色、运动和边缘的所有帧的拍摄视频,然后使用LSI寻找相似性剪辑的视频数据库。

作者的基本思想在[6],语义概念矢量表示的语义定义场景。检索实现在低级别功能层和高层语义概念层。结果不同层次的集成来获得一个更好的结果。

[11]中作者提出了一个通用的半自动基于文本的方法发展的视频语义标注和检索系统。系统是半自动的,因为它是基于手动获得演讲稿或覆盖文本的视频。

作者开发了一种概率上下文融合方法提高性能的语义概念检测在图像和视频。方法考虑单个探测器的可靠性和改进检测分数。使用精制分数每个检测器计算概率的估计存在的每个概念[7]。

作者提出了一系列的方法来组织和管理定位视频,包括分割定位视频与道路和视频剪辑的地理语义特征采用正则网格构建索引引擎。此外,基于地理位置的信息检索算法,快速和高效的检索视频剪辑在选定地区的电子地图提出了[12]。

作者在[13]提出了一种基于内容的视频拷贝检测使用离散小波变换。执行三级分解在视频帧使用Daubechies小波变换(Db4)获得的特征描述符。计算所需的相似性搜索的减少检测相应的视频,然后原始的复制。

答:潜在语义索引(LSI):

大规模集成电路技术用于智能信息检索(IR)。在[8]指出,大规模集成电路是一种方法,利用向量空间模型和奇异值分解(计算)。大规模集成电路使用圣言会减少噪音和维度在初始文档表示和捕捉潜在的条款和文档之间的关系。

奇异值分解)已经以其能够得到低维精制特征空间的高维原始特征空间,并捕获一个数据集的基本结构特性集,和一些研究已经集中在图像处理中使用纹理分析的圣言。计算是基于线性代数的一个定理说,一个矩形矩阵W可以分解成三个矩阵的乘积,正交矩阵,对角矩阵,和一个正交矩阵的转置诉提出的定理通常是这样的:

方法

提出了系统的工作原理是分析视频镜头的关键帧和提取这些帧的不同的视觉特征。那么特征矩阵是由不同类型的特性结合到视频的所有照片。然后执行潜在语义索引的特性矩阵。大规模集成电路的结果对所有视频存储在数据库的特性。最后的相似性度量计算给定查询视频剪辑和功能特性数据库,从数据库中检索最类似的视频。

提出系统中不同步骤如下。

答:镜头分割:

每个视频的视频数据库分为照片的数量。为了实现这一点,首先转化为视频帧序列。然后比较第一帧的颜色直方图区别和其他帧顺序。如果阈值内的区别是那群帧的形式。如果超过阈值的区别把帧作为第一帧拍摄的时候,比较剩余帧顺序,并继续这一过程。

b .视觉特征提取:

应用程序使用两个视觉特征的融合颜色和边缘特征的视频的关键帧的照片。

我。颜色特征提取:

颜色量化或彩色图像量化是一个最小化的过程使用不同的颜色的数量在一个图像或视频帧,通常与新形象的意图应该是视觉与原始图像相同[1]。

为了实现这一点,首先,所有镜头的关键帧的视频重新取样。重新取样图像转化为L * a * b颜色空间。颜色空间转换框架然后分成大小块x Nc数控。然后,受到的每一帧的每个块DCT变换。从获得的结果第二个和第三个组件的每个块在DCT域扫描锯齿形时尚。,锯齿形扫描块,第一个Nc / 2的元素提取组件和连接,形成量化的颜色特征。同样的颜色特征向量的所有关键帧形成。然后连接的所有颜色向量的关键帧拍摄镜头的颜色特征向量形式。

二世。边缘特征提取:

提取边缘特征,镜头的关键帧重新取样。然后通过应用边缘检测算法生成边缘。优势矩阵“E”分为大小的块x Nc数控。然后边缘特征矩阵生成如下考虑。

边缘(i, j) =总和(所有元素的块(i, j));

然后边矩阵转化为一个向量。边向量的连接的所有关键帧拍摄这张照片的边缘特征形式。

c使用相似性匹配的视频检索:

我。特征矩阵形式:

每一个镜头的视频,特征向量的颜色和边缘是来自前一步骤。然后计算每个特征向量的转置为每个视频拍摄。然后对于每一个镜头,附加颜色特性列下面边缘特性列形式拍摄的功能。特性的所有视频的镜头连接水平通过应用零无论必要形式特征矩阵大小M X N的一个视频中,“N”在哪里的照片视频。

二世。应用潜在语义索引:

特性矩阵获得从上面的步骤是受到圣言会分解。使用奇异值分解定理,矩阵分解计算“k”最大的奇异值和奇异向量,

年代,U V分量的视频存储在数据库的特性。

三世。相似度测量:

剪辑是由用户查询时,提取其特征的形式查询功能的“q”大小q x 1,使用每个功能特性数据库查询向量协调形成如下,

之间的相似性查询剪辑和数据库中的每个视频测量如下,

j在哪里的照片视频。如果Sim的大于指定的阈值视频类似于查询剪辑和检索。

结果分析

最常见的评价措施用于红外是“精确”和“召回”。也是用来测量提出了系统的性能。

在哪里

该系统在MATLAB平台上实现(7.14版)和测试使用数据库mpeg - 2视频剪辑,MP4, AVI格式。由于没有标准中指定的数据集文学,我们准备了数据集包含60个不同大小的视频的集合。示例检索结果如表1所示。

实验的输出示例:

结论和未来的工作

应用程序介绍了基于内容的视频检索利用视觉信息出现在视频中,然后应用潜在语义索引的索引和检索视频。实验结果表明,该算法给出了一个很好的精度,从数据库中检索视频。一个也可以观察到时间从数据库检索视频更少。的处理功能是计算昂贵的系统可以被修改以并行版本高效性能。因为有大量的视觉功能是可用的视频中,可以进一步提高系统的性能考虑最大数量的这些特性。性能可以进一步提高使用效率的关键帧提取技术提取关键帧。

引用

Kalpana s Thakare Ramchandra Manthalkar医生M。Rajurkar,迪帕Desha-pande视频检索使用奇异值分解和潜在语义索引的,国际会议交流,信息与计算技术(ICCICT),孟买,pp.1-5, 2012年。
获刑,Nianhua谢,丽丽,Xianglin曾庆红,斯蒂芬·梅班克的视觉索引和基于内容的视频检索的一项调查,IEEE系统,人,和控制论,C部分:应用程序和评论,41卷,6号,第819 - 797页,2011年。雷竞技苹果下载
勇,Suchendra m . Bhandarkar李康,“基于语义的视频索引使用的随机建模方法,IEEE国际会议在图像处理上,第1辑,第316 - 313页,2007年。
f·伊德里斯和S。Panchanathan,压缩域的图像/视频索引”,加拿大电气和计算机工程会议》,第906 - 903页,1996年。
小明南赵至诚安妮Cai,晓惠谢,小说框架基于语义视频检索,IEEE国际会议在智能计算和智能系统中,第1辑,第419 - 415页,2009年。
建曹、济南、基于语义视频数据建模风光纪录片,第四国际会议对自然计算,高雄,pp.158 - 161, 2008。
YusufAytar, Bilal Orhan和穆巴拉克沙”,提高语义概念检测和检索使用上下文估计,IEEE国际多媒体会议和博览会,536 - 539年,2007页。
康斯坦丁·Biatov Joachim克勒,丹尼尔·施耐德的音频剪辑使用潜在语义索引的内容比较,IEEE国际会议上语义计算,509 - 512年,2009页。
Na赵Shu-Ching陈,美玲害羞的,来说斯图尔特·h·鲁宾的一个集成的和互动视频检索框架分层学习模型和语义聚类策略”,IEEE国际会议信息重用和集成,438 - 443年,2006页。
阿里阿里•齐米Nasirzadeh Azizkandi Ali Rostampour Hassan Haghighi Pooyan卷和Fereidoon夏姆斯,“测量使用潜在语义索引的概念耦合服务”,IEEE国际会议服务计算(SCC), 504 - 511年,2011页。
Dilek Kucuk, Adnan YazA±cA±,半自动基于文本的语义视频注释系统为土耳其促进多语言检索”,专家系统与应用程序:一个国际期刊,Vol.40,问题9,3398 - 3411年,2013页。
勇,Xuejun刘,广发证券林,”定位视频:收购、分割、检索”,19 Geoinformatics国际会议上,229 - 233年,2011页。
Gitto乔治•Thampi d·亚伯拉罕•强的基于内容的视频拷贝检测使用离散小波变换,IEEE会议信息和通讯技术(ICT), 998 - 1002年,2013页。