在线刊号(2278-8875)印刷版(2320-3765)
斯瓦特Killikatt1, Vidya Kulkarni, Madhuri Bijjal3.
|
有关文章载于Pubmed,谷歌学者 |
更多相关文章请访问国际电气、电子和仪器工程高级研究杂志
基于内容的图像检索(CBIR)具有许多潜在的实际应用,近年来受到了广泛的关注。各种关联反馈(RF)方案已被开发出来,作为弥合低级视觉特征和高级语义概念之间语义鸿沟的有力工具,从而提高CBIR系统的性能。在各种射频方法中,基于支持向量机(SVM)的射频技术是CBIR中最流行的一种。尽管取得了成功,但直接使用SVM作为射频方案有两个主要缺点。首先,它对正反馈和负反馈一视同仁,这是不合适的,因为两组训练反馈有不同的性质。其次,随着图像数据库规模的增加,搜索和检索速度变慢,影响了系统的性能。为了探索克服这两个缺点的解决方案,CBIR系统采用离线和在线两种方式实现,并利用了图像的特性。
关键字 |
||||||||||||||||||||
基于内容的图像检索(CBIR),图嵌入相关反馈(RF),支持向量机(SVM),色相饱和度(HSV)。 | ||||||||||||||||||||
介绍 |
||||||||||||||||||||
近年来,基于内容的图像检索技术(CBIR)因其在多媒体管理[1]-[2]中的潜在应用而受到广泛关注。基于内容的图像检索是一种利用视觉内容根据用户兴趣从大规模图像数据库中检索图像的技术,是20世纪90年代以来一个活跃且发展迅速的研究领域。基于内容的图像检索,也称为按图像内容查询(QBIC)。它的动力来自于图像记录的爆炸性增长和远程存储图像的在线可访问性。迫切需要一种有效的搜索方案来管理庞大的图像数据库。与传统搜索引擎不同的是,在CBIR中,图像查询使用一张或多张示例图像进行描述,并自动提取低级视觉特征(如颜色[3]-[5]、纹理[5]-[7]、形状[8]-[10]等)来表示数据库中的图像。然而,从图像中捕获的低级特征可能无法准确表征高级语义概念[1],[2]。为了减少不一致问题,根据图像内容进行图像检索;这种策略被称为基于内容的图像检索。在基于内容的方法中,图像可以基于视觉特征进行搜索,如图1所示的颜色、纹理和边缘信息。 | ||||||||||||||||||||
为了缩小所谓的语义差距,引入关联反馈(RF)作为增强CBIR[14]性能的有力工具。利用自组织映射构造射频算法。在一类支持向量机(SVM)中估计正反馈样本的密度为[13]。偏置支持向量机继承了一类支持向量机的优点,但加入了负反馈样本。考虑图像底层视觉特征的几何结构,提出了基于流形学习的方法来发现图像的内在结构,提高检索性能。他说:“所有积极的例子都是相似的;每个负面例子都有其负面的一面,”RF被表述为一个有偏见的子空间学习问题,其中有未知数量的类,但用户只关心正类。 | ||||||||||||||||||||
SVM RF方法忽略了两组不同反馈之间的基本区别,即所有的正反馈都具有相似的概念,而每个负反馈通常因不同而不同。射频迭代中的一组典型反馈样本如图1所示。传统的SVMRF技术对正反馈和负反馈一视同仁。直接使用支持向量机作为射频方案可能会破坏CBIR系统的性能。其中一个问题是,不同的语义概念存在于不同的子空间中,而每张图像可以存在于许多不同的子空间中,RF方案的目标是找出“是哪一个子空间”。然而,传统的基于svm的射频方案需要调整内部参数以适应子空间的变化,这是一种负担。这些困难严重降低了传统支持向量机射频方法在CBIR中的有效性。通过离线和在线实现CBIR来克服这个问题。 | ||||||||||||||||||||
相关工作 |
||||||||||||||||||||
近十年来,CBIR已成为图像检索领域一个活跃且发展迅速的研究领域。基于全局图像属性,基于局部图像属性,基于区域级特征,基于相关性反馈和基于语义。在CBIR系统中,用户的信息需求与图像表示之间的差异被称为语义差距。图像中心检索系统的检索精度有限,本质上是由于用户之间存在固有的语义鸿沟。为了缩小差距,在CBIR中引入了交互式关联反馈系统。相关性反馈的基本思想是将人的感知主体性融入到查询过程中,为用户提供对检索结果进行评价的机会。相似性度量是在这些评价的基础上自动改进的。基于内容的图像检索有多种方法。下面将讨论一些涵盖更重要的CBIR系统的重要文献。 | ||||||||||||||||||||
a.w.m. Smeulders, M. Worring, S. Santini, A. Gupta和R. Jain[1]描述“基于内容”意味着搜索将分析图像的实际内容,而不是与图像相关的元数据,如关键字,标签和/或描述。在本文中,术语“内容”可以指颜色、形状、纹理或任何其他可以从图像本身获得的信息。CBIR是可取的,因为大多数基于web的图像搜索引擎纯粹依赖元数据,这会在结果中产生大量垃圾。此外,在大型数据库中,人工为图像手动输入关键字可能效率低、成本高,而且可能无法捕获描述图像的每个关键字。因此,可以根据内容过滤图像的系统将提供更好的索引,并返回更准确的结果。 | ||||||||||||||||||||
本文介绍了Gulfishan Firdose Ahmed, Raju Barskar[2]基于内容的图像检索系统的基本组成部分。讨论、分析和比较了基于颜色、纹理、形状和语义图像的图像检索方法。基于语义的图像检索是解决“语义鸿沟”问题的较好方法,因此本文重点研究了基于语义的图像检索方法。并对相关反馈、绩效评价等相关技术进行了讨论。在商业、政府、学术界和医院的许多领域,正在创建大量的数字图像集合。这些收藏品中的许多都是将现有的模拟照片、图表、素描、绘画和印刷品收藏品数字化的产物。通常,搜索这些集合的唯一方法是通过关键字索引,或者简单地通过浏览。然而,数字图像数据库为基于内容的搜索开辟了道路。本文对当前基于内容的图像检索系统的一些技术问题进行了综述。 | ||||||||||||||||||||
本文作者周欣和黄涛分析了多媒体信息检索环境下连续表示空间中相关反馈问题的性质。重点是探讨问题的独特性,比较文献中各种解决方案的假设、实现和优点。在设计相关反馈算法时,本文试图编制一个关键问题的清单。本文以全面回顾为主要部分,提出了一些新颖的解决方案和观点。相关反馈是一些信息检索系统的一个特征。相关性反馈背后的思想是获取最初从给定查询返回的结果,并使用关于这些结果是否相关的信息来执行新的查询。 | ||||||||||||||||||||
Chun等人[12]提出了一种基于CBIR的多分辨率颜色和纹理特征有效结合的CBIR方法。利用HSV色彩空间中色相和饱和度分量图像的颜色、自相关特征。采用值分量图像逆概率的块差和局部相关系数矩的块变作为其纹理特征。在多分辨率小波域提取图像的颜色和纹理特征并进行组合。 | ||||||||||||||||||||
S. Tong和E. Chang[13]在这篇论文中描述了支持向量机(svm,也称为支持向量网络)是具有相关学习算法的监督学习模型,用于分析数据和识别模式,用于分类和回归分析。基本的SVM采用一组输入数据并预测,对于每个给定的输入,两个可能的类别中哪一个构成输出,使其成为一个非概率二进制线性分类器。给定一组训练示例,每个示例被标记为属于两个类别之一,SVM训练算法构建一个模型,将新示例分配到一个类别或另一个类别。支持向量机模型是将例子表示为空间中的点,通过映射,使不同类别的例子被一个尽可能宽的清晰间隙划分。然后,新的样本被映射到相同的空间中,并根据它们落在缺口的哪一侧来预测它们属于某个类别。 | ||||||||||||||||||||
陶冬、唐晓光、李晓光[14]在本文中对CBIR射频图像特征的主分量和互补分量进行了理论和实践比较。虽然由于两组训练反馈具有非常不同的性质,因此这种假设是不合适的,但大多数先前的RF方法都将正反馈和负反馈等效对待。也就是说,所有的正反馈都有一个同质概念,而负反馈则不是。作者通过提出正交补分量分析来探讨这个重要问题的解决方案。在真实世界的图像集合上的实验结果表明,当用户想要检索具有齐次概念的图像时,所提出的补元方法在线性和核空间中始终优于传统的主元方法。 | ||||||||||||||||||||
图像属性 |
||||||||||||||||||||
A.颜色特征提取 |
||||||||||||||||||||
彩色图像可以用颜色空间的三原色表示。由于RGB颜色空间不符合人类感知颜色的方式,所以采用了本方法中的HSV颜色空间。HSV是一种直观的颜色空间,它的每个组成部分都直接影响视觉感知,在图像检索系统中很常见。色相用于区分颜色或代表纯色,其中饱和度给出了添加到纯色中的白光的百分比或数量的度量。值是指所感知的光强或测量的亮度。HSV颜色空间非常重要的优点是:与人类直觉的兼容性好,有色度和消色度成分的可分离性。图像中像素的颜色分布包含了足够的信息。图像有全局颜色属性和局部颜色属性。可以使用以下两个特征来表示图像的全局属性。像素颜色的均值表示图像的主色,像素颜色的标准差表示图像中像素颜色的变化。 The variation degree of pixel colors in an image is called the color complexity of the image . Global Color Properties: | ||||||||||||||||||||
彩色图像的均值()和标准差()定义如下: | ||||||||||||||||||||
其中,μ = [μ H, μ S,μ V] T, σ = [σ H, σ S, σ V] T, μ和σ的每个分量表示HSV信息,Pi表示图像的第i个像素。 | ||||||||||||||||||||
局部颜色属性: | ||||||||||||||||||||
图像的局部颜色属性对提高检索性能也起着重要作用。因此,可以使用一种称为二进制位图的特征来捕获图像的局部颜色信息 | ||||||||||||||||||||
B.纹理属性 |
||||||||||||||||||||
纹理是一个重要的属性,指的是物体固有的表面属性及其与周围环境的关系。灰度共生矩阵(GLCM)是一种简单有效的纹理表示方法。GLCM创建一个带有像素之间方向和距离的矩阵,然后从矩阵中提取有意义的统计数据作为纹理特征。GLCM表示概率p (i, j;d、¯害怕害怕一个½¯½)两个像素在图像,它位于距离d和角¯害怕害怕一个½¯½,有灰色的水平我和j。 | ||||||||||||||||||||
C.边缘特征提取 |
||||||||||||||||||||
图像中的边缘是表征图像内容的重要特征。人眼对图像感知的边缘特征非常敏感。图像空间中的边缘直方图表示图像中亮度变化的频率和方向性,采用边缘直方图描述符(EHD),用基于图像局部边缘分布的直方图描述边缘分布。 | ||||||||||||||||||||
实现 |
||||||||||||||||||||
图显示了所进行工作的流程。这里有两个模块 | ||||||||||||||||||||
ï ·登录模块 | ||||||||||||||||||||
一个¯·CBIR | ||||||||||||||||||||
在线啊 | ||||||||||||||||||||
离线啊 | ||||||||||||||||||||
A.登录模块。 |
||||||||||||||||||||
登录或登录(也称为登录或登录和登录或登录)是通过使用用户提供的凭据识别用户来控制个人对计算机系统的访问的过程。用户可以登录到系统,然后在不再需要访问时登出或注销(执行登出/注销)。登出可以通过用户执行某些操作显式地完成,例如输入适当的命令,或单击标记为此类的网站链接。它也可以隐式完成,例如关机,关闭网络浏览器窗口,离开网站,或在规定的时间内不刷新网页。 | ||||||||||||||||||||
B.CBIR模块 |
||||||||||||||||||||
基于内容的方法可以根据图像的颜色、纹理、边缘信息等视觉特征对图像进行搜索,发现图像的相似性。这里有两个子模块。 | ||||||||||||||||||||
1)离线模块:一旦用户完成了登录过程,他就可以加载他想要的图像。而加载图像后用户查询图像,系统根据输入图像或查询图像提取底层视觉特征,用于用户查询图像和数据库图像。系统根据底层视觉特征计算用户查询图像与数据库图像的相似度。该系统检索并呈现一个按相似度递减顺序排列的图像序列。因此,用户能够通过首先获得排名最高的图像来查找相关图像,并计算检索性能。 | ||||||||||||||||||||
2)在线模块:随着数据库规模的增加,图像检索和搜索操作将变慢,也会影响性能。大多数时候,它是不可能有所有的图像在数据库数据库将变得巨大,所以这里用户提供了一个更多的选择,是更广泛的搜索。用户也可以通过在线的方式搜索和检索类似的图片。 | ||||||||||||||||||||
方法 |
||||||||||||||||||||
我们利用颜色、纹理和边缘特征开发了一个基于内容的图像检索系统,如图4所示。 | ||||||||||||||||||||
该系统分四个阶段运行: | ||||||||||||||||||||
1)查询:用户提供一个示例图像作为系统的查询。 | ||||||||||||||||||||
2)特征提取:提取用户查询图像和数据库图像的底层视觉特征。 | ||||||||||||||||||||
3)相似度计算:系统根据底层视觉特征计算用户查询图像与数据库图像的相似度。 | ||||||||||||||||||||
欧氏距离测量: | ||||||||||||||||||||
相似度度量是使用数据库中图像D与查询图像Q之间的欧氏距离进行的,查询图像Q可以表示为: | ||||||||||||||||||||
其中Di和Qi分别为图像D和查询图像Q的特征向量,大小为n。 | ||||||||||||||||||||
4)检索:该系统检索并呈现一个按相似度递减顺序排列的图像序列。因此,用户能够通过首先获得排名最高的图像来查找相关图像,并计算检索性能。 | ||||||||||||||||||||
实验设置及结果 |
||||||||||||||||||||
介绍结果分析的说明。使用Pentium 4或更高处理器的PC, 2gb或更高内存的PC, 40GB硬盘驱动器,Windows 7, OpenCv 2.4.3和Microsoft Visual Studio 2010。 | ||||||||||||||||||||
结论及未来工作 |
||||||||||||||||||||
基于内容的图像检索(CBIR)是目前最流行的图像检索系统之一。在基于内容的方法中,图像可以基于视觉特征进行搜索,如颜色、纹理和边缘信息。现代计算机可以近乎实时地对数百幅图像进行简单的匹配。人们普遍认为,目前大多数基于内容的图像检索系统都是在低级特征(颜色、纹理、形状)上工作的,而下一代系统应该在更高的语义级别上运行。相关性反馈(RF)是一种提高CBIR系统性能的工具。相关性反馈的基本思想是将人的感知主体性融入到查询过程中,为用户提供对检索结果进行评价的机会。它利用图像的颜色、纹理和形状等属性来区分正反馈和负反馈,并在查询图像的基础上只显示相关图像。基于查询图像,可以在线和离线检索图像,提高了CBIR系统的性能。 | ||||||||||||||||||||
目前,基于内容的图像检索实现了在线和离线两种方式。因此,搜索和检索图像是容易和快速的。以同样的方式,作为未来的工作,它可以用于录音和语音搜索。 | ||||||||||||||||||||
数字一览 |
||||||||||||||||||||
|
||||||||||||||||||||
参考文献 |
||||||||||||||||||||
|