关键字 |
基于内容的图像检索,视觉词,边缘指示描述符,模糊颜色和纹理直方图。 |
介绍 |
基于内容的图像检索(CBIR)是20世纪90年代初提出的一种独立于元数据而不是从图像本身提取图像的方法。然而,目前还没有找到一个令人满意的解决方案,但已经分离出一个问题:研究人员定义了语义差距,指的是机器无法根据自动提取的数据完全理解和解释图像。在当前的视觉信息检索研究工作中,特别是全局特征,它表示捕捉整个图像的特征,而不是集中在例如片段、区域或补丁上,已经失去了部分意义。然而,在应用研究中,基于内容的图像检索——例如作为复杂系统的一部分——通常依赖于快速的全局特征,至少作为进一步研究的基础。CBIR是一个高效的库,允许研究人员以一种简单的方式集成基于全局特征的CBIR。基于内容的图像检索(CBIR)是一种基于用户输入自动搜索相关图像的过程。输入可以是参数、草图或示例图像。典型的CBIR过程首先提取图像特征并有效地存储它们。 |
文献中最早使用术语基于内容的图像检索似乎是由H.B.Kekre[1]等人。将他的实验描述为根据颜色和形状特征从数据库中自动检索图像。CBIR与经典信息检索的不同之处在于,图像数据库本质上是非结构化的,因为数字化图像纯粹由像素强度的数组组成,没有内在的意义。任何类型的图像挖掘的关键问题之一是需要从原始数据中提取有用的信息(例如识别特定形状或纹理的存在),然后才能对图像的内容进行任何类型的推理。因此,图像数据库与文本数据库有根本的不同,在文本数据库中,原始材料(以ASCII字符串形式存储的单词)已经由作者Santini和Jain进行了逻辑结构,[2]。CBIR的许多方法都来自图像处理和计算机视觉领域,并被一些人视为该领域的一个子集。CBIR的研究和发展问题涵盖了一系列主题,其中许多与主流图像挖掘和信息检索相同。 |
其中最重要的有: |
•了解图像用户的需求和信息寻求行为 |
•识别描述图像内容的合适方法 |
•从原始图像中提取这些特征 |
•为大型图像数据库提供紧凑的存储 |
•以反映人类相似性判断的方式匹配查询和存储的图像 |
•有效地访问存储的图像内容 |
•为CBIR系统提供可用的人机界面 |
文献综述 |
Aura Conci[3]等。提出了一种基于图像间距离计算的新方法。Chee Sun Won[5]等人。提出了一种在CBIR系统中有效使用MPEG-7颜色布局和边缘直方图描述符的方法。Gw ' enol ' eQuellec[8]等人提出了另一种医学病例检索方法。该方法在两个分类数据库上进行了评估:一个用于糖尿病视网膜病变随访(DRD),一个用于筛查性乳房x光检查(DDSM)。H.B.Kekre[9]出版社。提出了Walsh、Haar和Kekre变换小波金字塔图像检索技术的性能比较。Kekre[10]出版社。提出了基于内容的图像检索是将计算机视觉技术应用于大型数据库中数字图像的检索问题。Hemalatha[13]出版社。 Proposed a research to find out the accurate images while mining an image (multimedia) database and developed an innovative technique for mining images by means of LIM dependent image matching method with neural networks. Hiremath P. S[14] et.al. Proposed Content Based Image Retrieval based on Color, Texture and Shape features using Image and its complement. Color, texture and shape information have been the primitive image descriptors in Content based Image Retrieval systems. Efficient relevance feedback for Content based Image Retrieval by mining user navigation pattern is proposed by Ja-Hwung Su[15] et.al. Image Retrieval by mining user navigation pattern can be divided into two major operations namely offline knowledge discovery and online image retrieval. LatikaPinjarkar[17] et.al. Proposed a Comparative Evaluation of Image Retrieval Algorithms using Relevance Feedback and its Applications. The Feedback (RF) techniques were incorporated into CBIR. Liu Yang[18] et.al., have proposed research on Content based Image Retrieval in medical images like X-ray images collected from plain radiography. Another methodology is proposed using hierarchical and K-Means clustering technique by Murthy[19] et.al. K.Haridas[20]et.al. proposed image retrieval post-processing step by finding image similarity clustering to reduce the images retrieving space by introducing a graph-theoretic approach using Color Feature Extraction and Texture Feature Extraction. N S T Sai [21]et.al. Proposed an Image Retrieval using DWT with Row andColumn Pixel Distributions of BMP Image.Neetu Sharma. S[22] et.al. Proposed an Efficient CBIR Using Color Histogram Processing. Ramamurthy, B.[24] et.al. Proposed a Content Based Medical Image Retrieval with Texture Content Using Gray Level Co-occurrence Matrix and K-Means Clustering Algorithms.Rajshree S[25] et.al. Illustrated about an Image mining methods which is dependent on the Color Histogram. They have examined a histogram-based search techniques and color texture techniques in two different color spaces, RGB and HSV. Histogram search distinguish an image through its color distribution. Another method is discussed using the edge histogram Rajendran [27]et.al. Discussed an improved image mining technique. An enhanced image mining technique for brain tumor classification is proposed using pruned association rule with MARI algorithm. Rajendran P [28]et.al. Proposed a Hybrid Medical Image Classification Using Association Rule Mining with Decision Tree Algorithm. |
基于内容的图像检索 |
本文采用基于内容的检索方法,利用图像的内容来表示和访问图像。典型的基于内容的检索系统分为离线特征提取和在线图像检索。在脱机阶段,系统根据图像的像素值自动提取数据库中图像的视觉属性(颜色、形状、纹理和空间信息),并将其存储在系统内部的另一个数据库中,称为特征数据库。与图像数据相比,每张图像的每个视觉属性的特征数据(也称为图像签名)的大小要小得多,因此特征数据库包含图像数据库中图像的抽象(紧凑形式)。与原始像素值相比,签名的一个优点是图像表示的重要内容。然而,使用签名的一个更重要的原因是改进图像表示和视觉语义之间的相关性。在联机图像检索中,用户可以向检索系统提交查询示例,以检索所需的图像。系统用特征向量表示这个例子。然后计算查询示例的特征向量与特征数据库中媒体的特征向量之间的距离(即相似度)并进行排序。检索采用索引方案,提供了一种有效的检索图像数据库的方法。 Finally, the system ranks the search results and then returns the results that are most similar to the query examples. If the user is not satisfied with the search results, he can provide relevance feedback to the retrieval system, which contains a mechanism to learn the user’s information needs. |
所提出的系统基于以下技术实现。 |
•K-均值算法 |
•潜在语义分析索引 |
•特征提取技术 |
K均值算法 |
在这种基于内容的图像检索的视觉词包方法中,从图像集合中提取局部特征,并通常使用k-means进行聚类。计算出的聚类中心称为视觉词和形式码本,作为索引新添加的图像的基础。如果将新图像添加到现有图像集合中,则必须提取局部特征并将其分配给最佳拟合的视觉词。由此产生的局部特征直方图表示局部特征在前计算聚类上的分布,作为新图像的指纹。图1所示。显示了类似的图像检索使用袋视觉词。 |
图像分析的特征通常涉及三个步骤。首先是检测步骤,通常根据某些显著性度量来识别图像中感兴趣的位置。这些被称为利息点。第二步,计算以检测位置为中心的每个图像补丁的描述符。第三步是代码本的创建,所有的本地特征(每个关键点一个)被聚类。为每个集群找到一个可视单词。通常,一个平均向量(在k-means的情况下)或一个中位数被用作视觉词。本文采用K均值方法。 |
利用潜在语义分析实现索引 |
潜在语义分析用于文本索引和视觉索引。本研究采用LSA进行可视化索引。 |
图2为重新排序前的相似图像,图3为使用LSA的结果。基于从初始文本搜索结果和任何可用的辅助知识中提取的多模态线索。图像重排序过程通过重新排序可视化文档来提高搜索精度 |
实现特征提取技术 |
在图像检索系统中使用了几个特性。其中最受欢迎的是颜色特征和纹理特征。在本工作中使用的特征是自动颜色,边缘指令描述符,模糊颜色和纹理直方图。图4为Color and Edge Directivity Descriptor的处理过程。 |
颜色和边缘指向性描述符(cedd)的实现 |
本工作图像作为输入,图5为CEDD的输入图像(查询图像),图6为使用CEDD匹配的查询图像的相似图像。 |
模糊颜色和纹理直方图(fth)的实现 |
直方图由8个区域组成,因为这些区域是由模糊系统决定的,该系统决定了图像的纹理。每个区域由24个单独的区域组成,这是由第二模糊系统的结果。总的来说,输出结果包括8 × 24 = 192个箱子。根据箱子的内容,生成相应的最终直方图。为了塑造直方图,图像被分派到1600个块中。选择这个块的数量作为图像细节和计算需求之间的妥协。每个块从所有模糊系统中依次通过。如果将纹理检测的模糊系统产生的bin定义为N,将形成模糊24箱颜色链接直方图的模糊系统产生的bin定义为M,则将每个块放置在bin位置:N × 24 + M。图7为fth的整个过程,图8为汽车模糊颜色和纹理直方图查询图像。 |
实验结果 |
图像检索系统采用JAVA语言实现。图像挖掘技术在800张图像的核心图像数据库上进行了测试,这些图像分布在花、建筑、贝塔、枪支、赛道、大象、恐龙和汽车等10个类别中。每个类包含100张图像。图9为样本图像的采集结果。 |
基于cbir的图像挖掘性能评价指标 |
为了评估检索效果,使用精度和查全率作为所提出的图像挖掘技术的统计比较参数。这两种测度的标准定义由下式给出。系统所达到的检索精度水平是建立系统性能的重要指标。如果结果令人满意和有希望,可以作为今后研究工作的标准。在基于CBIR的图像挖掘中,精度召回率是目前应用最广泛的评价检索精度的测量方法。 |
精确度P定义为检索到的相关图像数量与检索到的图像总数的比率。精度衡量检索的准确性。。 |
|
召回率R定义为检索到的相关图像数量与整个数据库中相关图像总数的比值。 |
|
从图像库中计算彩色图像的检索效率,即查全率和查准率。采用标准公式计算准确率。 |
|
图10为视觉词袋的精密度、召回率和准确度值的评价。一袋视觉词的平均准确率为0.636或63.6%。针对视觉词袋,计算了珊瑚数据库中图像的精密度、查全率和准确度值。 |
图11为颜色和边缘方向性描述符的精度、召回率和精度值的评估。颜色和边缘指向性描述符的平均准确率为0.846或84.6%。用颜色和边缘指标性描述符计算了corel数据库中图像的精度、查全率和准确度值。 |
图12为模糊颜色和纹理直方图的精度、召回率和准确度值的评价。FCTH的平均准确率为0.93或93%。计算了珊瑚数据库中图像的精密度、查全率和准确度值。 |
图13为各种方法对精密度、召回率和准确度值的平均评价。实验结果表明,与其他方法相比,ffc具有更好的性能。 |
结论及未来改进 |
基于内容的图像检索是一种具有挑战性的从大存储空间捕获相关图像的方法。一个新的低级特征包含直方图、颜色和纹理信息。此元素用于图像检索和图像索引系统。本文对目前广泛应用的基于内容的图像检索方法进行了实验研究。实验采用了三种方法,分别是视觉词袋值、颜色和边缘指示描述符、模糊颜色与纹理直方图。实验结果表明,模糊颜色和纹理直方图(FCTH, Fuzzy Color and Texture Histogram,模糊颜色和纹理直方图)方法在与其他方法进行比较时效果较好。该方法在基于内容的图像检索系统中准确率为93.21%。FCTH可以根据需要进行增强。本研究工作对图像检索有一定的应用价值,未来计划将基于语义的图像检索与人脸识别相结合。它可以进一步开发,以包括更多的操作和分析,因为系统需要更改以适应外部发展。 Future enhancement can be made to the system at any later points. The codes are efficiently written to make it reusable and chargeable. |
数字一览 |
|
|
|
|
|
图1 |
图2 |
图3 |
图4 |
图5 |
|
|
|
|
图6 |
图7 |
图8 |
图9 |
|
|
|
|
图10 |
图11 |
图12 |
图13 |
|
|
参考文献 |
- H.B.Kekre, Dhirendra Mishra, StutiNarula, Vidhi Shah,Cbir的颜色特征提取,工程学报,Vol. 3 No.12, pp. 8357-8365, 2011年12月。
- 桑提尼,S和杰恩,R相似度查询的图形规范视觉语言与计算杂志,pp 403-421。1997.
- Aura Conci和Everest Mathias M. M. Castro,“按内容挖掘图像”专家系统与应用,第23卷,no。4, pp. 377-383,2002。
- 蒋超、洪勇、杨宏及李光,“利用流域区域的颜色大小特征进行基于区域的图像检索,”视觉交流与图像表示,第20卷,第1期。3, pp. 167-177, 2009年4月。
- 朴东权,朴秀俊,MPEG-7边直方图描述符的高效使用,《ETRI期刊》第24卷第1期,第2页。2002年2月23-30日。
- 李军,王军,李军。“基于内容的图像检索-新时代的方法和趋势”ACM计算调查,第40卷,no. 4。2、2008年4月第5条1-60页。
- Datcu M和Seidel K,“图像信息挖掘:大型档案中图像内容的挖掘”。航空航天ieee会议,Vol.3, pp. 253- 264,2000。
- Gw´enol´eQuellec, Mathieu Lamard, Guy Cazuguel, Christian Roux, B´eatriceCochener,"基于Dezert-SmarandacheTheory的多模式医学病例检索"IEEE医学与生物工程学会年度国际会议插入m-00331184,版本1 - 15,2008年10月。
- h。b。kekre,Sudeep D. Thepade, AkshayMaloo,Walsh、Haar和Kekre变换小波金字塔图像检索技术性能比较国际计算机应用杂志(0975 - 8887)第4卷,第10期,第1-8页,2010年8月。
- h。b。kekre, Sudeep D. Thepade, AkshayMaloo,“基于Haar小波金字塔颜色-纹理特征的图像内容查询”,成像和生物医学应用的计算机辅助软计算技术特刊,CASCT, pp 1-8,2010。
- H.B.Kekre, Dhirendra Mishra, StutiNarula, Vidhi Shah,Cbir的颜色特征提取,国际工程科学技术学报,Vol. 3 No.12, pp. 8357-8365, 2011年12月。
- 平田K和加藤T,通过可视化示例查询。基于内容的图像检索在EDBT ' 92,第三届扩展数据库技术国际会议,56- 71,1992。
- 赫玛拉塔·m·和拉克希米·德瓦塞纳·C,基于limb数据挖掘算法的混合图像挖掘国际计算机应用杂志,vol. 25, no . 2, pp. 1-5, 2011。
- HiremathP。S和JagadeeshPujari,”基于颜色、纹理和形状特征的基于内容的图像检索国际计算机科学与安全杂志,第1卷:第4期,pp 25-35。
- 苏子煌,黄伟俊,余志强,曾志强,“基于用户导航模式的基于内容的图像检索的有效关联反馈”,IEEE知识与数据工程汇刊,第23卷,no. 1。3,第360-372页,2011年3月。
- 杰弗里·w·塞弗特,数据挖掘:概述信息科学与技术政策资源分析师,科学与产业部,CRS 1-16, 2004。
- LatikaPinjarkar, Manisha Sharma和Kamal Mehta,”相关性反馈图像检索算法的比较评价及其应用国际计算机应用杂志(0975 - 888),第48卷第18期,第12-16页,2012年6月。
- 刘洋,RahulSukthankar, Steven C.H. Hoi,“保持视觉距离度量学习的增强框架及其在医学图像检索中的应用”,模式分析与机器智能汇刊,第32卷,no。1,第30-44页,2010年1月。
- Murthy V.S.V.S, Vamsidhar E, swarup Kumar J.N.V.R, Sankara Rao P,”基于内容的图像检索,使用分层和k -均值聚类技术工程科学与技术Vol. 2(3), pp. 209-212, 2010。
- 哈里达斯,K.和安东尼·塞尔瓦多斯·塔纳马尼。”基于模糊K均值聚类算法的高效图像聚类与内容检索。"国际计算机与软件评论(IRECOS)9.1(2014): 147-153。
- N S T Sai和R C Patil,基于BMP图像行、列像素分布的DWT图像检索国际计算机科学与工程杂志,卷。02,第08页2559 - 2566年,2010年。
- Neetu沙玛。S1,帕雷什拉瓦特。S2和jaikaranssingh。年代,基于颜色直方图处理的高效CBIR,《国际医学杂志》2011年3月第2卷第1期,第94-112页
- Osmar R. Zaiane,数据库知识发现原理阿尔伯塔大学计算机科学系,pp 1-15, 1999。
- Ramamurthy, b。k。r。Chandran,”基于灰度共生矩阵和k -均值聚类算法的医学图像纹理内容检索计算机科学与技术,第8期,pp. 1070-1076, 2012。
- Rajshree S. Dubey,“基于内容的图像检索系统的图像挖掘”,《计算机科学与工程学报》2010年第2卷第7期,第2353-2356页。
- Rajshree S. Dubey, RajnishChoubey和Joy Bhattacharjee,基于多特征内容的图像检索(计算机科学与工程学报,Vol. 02, No. 06, pp. 2145-2149, 2010。
- Rajendran P和Madheswaran M,“一种基于高效分类器的改进脑肿瘤图像挖掘技术”,国际计算机科学与信息安全杂志,第6卷,第1期。3, pp. 107-116, 2009。
- Rajendran P和Madheswaran M,基于关联规则挖掘和决策树算法的混合医学图像分类《计算机科学》,Vol. 2, Issue 1, Issn 2151-9617,pp。127-136, 2010年1月。
|