详细调查策略开发有效发现匹配的依赖性

R.Santhya¹,S.Latha¹,Prof.S.Balamurugan¹,S.Charanyaa²

部门,Kalaignar卡鲁纳尼迪理工学院,哥印拜陀,TamilNadu、印度
高级软件工程师大型机技术前,Larsen & Tubro (L&T)信息技术,钦奈,印度TamilNadu

文摘

本文详细介绍各种方法的文献有效发现匹配的依赖性。匹配的概念依赖(MDs)最近提出了目标识别用于指定匹配规则。类似条件的函数依赖,MDs也可以应用于各种数据质量检测违反完整性约束等应用程序。发现问题的相似性约束匹配依赖性考虑从一个给定的数据库实例。这个调查将推动很多研究领域的信息挖掘。

关键字

数据匿名化、匹配的依赖关系(MDs)对象,相似性约束、信息挖掘。

介绍

需要发布敏感数据在最近几年公共变得奢侈。近期已出现大幅上升,保护数据库中的数据质量社区由于大量的?脏?数据来源于不同的。这些数据通常包含重复、矛盾和冲突,由于各种错误的男性和机器。除了成本的处理大量的数据,手动检测和去除?脏?数据肯定生疏了,因为人类提出清洗方法可能再次介绍不一致。因此,数据依赖关系,已广泛应用于关系数据库的设计建立完整性约束。因此保护个人隐私和保证社会网络数据的效用成为一个具有挑战性和有趣的研究课题。在本文中,我们做了一个调查在匹配的依赖和可能的解决方案提出了文学和效率是一样的。

高效的发现相似性约束匹配的依赖关系

匹配的依赖关系概念是提供一定的物体识别的匹配规则。MDs工作条件函数依赖和它应用于各种应用程序识别等任何违反完整性约束。在数据库社区最受欢迎的,重要的是给数据质量,因为大量的数据?脏?各种资源的数据这些类型的脏数据包含重复、冲突、矛盾,因为人类和机制和引入的误差数据的大量手工将检测和去除的脏数据只是练习,因为人类也提出了反复清洗方法也引入了不一致。所以数据依赖关系用于关系数据库设计结构完整性约束。这将用于查找给定数据的不一致性。

发现大量的数据库实例匹配的依赖关系,如果我们设置属性的相似度阈值。传统的FD是MDs的特殊情况。MDs的门槛的设置并不是每次都有用。

信心的MDs是用于实现检测精度高,如果用户想要召回对象标识。然后MDs使用支持高所以MDs既包含支持和信心。

贡献:首先介绍了支持和信心措施对于MDs的效用评价,然后创建精确的算法用于寻找各种相似性阈值属性设置这些算法是旅行的所有数据而计算,并提出了近似的解决方案,它使用的一些数据。

使用的传统数据依赖关系模式设计。这些都是一次又一次重新审视新应用隐私保护。条件函数依赖是一个扩展的FD用于数据清理。使FDs。这将是主要的差价合约有效期为一个元组的条件。规范所有FDs的封面。由于固有的硬度发现问题。一系列的策略用来提高效率。发现的问题发现FDs不采取相似度阈值。一旦确定了X和Y属性的依赖关系比这将意味着每个属性的等式约束。所以现有的技术不提高相似度阈值的效率。

有不同的方法措施的依赖关系。在FDs的措施,它可能抓住关系实例。在最小数量关系的元组被删除实例。所以最平等的函数定义的措施FDs这些并不适用于MDs与相似性度量。

匹配的依赖关系:传统的FDs使用股票操作符=识别依赖关系,但它是不可能确定匹配的文本值在现实世界的应用程序。MDs是基于匹配质量。MDs使用匹配操作符声明符用约束的相似之处,直到如编辑距离。象征,文本值。

措施:评估匹配的依赖关系我们可以采用支持和信心,但它是不值得对FDs措施。然而上述相似性约束考虑匹配的平等的所有元组t1和t2 r .同时评估MDs的措施。预先计算出一双识破元组匹配离线并将结果存储以便重用。

MDs的相似度阈值的确定基于统计分布的问题非常新,它不同于FDs发现,X和Y的依赖性是FD,它意味着相似性阈值使用MD语法.Matching相似性阈值设置不同于FDs .Statistical分布处理的各种关系,对MDs相似性阈值是正确地发现和满足的支持和信心。

?医学博士发现匹配的依赖与最低的支持和信心,Y是什么?匹配的质量要求是什么?这两个由应用程序得到解决。初步的问题吗?

Purning策略:原算法必须旅行所有的统计分布和候选人在Ct阈值模式。给予支持和信心确定相似度阈值之间的关系,避免检查。

这个实验的结果证明了修剪和近似技术可以提高MDs的效率。统计分布将会增加时间成本,但每股收益可以通过修剪候选人降低时间成本。

两种不同MDs涵盖很多不同的依赖关系将导致生成MDs组的问题。未来的工作是更令人兴奋的MDa的应用程序被期望发现相似性约束等小说依赖性度量包含依赖、条件包含依赖和多值依赖关系。

在生成算法表条件函数依赖

在本文中作者描述画面更好的模式,基于支持、信心和吝啬。本文的问题是产生一个最佳的画面对于一个给定的FD是NP完全可以在多项式时间近似使用贪婪算法。

在表一代问题,实例是输入的关系问题和FDs不应该持有完全给定的数据和FDs知道数据在一些模式。这些模式给出的输入,我们会忽视这样的模式和假设应该首先让空表。然后我们会发现吝啬的组模式。这将给有意义的画面。

贪婪算法,设置的候选模式? P”元素,当地信心的考虑消除? P”元素和发现的模式涵盖所有可能的设置。包括至少? N元组的? R。这将产生表statisfy全球支持阈值。这些最小尺寸表将满足全球支持和当地的信心。这贪婪算法计算所有候选模式的支持和信心。

数据质量和无证语义问题在现实世界中很受欢迎。有许多工具引入了差价合约等来解决这个问题。CFD捕捉数据的语义和识别问题。完全意识到通过定义本文差价合约表模式,基于一些属性如支持、信心和吝啬,也研究最优表的自动生成的复杂性和提供的近似算法

文本加入RDBMS WEB数据集成

在本文中,作者描述了web服务的问题,数据集成挑战。有很多全球标识符是在数据库中。所以相同的实体可能代表不同的文本格式。这些相同的实体是指匹配字符串的数据集成

摘要余弦相似性度量在网络资源使用的字符串匹配。数据集成的异构网络资源是主要的重要的应用程序。这些数据是文本字符串从网上获得的来源。这些都是给出了语义和性能相关的挑战。识别这些集成的问题,一个需要匹配的多个文本描述。

吗?错误的信息

吗?缩写、不完整或丢失信息

吗?不同的信息安排?。

基于压缩的评价部分决定

在本文中,作者决定部分问题的决心和基于压缩的方法用来评估上面的问题。这被视为概括FD和关联规则。它将扩展措施用于评价的支持和信心。

部分决定是函数依赖的概括。它可以表示为X - > dY。d是数量。x的集合称为lh,称为RHS和Y。部分用于测定X - > dY和pdx - > dY。

这个计划的未来的工作是与其他策略,如遗传算法和扩展的组合搜索算法,基于新的压缩的措施用来评估部分的决心,这是用于搜索。这部分的决心是一种有用的知识发现(KDD)因为它是更具表达性的其他措施,部分决心争取民主变革运动的基础功能。这将避免过拟合的数据。

结论和未来的工作

本文详细的对各种方法的文献有效发现匹配的依赖性。匹配的概念依赖(MDs)最近提出了目标识别用于指定匹配规则。类似于函数依赖(有条件),MDs也可以应用于各种数据质量检测违反完整性约束等应用程序。发现问题的相似性约束匹配依赖性考虑从一个给定的数据库实例。这个调查将推动很多研究领域的信息挖掘。

引用

Shaoxu歌,Lei陈”,有效发现匹配的相似性约束依赖”,数据与知识工程、爱思唯尔,2013年。

s . Abiteboul r·赫尔诉Vianu基础数据库,addison - wesley, 1995年。

r . Agrawal t . Imielinski A.N.哲人,矿业在大型数据库中项集之间的关联规则,SIGMOD会议,1993年,页207 - 216。

r . Bassee j . Wijsen社区依赖预测,PAKDD, 2001年,页562 - 567。

c . Batini m .史坎纳皮科数据质量:概念、方法和技术,以数据为中心的系统和应用程序,施普林格,2006年。

L.E. Bertossi, s . Kolahi L.V.S.看到,数据清洗与匹配和查询回答依赖性和匹配功能,ICDT, 2011年,页268 - 279。

m . Bilenko R.J.穆尼,一部关于科恩,p . Ravikumar S.E. Fienberg,自适应名字匹配信息集成、IEEE智能系统18 (5)(2003)16-23。

美国Torgersen d . Bitton j . Millman依赖推理的可行性和性能研究,ICDE, 1989年,页635 - 641。

x p . Bohannon w .粉丝,f .基尔特•贾,a . Kementsietsidis条件函数依赖的数据清洗,ICDE, 2007年,页746 - 755。

l·布拉沃w .粉丝,f .基尔特•马,增加条件函数依赖的表达能力没有额外的复杂性,ICDE, 2008年,页516 - 525。

l·布拉沃w .粉丝,马,使用条件,扩展依赖关系,2007年,页243 - 254。

t·考尔德R.T. Ng, j . Wijsen寻找依赖关系在多个抽象级别,ACM事务数据库系统27 (3)(2002)229 - 260。

f .蒋介石R.J.米勒,发现数据质量规则,PVLDB 1 (1) (2008) 1166 - 1177。

W.W.科恩、集成异构数据库的不常见的领域使用基于文本相似度查询,SIGMOD会议,1998年,页201 - 212。

g .琮、w .粉丝,f .基尔特•x, Ma,改善数据质量:一致性和准确性,VLDB, 2007年,页315 - 326。

A.K. Elmagarmid、P.G. Ipeirotis V.S. Verykios重复记录检测:一项调查,IEEE知识和数据工程19 (1)(2007)1 - 16。

w .风扇、依赖重新改善数据质量,豆荚,2008年,页159 - 170。

w .粉丝,h .高,x, j .李马,动态约束匹配记录,VLDB日报(2010)1-26。

w .粉丝,f . geert L.V.S.看到,m .熊发现条件函数依赖,ICDE, 2009年,页1231 - 1234。

w .风扇,j·李,x,马,对记录匹配规则推理,PVLDB, 2009年。

w .风扇,j·李,美国马:唐,w . Yu记录匹配之间的交互和数据修复,SIGMOD会议,2011年,页469 - 480。

w .粉丝,Ma, y, y . Wu j . Liu传播与条件函数依赖,PVLDB 1 (1) (2008) 391 - 407。

公共广播Flach Savnik,数据库依赖发现:机器学习的方法,人工智能通信12 (3)(1999)139 - 160。

j . Gardezi L.E. Bertossi Kiringa,匹配具有任意属性值的依赖关系:语义,查询回答和完整性约束,盖子,2011,pp。23-30。

一口油井为el瑞Robertson c . Giannella近似函数依赖措施,信息系统(6)29日(2004)483 - 507。

l . Golab H.J. Karloff f·科恩,a·萨哈d·斯利瓦斯塔瓦顺序依赖关系,PVLDB 2 (1) (2009) 574 - 585。

l . Golab H.J. Karloff f·科恩,d·斯利瓦斯塔瓦b . Yu在生成算法条件函数依赖的舞台造型,PVLDB 1 (1) (2008) 376 - 390。

l . Gravano P.G. Ipeirotis, n . Koudas d·斯利瓦斯塔瓦文本连接在rdbms web数据集成,WWW, 2003年,页90 - 101。

y Huhtala, j . Karkkainen p . Porkka h . Toivonen有效发现使用分区功能和近似的依赖性,ICDE, 1998年,页392 - 401。

y Huhtala, j . Karkkainen p . Porkka h . Toivonen些:一个有效的发现功能和近似算法依赖,计算机

伊卜拉欣-,诉Markl, P.J.哈斯,p . Brown, a . Aboulnaga绳索:自动发现的相关性和柔软的函数依赖,SIGMOD会议,2004年,页647 - 658。

R.S.国王,J.J.勒让德,发现功能和近似函数依赖在关系数据库中,JAMDS 7 (1) (2003) 49-59。

。j . Kivinen h . Mannila近似推理的函数依赖关系,理论计算机科学149 (1)(1995)129 - 149。

n . Koudas a·萨哈d·斯利瓦斯塔瓦文卡塔萨布拉曼尼亚,度量函数依赖,ICDE, 2009年,页1275 - 1278。

美国克莱默,b . Pfahringer高效搜索强大的部分决定,知识发现(KDD), 1996年,页371 - 374。

S.E. Madnick h·朱,通过有效地利用数据的语义,提高数据质量数据和知识工程59 (2)(2006)460 - 475。

h . Mannila K.-J。Raiha,关系数据库的设计,addison - wesley, 1992年。

h . Mannila K.-J。Raiha,算法的推断函数依赖关系、数据与知识工程12 (1)(1994)83 - 99。

a . McCallum k .尼噶的L.H.杉、高效高维数据集的聚类与应用程序引用匹配、知识发现(KDD), 2000年,页169 - 178。

g .纳瓦罗近似串匹配的导游,ACM计算调查33 (1)(2001)31 - 88。

b . Pfahringer s克雷默Compression-based评价部分决定,知识发现(KDD), 1995年,页234 - 239。

t·雅伯发现关联规则,贸易支持对信心、优化智能数据分析9 (4)(2005)381 - 395。

J.C. Schlimmer,有效地诱导决定:一个完整的、系统的搜索算法,使用最佳的修剪,ICML, 1993年,页284 - 290。

美国歌曲,l·陈,发现匹配的依赖性,CIKM, 2009年,页1421 - 1424。

美国歌曲,l . Chen微分依赖性:推理和发现,ACM事务数据库系统36 (4)(2011)。

注:美国歌曲,l . Chen Yu在dataspaces数据依赖关系,ICDE, 2011年,页470 - 481。

美国ul哈桑,s . O 'Riain e .咖喱,利用匹配依赖性引导用户反馈在关联数据的应用程序中,程序theNinth国际研讨会的信息集成,IIWeb”12日ACM,纽约,纽约,美国,2012年,页5:1-5:6。

。r·h . Wang,保护隐私发布与完全函数依赖微数据,数据&知识工程70 (3)(2011)249 - 268。

一口油井为el瑞Robertson Wyss, c . Giannella Fastfds: heuristic-driven,深度优先算法挖掘扩展抽象的函数依赖关系实例,DaWaK, 2001年,页101 - 110。

B。Powmeya,尼基塔·玛丽·阿布莱特V.Mohanapriya S.Balamurugan, ?面向对象的建模方法获得卫生保健数据库系统,?国际研讨会论文集在计算机、通信与信号处理(IC3SP)与IETE学生论坛和数字信息的社会,无线通信,SDIWC, 2011年,pp.2-3

BalamuruganShanmugam、VisalakshiPalaniswami ?修改分区算法微数据发布的隐私保护withFull函数依赖?澳大利亚基础和应用科学杂志》7 (8):pp.316 - 323, 2013年7月

BalamuruganShanmugam VisalakshiPalaniswami, R。Santhya R.S.马纳尔? FunctionallyDependent敏感数据隐私保护策略发布:State-of-the-Art-Survey吗?,澳大利亚基础和应用科学学报,2014年9月8日(15)。

年代。Balamurugan, P。Visalakshi, V.M.普拉巴卡兰,S。Chranyaa, S。Sankaranarayanan领导,”策略解决np难在云计算环境中工作流SchedulingProblems”,澳大利亚基础和应用科学学报,2014年10月8日(15)。

Charanyaa, S。,et. al., , A Survey on Attack Prevention and Handling Strategies in Graph Based Data Anonymization. International Journal of Advanced Research in Computer and Communication Enineering, 2(10): 5722-5728, 2013.

Charanyaa, S。,et. al., Certain Investigations on Approaches forProtecting Graph Privacy in Data Anonymization. International Journal of Advanced Research in Computer and Communication Engineering, 1(8): 5722-5728, 2013.

Charanyaa, S。,et. al., Proposing a Novel Synergized K-Degree L-Diversity T-Closeness Model for Graph Based Data Anonymization. International Journal of Innovative Research in Computer and Communication Engineering, 2(3): 3554-3561, 2014.

Charanyaa, S。,et. al., , Strategies for Knowledge Based Attack Detection in Graphical Data Anonymization. International Journal of Advanced Research in Computer and Communication Engineering, 3(2): 5722-5728, 2014.

Charanyaa, S。,et. al., Term Frequency Based Sequence Generation Algorithm for Graph Based Data Anonymization International Journal of Innovative Research in Computer and Communication Engineering, 2(2): 3033-3040, 2014.

V.M.普拉巴卡兰,教授。Balamurugan, S。Charanyaa”,某些调查策略保护医疗数据在云”,国际创新研究期刊》的研究在计算机和通信工程2卷,10个问题,2014年10月

V.M.普拉巴卡兰,教授。Balamurugan, S。Charanyaa”,调查在远程虚拟机安全终生PHR云”,国际创新研究期刊》的研究在计算机和通信工程2卷,10个问题,2014年10月

V.M.普拉巴卡兰,教授。Balamurugan, S。Charanyaa,“隐私个人医疗数据保存在云”,国际先进研究期刊在科学、工程和技术卷1,问题2,2014年10月

P。安德鲁J。阿尼什·库马尔,R。Santhya,教授。Balamurugan, S。Charanyaa”,调查的进化策略来保护隐私的移动数据对象”国际创新研究期刊》的研究在计算机和通信工程、2(2):3033 - 3040年,2014年。

P。安德鲁J。阿尼什·库马尔,R。Santhya,教授。Balamurugan, S。Charanyaa”,某些调查获得移动数据对象“国际创新研究期刊》的研究在计算机和通信工程、2(2):3033 - 3040年,2014年。

P。安德鲁J。阿尼什·库马尔,R。Santhya,教授。Balamurugan, S。Charanyaa”,调查方法为保护隐私数据对象的”开发国际先进研究期刊在科学、工程和技术卷1,问题2,2014年10月

年代。Jeevitha, R。Santhya,教授。Balamurugan, S。Charanyaa,“隐私个人医疗数据保存在云”国际先进研究期刊在科学、工程和技术卷1,问题2,2014年10月。

K。迪,P。安德鲁,R。Santhya, S。Balamurugan, S。Charanyaa”,调查方法演变为保护敏感数据”,国际先进研究期刊在科学、工程和技术卷1,问题4,Decermber 2014。

K。迪,P。安德鲁,R。Santhya, S。Balamurugan, S。Charanyaa”,调查方法开发数据匿名化”,国际先进研究期刊在科学、工程和技术卷1,问题4,Decermber 2014。

年代。Balamurugan, S。Charanyaa”,社会网络数据安全的原则“圈1 -,德国,ISBN: 978-3-659-61207-7, 2014

年代。Balamurugan, S。Charanyaa,“云计算调度原则”学者的出版社,德国,ISBN: 978-3-639-66950-3, 2014

年代。Balamurugan, S。Charanyaa,“数据库安全原则”学者的新闻,德国,ISBN: 978-3-639-76030-9, 2014