提高网页分类通过向量空间模型

prashant。Gawande的话¹,阿施施教授Suryawanshi²

信息技术部门,技术和学院管理Bhilware Rajsthan,印度
助理教授,信息技术部门,技术和学院管理Bhilware Rajsthan,印度

文摘

数据挖掘是一个收集和分析数据的过程,不同的目的。现在一天数据挖掘不仅用于产业,但也要求教育机构。数据挖掘是一种有效的决策工具,降低成本、增加收入等。信息可以变成知识和它可以成为任何一个组织的良好来源在今天的竞争激烈的生存竞争。大多数用户的帮助搜索引擎和浏览器获取数据。然而,我们从这些来源的数据还没有准备好使用的数据类型。是很艰巨的任务这些数据转换成准确的信息。这就像在海洋的巨大钻石搜索。本文试图给出一个新的看传统的数据挖掘过程。Web挖掘体现三个部分即网络结构挖掘,Web内容挖掘、Web使用挖掘。提出一个新的基于文本挖掘的框架的集成信息提取(IE)。 Traditional data mining assumes that the information to be ―mined‖ is already in the form of a relational database. Web mining deals with three main areas: web content mining, web usage mining and web structure mining.

关键字

文本挖掘,提取;分类、遏制;Stopword去除;

介绍

数据挖掘是一个过程,探索和分析,通过自动或半自动的方式,大量的数据以发现有意义的模式和规则。这种先进的目标从一个数据集分析过程是提取信息并将其转换成一个可以理解的结构进行进一步的使用。数据挖掘包括三个基本步骤提取信息,加载和显示信息的信息(输出)。

文本挖掘技术,帮助用户找到有用的信息从大量的数字文本文档在网络或数据库。因此至关重要,一个好的文本挖掘模型应该检索信息,满足用户的需要在一个相对有效的时间框架。

任何基于Web的文本挖掘工作的第一步是收集大量的Web提到的话题。因此,挑战就不仅要找到所有的主题出现,但也过滤掉那些所需的意义。

文本挖掘、信息提取

文本挖掘?用于描述的应用数据挖掘技术从非结构化数据自动发现有用或有趣的知识。

非结构化数据中存在两个主要类别:位图对象和文本对象。位图对象是基于非语言(如图像、音频或视频文件),而文本对象?基于手写或印刷语言?主要包括文本文档。文本挖掘发现未知的信息或概念从几个写文本文件通过自动提取信息资源使用计算机软件(非结构化文本挖掘软件的评价)。

文本挖掘在Web收养技术包括分类、聚类、关联规则和序列分析等。其中,分类是一种数据分析的形式,可用于收集和描述重要数据装入的Web文本挖掘,提取文本提取和特征表达的内容挖掘的基础工作,文本分类是最重要的和基本的采矿方法。

答:提取

在提取过程中,通过检查最大的文本中提取所需信息密度从网页文本内容。通过这一过程,噪音从web页面删除。提取是紧随其后的是预处理的文本内容。文本内容的预处理包括阻止取消和停止词。

b .分类

在分类过程中,所需信息分类的基础上,分类器,属于文档。

全球信息

与术语计算模型不同的是,沙顿的向量空间模型[1]包含了局部和全局信息。

在哪里

tfi =术语(词数)或频率次数一个术语我发生在一个文档中。这占本地信息。

吗?发展类金融机构=文档频率或包含我的文档的数量

吗?D =数量的文件在数据库中。

发展类金融机构/ D比选择一个文档,其中包含一个查询词的概率从文档的集合。这可以被视为一个全球概率在整个集合。因此,日志(D / dfi项是逆文档频率,IDFi和占全球信息。下图演示了局部和全局的频率之间的关系在一个理想的数据库文档集合组成的5 D1、D2、D3、D4和D5。只有三个文档包含术语“汽车”。这一项查询系统给出了IDF日志(5/3)= 0.2218的价值。

我们专业从事应用分形几何识别这个图的自相似特性尺度。注意集合包含文件,文件由段落和段落组成句子。因此,对于一个词我在文档中j我们可以说话的频率(Cf)集合,词的频率(tf),通过频率(Pf)和句子频率(Sf)。

方程2 (b)是隐含在方程1。模型,试图把术语权重与频率值必须考虑相关性的扩展特性。当然,所谓的“关键字密度”比例提升,许多搜索引擎优化(seo)不在这一类。

答:向量空间的例子

了解方程1,我们使用一个简单的例子。为了简化,我们假设处理向量模型的一个基本的术语

1。不考虑发生在文档的条款。

2。使用所有条款,包括非常常见的术语和停止的话。

3所示。不减少根条款条款(阻止)。

4所示。使用原始条款和查询的频率(非规范数据)。

我提出下面的例子,由教授大卫·格罗斯曼和OphirFrieder,来自伊利诺理工大学[2]。这是一个最好的例子在网上词向量的计算。

吗?顺便说一下,格罗斯曼博士和油炸是权威的书的作者信息检索:算法和启发式。最早出版于1997年,一个新的版本现在可以通过Amazon.com [3]。这是一个研究生的必读文献,搜索工程师和搜索引擎营销人员。这本书着重于背后的真实红外系统和搜索算法。

假设我们查询一个红外系统查询“黄金白银卡车”。数据库收集包括三个文件和以下内容(D = 3)

D1:“批黄金火灾受损”

D2:“银抵达一个卡车交付”

D3:“黄金来到一辆卡车装运”

下面的表1中列出了一些检索结果。

表格数据是基于格罗斯曼博士的例子。我添加了最后四列来说明所有项重量计算。让我们分析的原始数据,列的列。

1。列1 - 5:首先,我们构造一个索引文件的条款,并确定每个文档查询的词数tfi和Dj。

2。列6 - 8:第二,我们计算出文档频率为每个文档。自IDFi日志(D / dfi)和D = = 3,这个计算很简单。

3所示。列9 - 12:第三,我们把tf * IDF产品和计算权重。这些列可以被视为一个稀疏矩阵大多数条目为零。

现在我们将重量作为坐标向量空间,有效地将文档和查询表示为向量。找出哪些文档向量接近查询向量,我们资源相似性的分析在第二部分中介绍。

b .相似性分析

首先为每个文档和查询,我们计算向量长度(零条款忽略)。

最后我们在降序排序和等级的文件根据相似度值

1级:医生2 = 0.8246

2:医生3 = 0.3271

等级3:医生1 = 0.0801

c .观察

这个例子说明了一些事实。首先,非常频繁的术语如“a”,“在”,“的”倾向于接受低体重——在这种情况下的价值为零。因此,模型正确预测,很常见的术语,发生在许多文档集合中的相关性的差别。注意,这个推理是基于全球信息;ie。,the IDF term. Precisely, this is why this model is better than the term count model discussed in Part 2. Third, that instead of calculating individual vector lengths and dot products we can save computational time by applying directly the similarity function.