网页数据处理中的词法分析与切分歧义

其主要功能是过滤文件系统信息，为文件系统的表达提供一种满意的索引输出。其基本目的是为了获取最优的索引记录，使用户能很容易地检索到所需信息。

1.格式过滤

网页数据处理能够过滤不同格式的文档。这使得搜索引擎不仅能够检索文字，而且能够检索原始格式文件的所有信息。

2.语词切分

语词是信息表达的最小单位，而汉语不同于西方语言，其句子的语词间没有分隔符，因此需要进行语词切分。常用的语词切分方法有按词典进行最大词组匹配、逆向最大词组匹配、最佳匹配法、联想—回溯法、全自动词典切词等。近年来，又出现了基于神经元网络的和专家系统的分词方法及基于统计和频度分析的分词方法。

3.词法分析

汉语语词切分中存在切分歧义，如句子“网球拍卖完了”，可以切分为“网球／拍卖完了”，也可以切分为“网球拍/卖完了”。因此需要利用各种上下文知识解决语词切分歧义。此外，还需要对语词进行词法分析，识别出各个语词的词干，以便根据词干建立数据索引。(www.xing528.com)

4.词性标注和短语识别

在切分的基础上，利用基于规则和统计的方法进行词性标注。在此基础上，还要利用各种语法规则，识别出重要的短语结构。

5.自动标引

从网页文档中提取出一组能最大程度上概括其内容特征、可作为用户检索入口的关键性数据。用该组数据对文件进行标引，使用户可以通过输入关键数据检索到该文文件的简要数据，如标题、摘要、时间、作者和URL等，进一步单击可查询到该文档。

6.自动分类

建立并维护一套完整的分类目录体系，根据文件的信息特征，计算出与其相关程度最大的一个或多个分类，将文档划归到这些分类中去，使用户可以通过浏览分类体系直接查询到该文档。