信息过滤需求的背景-新闻信息处理技术

信息过滤（Information Filtering，IF）就是根据用户的信息需求，在动态的信息流中，搜索用户感兴趣的信息，屏蔽其他无用和不良的信息。

随着Internet的飞速发展及其在全世界范围内的广泛应用，越来越多的信息不断加入网络，网络上的信息正以指数级的速度增长，其内容之丰富，种类之繁多，堪称世界上最大的信息资源。这些资源涉及人类面对和从事的各个领域、行业及社会公用服务信息，成为信息时代全球可共享的最大信息基地。一方面，因特网上面蕴涵的海量信息给人类的生产生活带来了极大的便利，随之而产生的各种信息技术已经渗透到人类社会生活的各个角落，正以前所未有的速度和能力改变着人们的生活和工作方式；另一方面，因特网上面蕴涵的海量信息远远超过了人们的想象，这些信息具有更新速度快、重复率高等特点，面对信息的汪洋大海，人们往往感到束手无策、无所适从，出现所谓的“信息过载”和“信息迷向”的现象。

近些年来，随着我国信息产业的迅速发展，产生了大量的中文信息。人们在方便快捷地享受中文信息服务的同时，也承受着“信息过载”和“信息迷向”之苦。与此同时，作为现代高新技术产物的因特网在为人们提供有用信息的同时也为形形色色的诸如暴力、色情、反动、犯罪、邪教等不良信息提供了藏秽纳垢的便捷场所。如何能够剔除非法的以及与用户需求无关的信息，快速准确地找到用户感兴趣的信息已成为我国信息产业发展的当务之急。

搜索引擎（Search Engine）的出现在一定程度上使因特网“信息过载”和“信息迷向”的问题得到了缓解。搜索引擎是指能够自动对因特网上的信息资源进行分析处理，并通过查询为用户返回匹配资源的典型网络信息检索系统。它一般是因特网上的一个网站，主要任务是在互联网上主动搜索Web服务信息并将其自动索引，索引内容存储于可供查询的大型数据库中，当用户输入关键词查询时，搜索引擎会根据此关键字在索引数据库中查找相关信息，若索引数据库中有相关的信息，则按照信息与关键字相关度的顺序将信息反馈给用户。信息技术发展的现状使得搜索引擎成为人们离不开的获取信息资源的方式，是中国互联网用户经常使用的、仅次于电子邮件服务和浏览新闻服务的第三大网络服务。

搜索引擎经历了从人工搜索引擎到自动搜索引擎的过程，并逐步向智能化、个性化的方向发展。由于它的运行原理、检索机制等自身固有的特点，使得它虽然在一定程度上使“信息过载”和“信息迷向”的问题得到了缓解，但是随着用户对信息利用效率要求的提高，以搜索引擎为主的现有网络信息查询技术受到了诸多挑战，搜索引擎在提供网络信息服务方面的不足主要表现在：

（1）信息检索精度差。现有的搜索引擎几乎都只提供关键词接口，它不符合人们日常用语的习惯，用户不能用它来准确表达自己的信息需求；以关键词来标引文档，割裂了文档的逻辑语义；关键词全文检索的匹配模式单一，会查到大量无关信息，检索精度差。(www.xing528.com)

（2）没有有效地适应信息源变化的机制。因特网上的信息是动态变化的，用户时常关心这些变化。而在搜索引擎中，用户只能通过不断地在网络上查询同样的内容，以获得变化的信息，花费了大量的时间。

（3）不能实现针对不同用户的个性化信息服务。在使用搜索引擎时，只要使用相同的关键词，所得到的结果就相同，它并不考虑用户的背景知识和信息偏好的不同，对所有用户一视同仁。

（4）不具备主动信息服务的功能。搜索引擎所提供的信息服务方式仍未摆脱“拉”（Pull）的方式，而未来的信息服务则是基于特定查询要求的“推”（Push）的方式，即主动的个性化的信息服务。

（5）对不良非法信息传播的控制较为困难。信息过滤技术就是在因特网“信息过载”、“信息迷向”和以搜索引擎为主的现有网络信息查询方式受到挑战的背景下产生的。信息过滤就是根据用户的信息需求，在动态的信息流中，搜索用户感兴趣的信息，屏蔽其他无用和不良的信息。它为因特网信息查询、个性化信息服务和网络安全的维护等问题提供了解决方案。正是在这种背景下，信息过滤技术应运而生，成为信息处理领域中的重要分支。各种过滤理论和相应的过滤系统纷纷涌现，呈现出强劲的发展势头。随着信息过滤技术和中文信息处理技术的迅速发展，面向中文的信息过滤技术——中文信息过滤技术也获得了长足的发展，并获得了广泛的应用。