微型机与应用
WEIXINGJI YU YINGYONG
2000　Vol.19　No.5　P.42-45,46




网上信息自动提取与筛选系统
段米毅钱晓军　秦长贵
摘 要：运用面向对象的建模技术OOMT分析了因特网信息自动提取与筛选系统的组成和功能，并介绍了该系统的实现原理、使用要求和运行环境，最后对该系统涉及的一些技术与国外情况进行了比较。
关键词：因特网 信息提取 信息筛选 对象建模
1 问题的提出
　　因特网是世界上范围最广、规模最大、用户最多的网络。它拥有浩如烟海、纷繁复杂的各种信息，其中包含大量有价值的情报资源。
　　以往我们使用因特网搜集信息的方法主要是：在需要时上网查找，费时费力；对于部分历史信息（如某个时间以前的报纸内容），有时很难找到；再则，当不同部门采集相同信息资源时，需要重复上网搜索，造成了资源存取的浪费。
　　鉴于上述弊端，为提高因特网应用水平，我们设计了1个因特网信息自动提取与筛选系统。该系统可根据预定频道，定期自动上网搜索和提取信息，然后进行筛选和分类，去粗取精、去伪存真，最后将提取出的有价值的信息存入数据库中，并在因特网上进行发布，实现网上信息搜索、整理、存储、发布、检索的一条龙服务。这样，有关用户就不必再到网上进行漫无边际的搜索了，只需对相关数据库服务器进行检索，即可获得所需资料和信息。这样可以大大提高网上信息采集的速度，省时省力，节约上网所需资源，同时保证了信息来源的广泛性和准确性。
　　该系统提供了自动从网上获取信息的手段，能快速地搜索信息，能从浩如烟海的因特网信息资源中滤除垃圾，并将有用信息分类存储，能进行界面友好、使用方便的超文本信息检索和交换。因此，有效地提高了网上信息资源的利用和共享程度，提高了信息处理的效率。
2 系统组成和功能
　　我们用面向对象的建模技术OOMT（Object Oriented Modeling Technique）来分析因特网信息自动提取与筛选系统的功能和组成，如图1所示。

图1 因特网信息自动提取与筛选系统组成和功能框图
　　因特网信息自动提取与筛选系统（WJGL）由6个功能分系统组成。它们是：信息提取（XXWJ）、数据格式转换（GSZH）、信息筛选分类（GLFL）、信息装库（XXZK）、信息网上发布（WSFB）和系统功能设置（GNSZ）。该系统模型用公式表达为：
　　WLGL－Model＝（O，R），其中，
　　O代表网上信息自动提取与筛选系统涵盖的一组对象类，用公式表达为：
　　O＝WLGL（XXWJ，GSZH，GLFL，XXZK，WSFB，GNSZ）
　　R表示关系，即对象类之间的语义联系，公式表达为：
　　R＝｛ ＜WLGL＞由＜XXWJ，GSZH，GLFL，XXZK，WSFB，GNSZ ＞组成｝
　　图1中，因特网信息自动提取与筛选系统的功能可以用公式表达为：
FWLGL＝｛XTSZ，XXWJ，XXGL，XXFB，SJKGL｝
　　这些功能是：
　　（1）系统设置（XTSZ）。执行对系统设置的增加、删除和修改等任务，如信息频道的增加和删除、信息频道内容的修改、频道存储文件的格式设置和修改、分类词库的维护等。
　　（2）信息提取（XXWJ）。周期性地提取因特网上信息频道中的信息，该数据作为整个系统的数据来源。
　　（3）信息筛选（XXGL）。对信息提取后获取的数据进行筛选和分类整理，按需要存储到不同的数据库中。
　　（4）信息发布（XXFB）。将获取的信息通过数据库再发布到WWW服务器上，用户通过浏览器可获得所需要的信息。
　　（5）数据库管理（SJKGL）。管理系统设置数据库、分类词库和全文检索数据库的安全性和备份等。
2．1 信息提取分系统（XXWJ）
　　通过手工与自动相结合的方式，在因特网上大范围搜索信息资料，提取固定信息源，发现新的信息源，使信息资料来源更广泛和更具普遍性。
　　该分系统的主要功能可用公式表达为：
FXXWJ＝｛HQXX，BDCL，NMZH｝
　　它们的含义分别是：
　　（1）获取信息（HQXX）：根据设置获取频道中的信息；
　　（2）本地化处理（BDCL）：对获取后的信息进行本地化处理，即将页面中的链接转换为本地链接；
　　（3）内码转换（NMZH）：根据设置对信息的内码进行转换。
2．2 数据格式转换分系统（GSZH）
　　将搜集来的网页内容进行数据格式转换，由HTML格式转换为文本格式，以利于进一步分析、筛选和存储。
　　该分系统的主要功能可用公式表达为：
FGSZH＝｛GSXZ，GSZH｝
　　它们的含义分别是：
　　（1）格式选择（GSXZ）：根据设置将不同频道对应不同的HTML格式；
　　（2）格式转换（GSZH）：根据设置将HTML格式的页面文件转换为文本格式文件，为分类筛选做好准备。
2．3 信息筛选分类分系统（GLFL）
　　将搜集来的情报进行分析筛选，通过汉语分词技术，将信息分割提取，通过关键词比较将与预设主题词密切相关的信息分类入库。
　　该分系统的主要功能可用公式表达为： 
FGLFL＝｛FCCL，FLCL，GLCL｝
　　它们的含义分别是：
　　（1）分词处理（FCCL）：对格式转换后的文本文件进行分词处理；
　　（2）分类处理（FLCL）：按分词结果对文件进行分类处理；
　　（3）筛选处理（GLCL）：按分类结果对文件进行筛选处理。
2．4 信息装库分系统（XXZK）
　　对筛选分类后的文件按分类信息装入全文检索数据库、“当日信息发布数据库”或“过期信息数据库”。
　　该分系统的主要功能可用公式表达为：
FXXZK＝｛ZRQWK，ZRDRK，ZRGQK｝
　　它们的含义分别是：
　　（1）装入全文库（ZRQWK）：对筛选分类后的文件按分类信息装入全文检索数据库；
　　（2）装入当日库（ZRDRK）：对筛选分类后的文件装入“当日信息发布数据库”；
　　（3）装入过期库（ZRGQK）：将“当日信息发布数据库”中非当日内容转入“过期信息数据库”。
2．5 信息网上发布分系统（WSFB）
　　将全文检索数据库和“当日信息发布数据库”中的信息向网上发布，使用户可以通过浏览器进行查阅。
　　该分系统的主要功能可用公式表达为：
FWSFB＝｛FBQWXX，FBDRXX｝
　　它们的含义分别是：
　　（1）发布全文信息（FBQWXX）：发布全文检索数据库中的全文检索信息，提供用户检索查询的接口界面；
　　（2）发布当日信息（FBDRXX）：发布“当日信息发布数据库”中的信息，提供用户每日最新信息。
2．6 系统功能设置分系统（GNSZ）
　　对系统功能进行设置。该分系统的主要功能可用公式表达为：
FXTSZ＝｛ZSXXPD，SZHQNR，SZHQSJ，SZYMGS，SZZKXX，SZFBXX｝
　　它们的含义分别是：
　　（1）增删信息频道（ZSXXPD）：增加、删除信息频道；
　　（2）设置获取内容（SZHQNR）：设置信息频道获取内容；
　　（3）设置获取时间（SZHQSJ）：设置信息频道获取时间；
　　（4）设置页面格式（SZYMGS）：增加、删除、设置信息页面格式；
　　（5）维护分类词库（WHFLCK）：分类词库维护；
　　（6）设置装库信息（SZZKXX）：设置装库信息；
　　（7）设置发布信息（SZFBXX）：设置再发布信息。
3 系统实现原理
　　该系统遵循国际标准，结合我国国情，在功能上力求简单实用，能最有效地对因特网上信息进行提取和筛选处理。系统原理组成框图如图2所示。
　　图2中，以功能设置数据库为中心，通过对其进行设置，实现信息提取、整理、分类、装库和再发布等工作流程的自动化处理，通过编程实现系统的有关分系统功能。

图2 因特网信息自动提取与筛选系统原理组成框图
　　首先信息提取分系统从因特网信息频道抓取频道内容，对其进行分析，找出相关的链接，再由提取引擎进行深层次的提取，直到预定的层次，接着对港台等BIG5码网页进行码制转换。
　　由于从信息提取分系统提取来的内容是以HTML格式存储的，故需在进行下一步操作之前通过数据格式转换分系统将其从HTML格式转换为文本格式。
　　因为从因特网上获取的信息是纷繁复杂、多种多样的，其中既包含大量有价值的情报信息，也含有一部分无用的信息垃圾，故为了提高获取信息的准确性和有效性，必须去粗取精、去伪存真，通过信息筛选分类分系统对其进行筛选和分类处理。具体方法是：
　　（1）对格式转换后的文本文件进行分词，分词后对分词结果去掉重复、加权、排序；
　　（2）根据词库中的分类结构按频度和深度排序获取分类号，然后按分词结果对文件进行分类；
　　（3）按分类结果对文件进行筛选。
　　分类筛选以后的信息需要进一步通过信息装库分系统装入全文检索数据库或关系型数据库，以便于用户检索查询。前者用于查询历史数据，后者供每天发布当日信息以及对作者、日期及来源等字段进行查询。
　　情报信息装入数据库后，由于用户一般是在网上通过浏览器来查询的，故在实际使用中还需要通过信息发布分系统对有关信息进行网上发布。对于全文检索数据库，可通过ISAPI方式在Microsoft NT服务器上的IIS环境下实现；对于“当日信息发布数据库”，可通过ASP方式实现。
4 系统运行环境
　　（1）系统运行在Windows NT 4．0 SP3（中文版）服务器之上；
　　（2）WEB服务器为IIS 3．0；
　　（3）服务器要求连接因特网； 
　　（4）服务器要求运行SQL Server 6．0或以上版本；
　　（5）南辰全文检索数据库；
　　（6）Visual Studio 97开发平台；
　　（7）Windows 98／95操作系统。
5 国内外现状的分析比较
　　从1992年因特网的域名移到中国，国内因特网建设几乎是和国际上的因特网建设同步进行，只是信道技术和设备方面，与发达国家相比有较大差距。近年来，国内搜索引擎技术、分词技术和全文检索技术也已日趋成熟。
　　目前，国际和国内为解决因特网信息爆炸中产生的信息检索问题，普遍采用搜索引擎技术（Search Engine）。其中比较著名的有：Yahoo、Altavista、Lycos、Infoseek、搜狐、Goyoyo等。这些搜索引擎为广大因特网用户提供了一个快速查找信息的途径，因而获得了广泛的支持。
　　目前，搜索引擎主要采用的技术包括：
　　（1）Spider技术。一般搜索引擎都采用Spider或Robot技术进行数据采集，通过派出的Spider在各个网站间访问，遍历各个网站，将各个网站的网页带回搜索引擎。不同的搜索引擎有不同的Spider技术，大致分为二类：一是将网页全部内容带回搜索引擎，主要用于全文检索型的搜索引擎，如Altavista等；二是将网页的头信息带回搜索引擎，主要用于分类型搜索引擎，如Yahoo等。
　　（2）检索数据库技术。将Spider取回的信息存储到检索数据库中，检索数据库提供相应的检索手段供使用。
　　（3）供用户使用的检索界面技术。一般采用WEB、WWW界面，供因特网用户使用。
　　但是，用户在使用中经常发现上述搜索引擎普遍存在一些问题：
　　（1）信息误检问题。比如说，要查找与清华大学有关的网页，在搜索引擎中输入“清华”2个字进行检索，得到的检索结果中既含有与清华大学有关的网页也含有包含“清华”这2个字的其他网页。
　　（2）信息漏检问题。比如说，要查找与中美关系有关的网页，在搜索引擎中输入“中美关系”4个字进行检索，得到的检索结果中有包含“中美关系”这4个字的网页，但是如果某个网页讲述的是美国总统访华而没有“中美关系”这4个字出现，这样的网页就往往检索不到。
　　（3）信息垃圾问题。由于上述搜索引擎都是公用性质的搜索引擎，其Spider搜集的信息往往是包罗万象的，因而键入1个关键词，可能会搜索到方方面面的内容，针对性不够。
　　我们目前研制的系统在一定程度上解决了上述问题。随着中文分词技术的成熟和计算机技术的飞速发展，利用中文分词技术，可以将1个网页的内容切分成词，根据这些词，就可以知道这个网页的主要内容，并可将其进行分类。在实现中文分词时的主要问题是如何高速高效地进行分词，这一点在引入了数学算法后再加上相应的计算机技术就可以解决。目前，我们通过Hash算法已解决了分词中的快速匹配问题。关于如何根据分词结果分析信息并进行分类，则要根据信息主题词表，进行匹配和关联，根据相关性分析，得出相应结论。另外，我们还解决了如何获取网站和网站中的网页，同时做到既不遗漏也不重复的问题。
6 结束语
　　因特网信息自动提取与筛选系统为在因特网上广泛提取有价值的情报信息提供了一种全新的工具，给我们的工作带来极大方便。该系统通过设置大量的信息频道和频道层次，从而在广度和深度上大大提高了信息的获取范围并扩大了情报资料来源；该系统还通过设置定时功能（天、周、月），实现在特定时间自动进行网上信息采集，节省了人力和时间；另外，该系统通过对获取来的信息自动进行分类、转换、存储、入库以及网上发布等，使用户在使用时，不必再到网上直接搜索，而是在相关网络数据库服务器中检索，极大地提高了检索效率和情报获取速度，同时对一些历史信息资料也可以从数据库中查询到。最后，通过该系统可以从因特网获取情报信息，然后在保证因特网与内部网物理隔离的情况下，将其复制到内部网上，使内部网用户也可以使用到因特网上的信息，从而扩大了因特网信息的使用范围，同时又保证了内部信息网络的运行安全。
段米毅（北京图形研究所100029）
钱晓军（北京图形研究所100029）
秦长贵（北京图形研究所100029）
收稿日期：1999－11－10
