微型机与应用
WEIXINGJI YU YINGYONG
2000　Vol.19　No.5　P.52-54




报业图文数据库光盘检索系统的设计与实现
谢鹤宜梁妙园冯刚何秀玲陈增照
摘 要：对信息检索系统的设计和开发中的问题进行了探讨，有针对性地提出了作者的想法和解决方案。
关键词：计算机检索 检索技术 全文检索 数据压缩 版面还原
　　在信息服务业中，最重要的一部分就是信息资源，谁拥有资源谁就能最终占有信息服务的市场，目前新闻资料已经成为极其重要的信息资源，它的数字化和资源化建设具有巨大的信息价值和战略意义。
1 系统总体设计的指导思想
　　我们在对《长江日报五十年光盘》检索系统进行总体设计时，考虑到该系统不但要满足历史资料数字化保存的基本要求，而且更重要的是使它资源化，成为真正意义上的资源，从而有效地服务于最终的应用。
　　为使该报数据库更符合检索要求，能够深层次地体现和挖掘信息价值，我们在确定报纸信息资源有效开发的基本原则基础上，制定了对报纸资料进行深度开发和标引的编辑方案，坚持“面向读者需求”进行资料编辑和软件功能设计。对于《长江日报》这张非常富有特色的报纸，如何从不同使用者关心的角度去分析和展现该报的资源，这将直接影响到该数据库光盘的利用效果。我们认为，使用者关心《长江日报》就是因为它的报道特色和它的核心内容，本系统检索功能的使用也必将围绕这些特色展开。为此我们设置了许多具有特色的检索手段，例如按照头版头条、九版头条、图片、表格、连载号等进行检索，这些都为读者提供了更直接的检索途径，充分体现出数据库的实用性。
　　长期以来，报纸全文光盘仅仅是将报纸的全文信息收录在光盘中，配以单一的全文检索功能和简单的日期版次查询功能，在具体使用的过程中往往费尽周折却无法真正精确检索到所需的内容，无法真正揭示报纸资源的内在价值。经过我们的实践和分析，在全文检索的基础上，结合分类标引和数据库技术，就能有效地将海量的资料有序地组织在一起，提高检索的命中率。为此我们以常规分类和特色分类来组织所有的文章并配以多个数据库，如分类、专栏、专版、专刊、作者、来源名称、发文地点、体裁等来辅助理解报纸的内容，力争提高数据库的有效性。
2 系统分析与设计
2．1 系统分析
　　我们根据面向对象的分析方法（Object Oriented Analysis，简称OOA）将系统大致划分为检索操作、结果集和原版面3个主要的对象。
　　（1）检索操作对象
　　本对象的功能主要是接收用户的检索条件，然后对系统的信息进行检索，它的属性及方法主要有：检索方式、检索表达式、清空检索表达式、赋值检索表达式、读取检索表达式和检索表达式的连接等。
　　（2）结果集对象
　　本对象的功能主要是提供对检索结果集的浏览、标红、二次检索、重新检索、保存、打印，对检索到的文章进行保存、打印，它的属性及方法主要有：结果集ID号、字段名称、字段类型、数据的值，读取结果集、显示结果集、对结果集进行排序、打印结果集和保存结果集等。
　　（3）原版面对象
　　本对象的功能主要是提供对原版面的整版保存、打印，版面部分内容的保存、打印，对原版面的缩放显示等功能，它的属性及方法主要有：原版面文件名、原版面的位置、读取原版面、显示原版面、跳转到指定的页码和打印原版面等。
2．2 系统设计
　　本系统的设计主要采用了面向对象的设计方法（Object Oriented Design，简称OOD）。
　　（1）系统的结构
　　根据功能及用途的不同，我们将整个检索系统分为全文检索、分类检索、特色检索、其它检索、显示打印和系统管理等部分，有关检索系统的基本结构如图1所示。根据存储和检索信息的需要，我们在存储信息的图文数据库中设置了如下的字段：日期、版次、版面、标题、来源、发文地点、作者、分类号、类目、正文、专栏、体裁、期号、头条、图片、表格、盘号、专刊、连载号、报道对象等。

图1 《长江日报五十年光盘》检索系统基本结构图

图2 《长江日报五十年光盘》检索系统概要流程图
　　（2）系统的处理流程
　　本检索系统的处理流程可以用图2表示。图2中的“检索结果输出”表示：用户经过选取各种检索途径和输入各种检索条件并提交之后，检索出符合条件的文章并进入检索结果输出界面。而“原版报纸浏览等操作”表示：用户可以按照各种方式快速方便地浏览报纸的原始版面，同时还可以对选中的版面或者某篇文章进行原版打印输出。
　　（3）系统的接口设计
　　为了方便用户查询，本检索系统向用户提供了友好的界面，采用了标准的Web浏览器（Microsoft Internet Explorer）作为浏览检索结果的操作界面，所有的操作都在同一个窗口中通过超文本链接完成，用户可以方便地在信息概览和信息细览之间进行切换 使用非常简单。
3 系统的关键技术
3．1 检索技术
　　检索通常有综合检索、分类检索和全文检索。综合检索、分类检索一般以结构化的文本数据为主要的处理对象，技术关键在于建立相应的分类词表和检索途径；而全文检索是以非结构化的文本数据为主要的处理对象、根据资料内容而不是外在特征值进行查询。全文检索的基本特征是用户可以用资料中任何一个有意义的词或短语进行检索，并且支持位置检索操作。全文检索不需要对资料进行人工标引、加工抽取关键词，而且比关键词检索具有更广泛的检索范围。下面我们主要讨论一下全文检索。
　　（1）全文检索的概念
　　全文检索提供存取全文文本空间。全文是指原始记录，文本中的任何字符和字符串均可作为检索的条件，全文检索是以原始记录中的检索词、字间的特定位置为对象的运算，因此，从某种意义上可以说：全文检索是一种可以不依赖叙词表而直接使用自由词的检索方法。
　　（2）全文检索的关键技术
　　全文检索的首要关键技术是检索机制的选择。在现有的全文检索系统中，采用按词检索技术、倒排索引、Cache技术和查询优化技术等，可以显著提高系统的响应速度和查询的准确性。如同所有的检索软件一样，信息的查全率与查准率永远是一对矛盾的统一体。按词检索技术在提高检索准确性的同时，也牺牲部分查全率，只是这种损失相对于带来的优点而言，是值得的。在这一点上，以按字检索技术实现的中文全文检索系统，在系统检索的全面性方面则具有一定的优势。因此，对于查全率与查准率的考虑应该是相对的，要根据信息服务系统的性质、面向的对象以及信息的特点进行综合考虑。就目前全文检索市场而言，按词检索技术占有较大的优势。
　　全文检索的另一个关键技术是，在保证系统能向用户提供尽可能多的查询手段的同时，数据库中的最大文献吞吐量以及数据库文件在计算机硬盘（或者光盘等存储介质）中占用的存储空间的比例，也就是通常所讲的数据库索引的空间膨胀问题。理想的情况是在保证系统的功能和性能不受影响的前提下，使系统文件在磁盘上占用的空间越少越好。但是这二者也是相互矛盾的，选择时只能根据信息服务系统的具体要求来取舍。
　　（3）全文检索的数据模型
　　全文检索的关键是文档的索引，即如何将源文档中所有基本元素的信息以适当的形式记录到索引库中。在中文文档中，“基本元素”可以是单个汉字，也可以是词或词组。根据索引库中索引元素的不同，可以将全文检索分为基于字表的全文检索和基于词表的全文检索。
　　①字表法
　　字表法是对每个单字出现的位置进行索引，并依据单字的位置信息进行检索的文本检索方法。字表法索引库的主要部分是每个字的字表信息。
　　②）词表法
　　与字表法相似，词表法是以能够表达一定意义的词为基本检索单位，并根据词的出现位置进行索引和检索的文本检索方法。建立索引时，首先需要对源文档进行词条的切分，然后对切分后的文档词条进行统计，记录每一个出现的词条及其出现的位置。
　　③字表法与词表法的比较
　　字表法和词表法各有优缺点，有各自适用的场合和处理的对象。字表法是以单字为基础进行检索的方法，其缺点是生成的索引库庞大（索引文件的长度往往大于源文档的长度，需要对索引库进行压缩处理），检索速度低，错检率高。例如检索“华人”一词时，往往会检索出类似“中华人民共和国”这样的错误结果。其优点是适应性强、应用范围广、索引生成简单，比较适用于对内容复杂、新词汇和特殊词汇多的文档的检索。
　　词表法是以词为基本元素进行索引与检索的，它需要对被索引文档进行词条切分，索引的建立较复杂，漏检率较高，且不能进行单字和任意字符串的检索；其优点是对于大规模应用，索引库规模小，检索的处理速度快，同义、反义等概念检索的实现较为简单，比较适用于特定领域中或内容相对固定的文档的全文检索。在本系统中我们采取以词表法为主，字表法为辅的策略。
3．2 数据压缩技术
　　目前《长江日报》50年共计有8万个版面，文字量约5亿汉字。如果只考虑纯文本数据，则所需占用的空间量大约为950兆，即占用一张半的光盘容量，如果再加上原版面图像，那么数据量将会变得不可思议！假设将原版面保存为200dpi（点／英寸）的黑白2值的TIF图像（没有压缩），则一个3000×4000（单位为象素）的版面所占的空间大约为1．4兆，8万个版面则为112000兆，即需要占用170多张650兆容量的光盘。占用这么大空间的系统是不实用的，所以我们必须采用一定的数据压缩技术来减少数据所占的空间。
　　（1）JPEG
　　对于需要保存的彩色版面，我们在对几种常见的图像格式进行了比较之后，确定JPEG图像格式的压缩性能最好、压缩后的还原效果最佳，所以处理彩版时我们采用了JPEG的图像压缩方法。
　　（2）JBIG
　　JBIG（Joint Bi－level Image experts Group）即2值图像专家组，我们这里是指2值图像压缩标准。JBIG同JPEG一样，一般也包括还原（解压缩）的方法，但它和静态图像压缩不同之处是：2值图像压缩标准所采用的是无失真压缩，即压缩后的2值图像可以毫无损失地还原出来。
　　整个JBIG的运作过程是：首先传送图像中较低分辨率的部分，然后再根据主客观需要传送额外的图像压缩部分，也就是说首先传送一幅比较粗糙的概略性的图像，然后随传送数据的不断到来逐步提高图像质量。
　　JBIG的编码方法是采用适应性算术编码（Adaptive Arithmetic Coding），因此能达到适应性编码的效果。另外，JBIG也考虑了半色调（Halftone）图像的压缩编码方法。JBIG的基本系统由6个功能模块构成：①图像缩小功能PRES（Progressive Reduction），它的功能是将输入图像变为分层图像；②典型预测TP（Typical Prediction），它是与缩小方法无关的预测方法；③决策性预测DP（Deterministic Prediction），它是根据图像缩小后的规律性进行预测；④模型模板MT（Model Template）；⑤适应性模板AT（Adaptive Template）；⑥适应性算术编码（Adaptive Arithmetic Encoding）。这个基本系统的结构如图3所示。

图3 JBIG基本系统结构图
3．3 版面还原技术
　　对于报纸的内容，按报社要求，不仅能够向读者提供报纸的纯文本显示，而且还能够向读者提供原始的版面显示，即版面还原的问题。
　　对于版面还原，我们主要考虑了二种处理方案：一种是通过扫描仪将原版扫描成图像文件用于显示；另一种是利用OCR识别进行报纸全息录入，当版面还原的时候再进行动态的组版。二种方法比较起来各有利弊：第一种方法的版面还原效果要比第二种的效果差，所需要占用的空间也比第二种大。但是第一种方法是真正意义上的原版还原，因为这种方法保证了原始版面的原汁原味，并且技术已经相当的成熟；虽然第二种方法的还原效果好，但是成本比第一种方法高得多，技术也不够成熟，所以我们最终选择了第一种方法，并且采用的是PDF文件规范。
　　PDF（Protable Document Format）文件规范是Adobe公司在其PostScript文件规范基础上创建的1种主要应用于电子出版的文件规范系统，它所基于的图像模型是用PostScript语言来描述的，因此，其描述的文本和图形都是与设备和分辨率无关的。通过我们的实践，采用PDF文件格式用于版面还原取得了令人满意的效果。
　　本文主要是结合《长江日报五十年光盘》检索系统，讨论了信息检索系统的分析和实现，对于其中涉及到的一些关键技术进行了有益的探讨。
谢鹤宜（武汉华中师范大学多媒体技术研究所430079）
梁妙园（武汉华中师范大学多媒体技术研究所430079）
冯刚（武汉华中师范大学多媒体技术研究所430079）
何秀玲（武汉华中师范大学多媒体技术研究所430079）
陈增照（武汉华中师范大学多媒体技术研究所430079）
参考文献
［1］高文．多媒体数据压缩技术．北京：电子工业出版社，1994
［2］邹涛．检索模型．计算机世界报，1999年第14期
［3］邵维忠、杨芙清．面向对象的系统分析．清华大学出版社、广西科学技术出版社，1998
收稿日期：1999－12－11
