计算机应用
COMPUTER APPLICATIONS
1999年 第19卷 第6期 Vol.19 No.6 1999



基于中文题名的计算机辅助标引
陈雷霆　张宁
　　摘　要　本文阐述了基于中文文献题名的计算机辅助标引系统的组成结构，并讨论了其中的一些关键技术问题。文章从系统结构设计方面，对该系统的建表模块、目录模块、分词标引模块、校对模块、选号打印模块和系统管理模块进行了讨论，并着重讨论了分词标引技术。
　　关键词　计算机辅助标引，分词技术，数据库技术，系统结构
COMPUTER AIDED INDEXING SYSTEM BASED
ON TITLE OF CHINESE TEXT
Chen Leiting　Zhang Ning
Computer Science and Engineering College,
University of Electronic Science and Technology, Sichuan.Chendu 610054
　　Abstract　In this paper, we introduced the structure of the computer aided indexing system that based on the title of Chinese text. We also discussed the creating table subsystem, creating catalogue subsystem, word segmenting and indexing subsystem, rectifying subsystem, printing subsystem and system managing subsystem. We emphatically discussed the technology of word segmenting and indexing.
　　Keywords　Computer aided indexing， Word segmentation， Database, System structure
1　引言
　　在我国，对中文文献的主题标引目前还停留在手工阶段，而手工标引有许多难以克服的缺点：工作量大；效率低；一致性差；中文分词较困难。因此，必须发展使用计算机来进行辅助标引。国外早在1956年，就开始了文献自动标引的试验。对中文的计算机辅助标引存在一些难点：首先，分析和提炼文献的主题不仅需要很高的智能，还与标引人的主观立场观点密切相关；其次，在同一主题的用词并不一定相同；另外，由于计算机的语义分析能力还较低，使系统自动分词较为困难。我们为成都飞机工业公司情报室设计的计算机辅助标引系统，充分利用了计算机及数据库技术的特长，不仅提高了标引人员的工作效率，降低了劳动强度，还提高了文献标引的一致性；充分利用主题词的“属”、“分”、“参”、“代”、“用”的关系，提高了文献的查全率和查准率。
2　题名自动分词技术
　　本软件系统采用Powersoft公司的PowerBuilder 6.0，并结合了多种分词技术的优点，在Microsoft公司的Windows NT Server及SQL Server之上建立起了高效、实用的系统。在本系统的实现中，同时采用了几种分词技术：最大匹配法、设立切分标志法、二次扫描法、基于词频统计的方法及首字法。
2．1　最大匹配法
　　其基本思想是：假设所使用主题词表中的最长词条所含汉字个数为N，则取题名当前字符串序数中的N个字作为匹配字段，查找主题词表。若主题词表中有这样的N字词，则匹配成功，匹配字段作为一个词被切分出来；若主题词表中找不到这样的N字词，则匹配失败。匹配字段去掉最后一个汉字，剩下的字符作为新的匹配字段，进行新的匹配，如此进行下去，直到切分成功为止。即完成一轮匹配切分出一个词，然后再按上面的步骤进行下去，直到切分出所有词为止。
2．2　设立切分标志法
　　首先设置许多切分标志，如：标点符号，分词时先找出切分标志，把句子切分成一些较短的字段，然后用最大匹配法进行细分。在中文文献中，存在许多自然切分标志，词不能跨越这些标点而存在。另外存在一些非自然切分标志，如只能充当词首字或词尾字的字、不构成词的单字、复音节单纯词、拟声词等。
2．3　二次扫描法
　　取题名中两个切分标志之间的部分作为样本串，首先从该样本串中取两个汉字作为匹配串，检查主题词表中是否有一个词，它的前两个汉字和该样本串相同，若有的话，则取样本串的前三个汉字作为匹配串，重新在主题词表中找可以匹配串的词，若有则重复下去，直到N个汉字为止（设N为主题词表中最长词所含汉字的个数），则切分出N字词；若没有则完成了一次扫描；把匹配中的最后一个汉字去掉，作为新的匹配串，进行第二次扫描，第二次扫描是用最大匹配法进行。
2．4　基于词频统计的分词方法
　　词频统计的结果揭示了社会的用词规律，因此利用词频统计的结果帮助分词，会产生一定效果。
2．5　首字法
　　首先用切分标志法，把题名切分成一些较短的字段。在查询主题词表前先依次取出特殊词表中的词进行匹配，如果存在，则提出该词；对每一段，从第一个字开始循环处理至最后一字。处理方法为，在主题词首字表中查找该字，如果没找到，则该次循环结束；如果找到，则得到主题词表中以该字为首的所有词序号范围和最大词长，把以该字开头直至该段最后一字的这段字符串截断为最大词长长度。然后，在主题词表中对序号范围内的词依次取出，判断是否存在于该段字符串中，如果存在，则提出为分出的主题词，并在存入数组中时滤掉相同的词。最后，系统还要把所有得到的主题词分别两两组合，再次到主题词表中查询，如果组合成的词也是主题词，那么同样作为新的主题词存入数组中，这一步是为了处理篇名中拆分主题词的情况。
3　系统的设计
3．1　系统的模块结构
　　本系统共分为六个模块，各个模块的实现有其顺序，图1是系统的结构图。

图1　系统的结构
　　系统维护模块是一个单独的模块，无子模块。由于要建立的数据表有“索取号表”，“自由词表”，“主题词表”，“非标准主题词表”和“引申词表”，因此对每个表都有一个建表子模块。图2是建表模块的子模块图。

图2
　　自动分词标引及人工干预模块是本系统最主要的功能模块，实现本系统的核心功能，即自动分词及人工干预分词。它分为两个基本子模块：自动分词标引子模块和人工干预子模块，这两个子模块公用一个界面，但实现的功能不同。图3是自动分词标引及人工干预模块的子模块图。

图3
　　校对模块实际上实现与人工干预子模块一样的功能但最后标引结果存储方式不同。
　　文章目录输入模块和选定主题表分类号及打印模块是单个模块，无子模块。
3．2　系统性能要求
　　. 系统维护模块
　　该模块有一个系统管理界面，提供由系统管理员完成的设定该系统各功能模块使用人员及使用权限的功能。系统管理员还可在此界面中删除使用人员及修改他的使用权限，但在进入该界面前要输入正确的系统管理员密码。另外，在使用人员进入各功能模块前，要输入自己的使用号及密码，系统核对正确后即可以进入，并且可以修改自己设定的密码。
　　. 建表模块　
　　该模块的每个子模块，都有一个输入界面。在输入过程中如果有不合规范的输入，系统会自动检查，并给出提示信息。另外，系统还提供了输入的灵活性，例如在输入主题词时，按要求应当是字顺次序输入，但如果用户没有按照此顺序或是遗漏某主题词，事后发现又想弥补，系统同样允许在任何时候插入该词。但系统要求输入人员按字顺输入主题词，否则性能将受影响。
　　每个模块不仅包括输入功能，而且还包括浏览功能，用户可以在输入过程中随时查看已经输入的数据。在输入自由词模块中，用户可以从输入顺序和字顺顺序两方面来浏览数据，极大地方便了用户对自由词的操作。
　　系统还提供了删除功能，让用户有机会删除输入错误的数据。用户可以通过查询功能了解哪个数据输入错误，然后选择或输入文本框中，并按删除按钮予以删除。删除任何词前，系统都要给确认提示，以防用户误操作。
　　. 文章目录输入模块　
　　文章目录输入模块功能分为两部分，一是手工输入，二是自动生成目录项。系统提供删除功能，用户可以删除整个文章目录。系统还提供修改功能，使用户可以修改输入错误的目录项。这样使用户对文章目录输入的操作更加方便灵活。
　　. 自动分词标引及人工干预模块　
　　自动分词标引部分把所有提取出的词显示在窗口栏目中，并且对应提取出的第一个主题词，把它的上下位词显示出来，同时显示该词的引申词。主题词的上下位词采用树状结构显示，初始只显示第一级下位词，如果要看任一下位词第二级下位词，可用鼠标点中该下位词，则系统打开它的分支，显示下一级下位词。
　　标引人员可以任意查看任何主题词的上下位词，可以查看任何主题词、自由词的引申词。并且对于任一词，标引人员都可以选中，系统则在窗口中把标引人员选中的任何词的上下位词和引申词显示出来。标引要求既准确，又全面，有深度。
　　该模块的自动分词标引要求对每篇文章在1分钟时间内作出响应，对人工干预模块不作要求。
　　. 校对模块　
　　该模块功能实现的精度及灵活性和人工干预模块相似，即校对人员也可以任意删除他认为不合适的主题词或自由词，或者添加合适的主题词或自由词，可以查看屏幕窗口中出现的任何一词的上下位词和引申词。可以通过打开下位词的树状分支来查看当前主题词的各级下位词。该模块不作时间上的要求。
　　. 选定主题表分类号及打印模块　
　　该模块由专门人员用鼠标任意点中最符合本篇文章内容的主题词，系统自动把被选中的主题词的分类号填入主题表分类号中。打印时只须按打印按钮，系统则按卡片格式把当前文章的主题词检索卡片打印出来。
3．3　系统模块设计
　　. 系统维护模块　
　　系统维护模块的功能是设置各个功能模块的使用密码，以维护系统的安全。用户在进入各功能模块时，要输入各自的密码，系统维护模块根据输入的密码验证用户的合法性，并设定该用户的使用权限。
　　. 建表模块
　　建表模块的功能是在数据库中生成“索取号表”，“自由词表”，“主题词表”，“非标准主题词表”和“引申词表”五个表。这是本系统的数据源，它把输入人员输入的原始数据存入数据库中，以供分词及标引时查找。
　　. 文章目录输入模块
　　该模块提供一个输入界面，让输入人员把要进行标引的文章目录项（包括文章篇名）输入数据库中存放。在进行标引时，从数据库中依次提取每篇文章目录，对其篇名进行分词标引。
　　. 自动分词标引及人工干预模块
　　该模块分为自动分词标引子模块和人工干预子模块。自动分词标引子模块是调入要标引的文章目录后自动对文章篇名进行标引，提取篇名中的主题词和自由词，并将非标主题词转化成标准主题词，显示在屏幕上。人工干预子模块在自动标引功能完成之后，由标引人员根据该文章的内容调用相关各词库，把合适的主题词或自由词调入标引结果栏目，或把不合适的词删除以弥补自动标引的不足。
　　. 校对模块
　　校对模块与人工干预子模块的功能大致相同，即校对人员也可以凭自己对文章内容的把握删除不合适的词或添加合适的主题词和自由词。但不再进行自动分词标引，而是直接调出标引人员所做的标引结果，其界面上也大致相同。它们的区别是：校对人员是对标引人员所做的标引结果进行检验，并对其疏漏的地方做一定的修改和补充，标引人员所做的标引结果仅存入临时标引结果表中，而经过校对人员检验后，其标引结果将存入最后标引结果表中。
　　. 选定主题表分类号及打印模块
　　该模块功能分为两部分，一是由专门人员选择该文章的主题表分类号，在主题词中选择一个最能反映该文章内容的主题词，系统把该词的分类号作为文章主题表分类号；二是按照一定格式打印检索卡片，并在卡片上给选出的主题词作出标记以供他人查寻资料。
4　结束语
　　本系统已经通过了预验收，获得了用户和同行专家的好评。在系统的研究开发中，我们解决了许多关键技术问题和结构问题。利用PC机技术和数据库技术实现计算机辅助标引系统，是我们的一次成功的实践，也为计算机辅助标引系统的设计与实现提供了一种切实有效的方法。
作者简介：陈雷霆　硕士，讲师。主要从事计算机多媒体技术与网络技术的研究和软件开发工作。
张宁　硕士研究生。
作者单位：电子科技大学计算机学院　四川.成都(610054)
参考文献
［1］　 王永成,等.中文文献主题的自动标引.情报学报，1998;17(3)
［2］　刘　源,等.信息处理用现代汉语分词规范及自动分词方法.广西:广西科学技术出版社，1994;(6)
收稿日期:1999-03-31
