主观题自动评分系统的设计与实现:丽升阅卷如何修改评分

　　摘要：本文系统地阐述了如何构建一个主观题自动评分系统。该系统主要针对《计算机基础》课程中的名词解释和简答题来进行计算机阅卷。本文所构建的自动评分系统主要采用自然语言理解，并依据《知网》知识库来作为自动评分的依据。
　　关键词：计算机阅卷 主观题试题 自动评分
　　中图分类号：TP301.6 文献标识码：A 文章编号：1007-9416(2012)01-0113-02
　　
　　1、引言
　　近年来随着计算机技术的不断发展，计算机考试渐渐成为新兴的考试方式。计算机考试中的一个很重要过程是试卷考试后的评分工作，例如现在广泛使用的考试答题卡，就是利用计算机和读卡器来完成大批量、重复的评分和成绩登记工作。把计算机自动评卷技术应用到考试中去，使得阅卷工作有可能只需计算机自动完成，于是考试自动阅卷技术成为研究的重点。计算机阅卷的效率高、速度快、准确率高、不会产生疲劳，特别适用于大规模、大批量考试试题的自动阅卷。自动阅卷评分和自动试卷分析可以将教师从繁重的阅卷工作中解脱出来，提高了教师的工作效率，可以真正实现无纸化考试。
　　2、系统需求分析
　　考试中主观题的自动评分功能涉及到模式识别、人工智能以及自然语言理解等方面相关的理论和知识，计算机还需解决一些技术上的问题。本文所建立的主观题自动评分系统的主要功能是通过所建立好的试题库及答案库对用户所提交的试卷进行自动评分。这里的试题库主要是指《计算机基础》课程中的名词解释和简答题。系统的主要模块包括知网、自动评卷和查询。
　　(1)知网信息获取模块的主要功能是从《知网》知识库中获取适合本系统使用的词语信息库和用于计算语义相似度的义原库。
　　(2)自动评卷模块中包括分句分词子模块、词语语义相似度计算子模块、句子语义相似度计算子模块和评分模块。
　　(3)评分模块的主要功能是对评分结果进行查询，并以友好的形式展示给用户。
　　主观题自动评分系统还应具有界面清晰、结构良好、使用简便、系统维护性强等特点。
　　3、系统概要设计
　　3.1 系统的总体框架
　　系统的总体框架图如图1所示。
　　各个模块的主要功能如下：
　　3.1.1 知网信息获取模块
　　知网信息获取模块的主要功能是从《知网》知识库中获取适合本系统使用的词语信息库和用于计算语义相似度的义原库。
　　3.1.2 建立题库及答案库模块
　　将用户提交的试题和答案组织和题库和答案库的形式，用作对所提交的试卷进行自动评分的标准库。
　　3.1.3 自动评分模块
　　自动评分模块是本系统的核心模块。负责对用户所提交的主观试题进行主动评分。该模块首先对试题答案进行分句分词操作，将其分解为计算机所能处理和识别的中文单词。然后计算这些中文单词和标准答案中单词的语义相似度，再根据这些单词相似度计算各个句子和标准答案的语义相似度。最终根据所有句子的语义相似度计算整个答案的准确度，并根据该结果进行评分。
　　3.1.4 查询模块
　　该模块的主要功能是对评分结果进行查询，并以友好的形式展示给用户。
　　3.2 知网信息获取
　　3.2.1 知识库提取
　　要建立用于语义相似度计算所需要的《知网》数据库，首先创建一个空的词库结构，用于存放提取出的《知网》数据库。然后建立一个结构体，用于暂存每一条概念的词条信息，从中提取出NO（词条号信息），W_C（汉语词性信息），以及DEF（定义信息）项。接着逐条导出《知网》词目并提取其中有用信息，直到所有词条相应信息全部被提取。最终生成基于《知网》知识库的数据库，作为下一步义原数据库建立的输入。
　　3.2.2 义原层次树和义原数据库的建立
　　首先建立一个用于暂时存放实体条目的entity层级表结构体，存放实体的重要属性。然后创建基于义原的实体层次树，用于存放各个义原的结构，表示概念与属性之间的关系。接着将创建的义原实体层次树导出到数据库中，将义原实体层次树中每个节点存入数据库的字段中，最终生成义原数据库。
　　3.3 自动评卷模块
　　3.3.1 分句分词模块
　　为了减少试题答案中无效的回车、换行等符号，首先去除答案前面和后面的回车换行，然后对答案进行分句处理并去除答案中间的无用空行。最后在把分好的句子片段存储在相应的子句存放数组中。分词本文采用的是最大词长匹配算法。最大匹配算法需要一个已知的词汇数据库作为支撑，本文以知网数据库作为该算法的词库。
　　3.3.2 词语语义相似度计算模块
　　(1)词语相似度计算：从词语Wi和词语Wj间义项的任意组合计算相似度值中取出最大义项相似度作为词语Wi和词语Wj的相似度。
　　(2)义项相似度计算：《知网》中义项间相似度的计算，均要基于义项的概念表达式(DEF)进行计算。对DEF中的四元组对应部分的相似度加权求和得到两个义项Ci,Cj的相似度Sim(Ci,Cj)。但是运用该模型计算的整体相似度对某些主要元组的相似度的计算结果考虑不周，可能会出现主要元组相似度非常小，但因为其他元组相似度较大而使整个相似度变得很大，从而导致相似度计算不准确，不合理。因此本文对公式做出一定的修改，提出如下公式：
　　Sim（Ci，Cj）=( Simt)
　　其中Simt表示Simt的阶乘，这样可以减少次要义原相似度对结果的影响提高主要义原相似度对义项相似度结果的影响。
　　(3)义原相似度计算：
　　Sim（Mi，Mj）=
　　该式中，L为词语在义原层次树中的距离dis(Mi，Mj)，H为层次树的高度，两个义原节点在同一类型树的层数差值。引入节点的层数差和节点的层数因素之后增加了相似度计算结果的准确度和合理性，基本上考虑到了影响义原相似度结果的主要因素。
　　3.3.3 句子语义相似度计算模块
　　为了匹配标准答案与考生答案词语，必须获取至多一个最佳匹配词语，本系统采用改进的匈牙利算法完成句子语义相似度的计算，原有的算法可以求出句子相似度计算的最小值，对于本系统没有实际的意义。本文对匈牙利算法进行改进。
　　不平衡问题的解决。当出现任务多人少，或者任务少人多的情况时，通过在词语相似度矩阵中加入其元素为0的新的一行或者一列，从而矩阵平衡化，接着利用匈牙利算法获得标准答案与考生答案词语最优匹配。匈牙利算法可以求出短语相似度计算的最小值，而本系统中需要求求得相似度最大值，可对该算法进行变化求解相似度极大值。下面对相似度极大值求解。
　　令
　　其中M的值为，保证其足够大，使得bij始终为非负数。则符合匈牙利算法条件。
　　经变化后解：最小值。
　　又因为：bij Xij=(M－Cij )Xij
　　=M Xij－Cij Xij
　　=nM－Cij Xij
　　=nM－Z
　　其中nM为常量，当Zk最小时，Z为最大值。从而将匈牙利算法转换成为本系统中利用的算法。
　　3.3.4 评分模块
　　对于第i个标准答案句子来说评分方法如公式所示：
　　Scorei=
　　其中Score为该句的实际分数，Similar为该句的最大相似度，Num为该句包含词语的个数，SScore为该句自动或手动分配的分数。
　　考生一道题的得分即为所有句子的考生得分相加求得，如下公式所示：
　　Total=
　　其中Total为该题考生的具体得分。
　　4、系统实现
　　4.1 系统功能模块的实现
　　系统主要分为知网信息获取模块、试题库及答案库的建立模块、自动评卷模块和查询模块。各个模块的具体实现如下。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文 　　4.1.1 知网信息获取模块的实现
　　本系统中初始《知网》信息是以文本文件的格式导出的，文件中包含多个概念的词条信息。本文首先将这些信息转换为数据库文件，然后逐条提取其中有用的信息，最终生成基于《知网》信息库的数据库。在该模块中需指定《知网》导出的文本文件路径和《知网》数据库文件的路径。
　　4.1.2 试题库及答案库的建立模块的实现
　　试题库及答案库建立模块主要的作用是供教师录入试题及试题答案使用。教师需要录入的信息包括试题的题干、试题的类型、试题的分数、试题的参考答案以及评分标准等试题相关信息。教师首先使用试卷信息录入模块填写试卷的相关信息。
　　设置完试卷信息之后教师可以利用该模块继续进行试卷具体内容的提交，以确保试卷的正确生成。在该模块中，教师还可以通过查看试卷及答案功能对试卷及标准答案进行查看及修改。除此之外还包括评分标准录入功能的实现。该功能主要用于评分过程中答案语句权重的确定。
　　4.1.3 自动评分模块的实现
　　自动评分模块主要根据学生所提交的答案进行。系统根据指定试卷编号或者调用随机抽题模块，获取学生的答案进行自动评分。并在评分完成之后将成绩等相关信息显示在评分界面上。当评分模块进行工作时，会依次进行中文分句处理、中文分词处理、词语语义相似度计算和句子语义相似度计算等步骤，最终根据评分标准获得该题的得分。
　　4.2 实验结果
　　为了验证本文所提出的主观题自动评系统的有效性，进行了实验。实验选择了《计算机基础》课程考试的50份试卷的6道题目共300个答案进行了自动评分。这50份试卷学生分别进行了手写和机打两种答题方式。并在评分完成之后将自动评分的结果和人工阅卷的结果进行了比较，得出如下结论。
　　对答案分数的手动评卷和自动评分得到结果进行统计，则获取误差统计表，其中ф表示手动评卷和自动评分的分数差值绝对值。从结果可以得知：
　　手动评卷和自动评分的分数误差大于5分的共1例，误差在4分至5分之间的共4例，误差在1分至3分之间的共19例，手动评卷和自动评分的分数相等的共276例。
　　通过实验结果和分析可知，本系统的评分结果基本上可以接受。本文所选取的样本空间还不够全面，不够规范，所以测出的系统精度比较好。在真实情况下可能准确率可能会有所降低。如果对知网词库进行完善并对匈牙利算法进行进一步改进的话，应该会得到更好的评分准确率。
　　5、结语
　　随着计算机技术的飞速发展，计算机考试逐渐成为新的考试方式。计算机考试具有快捷、方便、高效、安全等许多优点。计算机考试的一个重要过程就是自动评分。由于受到自然语言理解、模式识别等理论与技术发展的限制，目前，针对主观题型诸如名词解释、简答题以及论述题等的自动评分技术发展相对缓慢。缺乏比较通用的自动评分系统。因此，本文主要研究并实现了一个基于《知网》知识库的针对《计算机基础》课程中主观题的自动评分系统。
　　参考文献
　　[1]卢星旭.考试系统的主观题自动阅卷算法设计[J].硅谷,2011(16).
　　[2]田甜,张振国.主观题自动阅卷技术研究[J].计算机工程与设计,2010(16).
　　[3]肖明,王兴兰.主观题自动阅卷研究进展[J].中国考试,2010(7).
　　[4]查卫亮.主观题自动评分算法分析与实现[J].软件导刊,2011(9).
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文