论文导读:国外许多专家和学者就致力于基于任意文本答案的主观题的计算机自动批改技术的研究,同时也出现了各种不同的自动批改系统。认为可以利用“概念图”来表示标准答案和学生答案,通过概念图之间的相似度计算来实现对主观题的自动批改。采用基于词典的分词方法对学生答案进行处理,这里所用的词典就是领域知识库。以计算机为辅助工具的主观题的自动批改技术一直是计算机辅助教学和大规模在线考试系统的一个关键技术的难点。
关键词:概念图,主观题,自动批改技术,分词
引言
在远程教学系统中,在线考试系统是一个重要组成部分,它涉及了大规模题库的建立与维护、自动组卷、大规模的并发访问、试卷自动批改等多项技术。其中文字类主观题的自动批改由于涉及了人工智能、模式识别以及自然语言理解等方面的理论和知识,需要解决许多技术上的问题,因而成为在线考试系统中的一个技术难点。自20世纪60年代以来, [1] 国外许多专家和学者就致力于基于任意文本答案的主观题的计算机自动批改技术的研究,同时也出现了各种不同的自动批改系统。而基于内容的文字类主观题的自动批改,目前国内外在这方面的研究还不是很多,真正实用的系统就更少了。
文章提出了一种基于课程的主观题自动批改方法。认为可以利用“概念图”来表示标准答案和学生答案,通过概念图之间的相似度计算来实现对主观题的自动批改。
1 概念图
概念图(Concept maps/Concept mapping)的知识表示方法是由JohnF.Sowa于1976年 [2] 首先提出的。1984年,他出版了“Conceptual Structures” [3] 一书,形成了完整的概念结构理论。论文格式。概念图是一种新的知识表示方法,借助它可将一组彼此关联又各具复杂含义的信息转化成易于理解、条理化的结构,以便进一步分析。具有表达能力强,表达直观、可靠性好、易于实现、接近自然语言等特点。
概念图主要用来表示概念的相互关系,包括两种结点:概念结点和关系结点。概念结点表示问题领域中一个概念,关系结点表示概念之间的联系。概念图有两种表示形式,一种是线形形式(Liner Form)表示,通常用于推理运算。另一种是显示形式表示(Display Form),它更优于直观形象。本文应用显示形式的概念图来表达概念之间的关系,有利于概念之间的相互比较和匹配。
2 系统的整体结构
主观题答案在表现形式上具有多样性,所以,目前采用自然语言理解来实现计算机在完全理解基础上的批改还有一定的难度。但是,对于具体的某一课程而言,对学生的考察往往是围绕该课程的基本概念(知识点)以及概念之间关系的论述进行的。学生在回答时所用的语言一般均属课程范围的简单论述,阅卷老师一般对简答题、简述题等主观题的答题要求知识点比较简明、清晰,各知识点之间的相互关系也要比较明确,其在批改时只要出现了考题所考察的知识点,以及各知识点之间的关系合乎考题的要求,则认为回答正确。而且,每门课程的知识点之间的关系相对稳定。论文格式。鉴于这一点,将学习者的答案和标准答案用概念图来表示,通过比较两个概念图来实现计算机对主观题的部分理解评判功能。
本系统主要由三部分组成:领域知识库的建立、学生答案概念图的生成和概念图之间相似度的计算。
图1 整体结构图
2.1 试题、标准答案以及领域知识库的建立
试题、标准答案以及领域知识库都是采用计算机辅助的人工录入方式来建立的。标准答案在数据库中是以概念图的方式存储,命题老师通过友好界面确定试题所涉及的知识点及其相互关系。
领域知识库有三个组成部分:概念表、关系连词表和同义词表。Collins和Quilian于1972年 [6] 提出了表示系统关系的分类方法:包含关系、从属关系、类同关系、组成关系、承接关系、因果关系、优先关系。我们认为在课程内概念之间的关系主要有五种分类:1.从属关系、2.组成关系、3.承接关系、4.因果关系、5.分类关系。在领域知识库中为每种关系建立一个关系连词表。
通过访问领域知识库,计算机获得领域内的专业知识,在此基础上计算标准答案和学生答案之间的相似度,从而实现自动批改的功能。
2.2 学生答案概念图的生成
学生答案的概念图转换是依赖领域知识库来完成的。采用基于词典的分词方法对学生答案进行处理,这里所用的词典就是领域知识库。把课程所涉及的概念和关系连词从学生答案中提取出来,然后利用概念和关系连词生成概念图,同时调用领域知识库中的关系连词表,确定概念之间的关系类型。为了避免把完全相反的答案作完全正确批改,在提取概念和关系连词时,要对否定词作相应的处理。
2.3 概念图相似度的计算
两个概念图的相似度计算主要分成两步:
1.确定两个概念图中相同/相似的部分;
2.计算相似度。
其中相似度的计算由相似结点的计算和结点对应边相似度的计算两部分组成,先计算概念结点的相似度,然后再计算有相似性的概念结点所连接的关系结点的相似度。
设概念图C 1 和C 2 的相似部分有Nc个概念结点,连接成Lc条边。其中标准概念图有L1条边。则概念图C 1 和C 2 的相似度Sc计算如下:
S c = 
其中:Si、Sj表示概念结点的相似度,i、j∈[1, Nc],Sij表示关系结点的相似度。
图二、图三分别代表标准概念图和学生概念图。论文格式。
|
|
|
|
|
 |
|
|
 |
|
图2 标准概念图图3 学生概念图
由图2和图3得出:L1=7,Lc=4,设关系b和d的关联度为:0.5,则:
Sc=(1+1+1+1*0.5)/7=0.5
学生得分=答题分值*Sc。
3 结束语
以计算机为辅助工具的主观题的自动批改技术一直是计算机辅助教学和大规模在线考试系统的一个关键技术的难点。本文利用概念图理论,提出了能实现部分理解的主观题自动批改方法。这种方法在考察学生对知识点的掌握的同时也评判其理解能力。当然,这种概念图匹配方法对于有些考题的匹配度还不是很精确,例如否定词处理就存在问题,因为否定词在汉语中的用法是很复杂的。还需要更深入地研究概念图理论以及自然语言理解领域的相关问题。
参考文献
[1] 高思丹,袁春风. 主观题的计算机自动批改技术研究[J]. 计算机应用研究,2004.2
[2] JohnF.Sowa.Conceptual graphs for a datadase inferfance[J]. IBM J.Res.&Dev.,1976(7).
[3] JohnF.Sowa .Conceptual Structures [M]. UK: Addison-Welsley,1984.
[4]HerlHE,O’NeilHF,Chung W K,etal. Reliability and validity of a computer-basedknowledge mapping system to measure content understanding [J]. Computers inHunman Behavior,1999,15:315-333.
[5] 王永成,许慧敏.OA-1.4版中文自动摘要系统[J]. 高技术通讯,1998.1
[6] LinC.Snyder L.A Portable Implementation of SLMPLE[J]. International Journal ofParallel Programming,1991.20 (5):363-401
|