摘要：随着认知诊断理论及计算机自适应测验的发展，具有认知诊断功能的计算机自适应测验已经受到越来越多的关注。认知诊断理论中比较重要的选题方法有Kullback-Leibler信息函数法和Shannon熵方法，本文的重点在于比较这两种方法对于考生的属性掌握模式判断的优劣，以便选择更好的选题方法对今后的工作进行指导。
论文关键词：认知诊断,计算机自适应测验,选题方法,KL信息量,Shannon熵
以往的传统测验只能估计出考生的单维的潜在能力值，但是无法更深入揭示能力所表示的具体含义。认知诊断（Cognitive Diagnosis）为考生提供更加直观的教育评价信息、知识点的掌握不足以及后续的知识补救信息。认知诊断测验比传统测验更加强调对于数学推理研究的问题，也更加关注于对于考生的知识结构和加工过程。认知诊断测验的重点是对每个考生关于每个属性的掌握情况进行评估并反馈。
现在已被证明的认知诊断模型共有60多种，本文主要使用的是DINA模型（Deterministic Inputs, Noisy “And” Gate Model），DINA模型的项目反应函数如下：
其中， 代表第j题的猜测参数， 代表第j题的失误参数， 代表被试i的知识状态，而 代表第i个被试在第j个项目上的理想反应模式。
二、计算机自适应测验
计算机自适应测验（Computerized Adaptive Testing，CAT），是借助计算机为媒介，按考生各自不同的情况，从题库中选出最适合学生作答的题目，对考生进行测验，并自动对考生的测验结果进行评分的一种测验形式。
计算机自适应测试主要有以下几个部分组成：1）题库，2）初始值，3）评分方式，4）选题策略，5）终止规则。其中选题策略是CAT的核心。因为选用不同的选题方法，对自适应测验的效率及精确度有着及其重要的影响。
三、具有认知诊断功能的计算机自适应测验的选题策略
认知诊断功能的自适应测验的选题方法是通过对二维的知识状态的判断，选择出最适合被试作答的题目，提高测验的效率及估计的精度。
1 Kullback-Lerbler信息函数法
Kullback-Lerbler信息函数法主要用于度量两个分布的差异，然而在认知诊断中，被试的知识状态变量不是一个连续的变量，而是离散的向量。Xueli Xu（2003）将K-L信息量作了修改，将原有公式转化成了以下形式：
其中αc指的是所有可能的的α值，M是项目所考察的属性个数。在具有认知诊断功能的自适应测验中，就是要选用K-L信息量最大的试题作为下一个试题给被试作答。
2 Shannon熵选题法
Shannon熵（Shannon Entropy，SHE）是香农在1948年提出的，用于解决对信息的量化度量问题。熵的值越大，说明随机数的不确定性越大。对于一个分布列，假设有k 个分布函数，则该分布列的Shannon熵的计算公式为：
其中约定 ，在具有认知诊断的计算机自适应测验的选题方法中，对于被试已作答t个项目后， 第t+1题的最小Shannon熵的期望值为：
 在具有认知诊断功能的自适应测验中，就是要选用Shannon熵最小的试题作为下一个试题给被试作答。
四、试验设计
本研究采用蒙特卡洛模拟。共使用无结构的6个属性，共有320名已知属性掌握模式的被试，假设被试的属性掌握个数是呈现正态分布，而在掌握同等数量属性的考生中各属性掌握模式是平均的。题库中的题目根据每种不同的属性掌握模式各分配15个题目，题库中试题的S参数和G参数在0.05到0.25间均匀生成。在确定考生属性掌握模式和题库的Q矩阵后，模拟作答生成理想反应模式。当得到理想反应模式后，使用EM算法获得试题的三个项目参数和被试的能力参数。
研究中分别使用不同的选题策略，来分别比较K-L选题法和SHE选题算法在计算机模拟测验时的效率。首先使用K-L选题法进行选题，采用DINA模型进行被试的评分，在被试作答后使用同样也是期望后验估计法（Expect A Posteriori Estimate，EAP）对被试的属性掌握模式进行估计，再选题给被试作答，直到作答30个试题后停止测验；然后使用SHE选题方法重复试验。
五、试验结果与讨论
以下表格是使用SHE方法与K-L方法对被试知识状态的模式判准率：
K-L
SHE
模式判准率
0.724
0.9875
6 个属性的边际属性判准率：
属性数
1
2
3
4
5
6
KL
0.974
0.899
0.95
0.946
0.945
0.987
SHE
1
0.99062
1
1
0.99687
0.99687
从下图可以观察使用两种选题方法时被试知识状态的模式判准率在30题中的变化过程：
由此可见，无论是从模式判准率上还是边际属性判准率上而言，Shannon熵选题法都是优于Kullback-Lerbler信息函数法。这样的结论对今后的研究都有着指导作用。
参考文献：
[1]Henson,R.&DouglasJ.(2005).Test construction for cognitive diagnosis. Applied Psychological Measurement ,29, 262-277.
[2]Jimmy de la Torre. DINA Model and Parameter Estimation: A Didactic[J]. Journal of Educational and Behavioral Statistics,2009,34:115-130
[3]林海菁,丁树良(2007),具有认知诊断功能的计算化自适应测验的研究与实现.心理学报(4).pp747-753
[4]Jianbin Fu.Yanmei Li. Cognitively Diagnostic Psychometric Models: An Integrative Review. Educational Testing Service 2007
|
