《认知诊断在教育考试中的应用.doc》由会员分享，可在线阅读，更多相关《认知诊断在教育考试中的应用.doc（8页珍藏版）》请在三一文库上搜索。
1、认知诊断在教育考试中的应用 在当今的教育考试当中，考试结果只是分数或者能力等级，而并没有具体到对考生的认知状态作出准确的判断，即考生真正掌握和未掌握的并不能够在结果中体现出来，不能区别分数相同的考生。认知诊断技术通过对学生的知识状态分析，在教育考试中有着重要的意义。 一、引言 Leighton&Gierl（2018）1认为，认知诊断用于测量/评价个体特定的知识结构（know ledge structure）和加工技能（processing skills）。通常把对个体的知识结构或加工技能的诊断被称为认识诊断。 相对于传统的终评估而言，认知诊断的目的不是给出学生的成绩（比如排名），而是通过测试，
2、运用认识诊断技术给出学生的知识状态（即学生掌握了什么，没有掌握什么）2，从而给出相应的补救措施。并给出相同分数的考生区别在哪里，是什么原因导致学生的错误，随着社会的发展，这些问题显得越来越突出。如何利用模式识别技术做到对事物的认识，在不同的行业当中，需要有适合它们的开发模型，针对教育考试领域的认识诊断，有很多开发模型，比如属性层级模型（AHM）；噪声“与”门模型（DINA）。 二、DINA模型简介 DINA的项目反应函数（IRF）是唯一的，直接用于诊断分类，而且是显式的（explicit），DINA模型的项目反应函数（IRF）可以参见文献3 其中Pj（c）表示表示真实知识状态为c的被试i在项目
3、j上 正确反应的概率。其中，被试i在项目j上的期望反应为 ， 真实观察值为Xij。项目j的失误参数为sj，猜测参数为gj，qj=（q1j，q2j，qkj）为项目j所测的属性向量，q1j=1表示项目j包含第i个属性，否则为q1j=0。 sj=P（Xij=0|ij=1）表示被试掌握了该题的所有属性而答错该题的概率。 gj=P（Xij=1|ij=0）表示被试没有完全掌握该题的所有属性而答对该题的概率。 三、DINA模型与认知诊断 为了做考生的认知诊断，前期需要做大量的工作，主要分为两个阶段，第一阶段，诊断流程并如何形成诊断工具，主要包括测验编制，算法与程序编制（使用Matlab工具），如何生成诊断结
4、果报告和针对性补救措施。第二阶段，是使用认知诊断评估工具开展诊断评估。 第一阶段诊断流程及形成诊断工具。 图1认知诊断评估流程图 第二阶段根据属性导级形成诊断试题。 确定诊断知识点所涉及到的属性以及其属性之间的阶层关系，同时根据确定好的认知属性层级关系选择合适的认知诊断模型。确定属性及层级关系主要由学科专家从学科知识及其丰富教学经验角度出发而给出。本文以DINA模型为例，给出诊断评估过程。 属性层级分为四种 图2四种属性层级图形 根据属性层级结构的简化Q阵设计合理试题，以下解释几个名词， 邻接阵（A matrix）根据属性层级结构得到的N*N的矩阵。若第i个属性与第j个属性有直接逻辑关系，则A
5、ij=1，否则为0。其中N为属性个数。 可达阵（R matrix）根据属性层级结构得到的N*N的矩阵。若第i个属性与第j个属性有直接和间接的逻辑关系，则Aij=1，否则为0。其中N为属性个数。 关联矩阵（Q matrix）为所有属性取0和1的排列。如有N个属性，则Q矩阵的列数为2N-1。 简化Q阵（Qr）符合指定属性层级结构的所有不相同项目构成集合的矩阵。 通过Q矩阵中行与行之间的关系比较可以得出属性间的先决关系，从而可以确定仅反映属性间直接先决关系的邻接矩阵（Adjacency Matrix）A矩阵。对于不断增大的正整数n，当（A+I）不再变化时，即可得到可达矩阵（Reachability
6、Matrix）R=（A+I）（其中I是与A同阶的单位阵）。R矩阵不仅反映属性之间直接的先决关系，同时也反映间接的先决关系以及自反关系。 通过如下算法可得到简化Q阵 输入可达阵R，设R为n*n阵。 输出简化Q矩阵Qr。 将R按列分块，R=（r1，r2，rn） m=n+1 for i=1 to n for j=i+1 to m-1 if（ri rj与所获得的向量不相等） thenrm=ri rj；Qr=R，rm；m=m+1 以上符号“ ”对应分量作布尔加 通过以上算法得到的Qr为所求的简化Q矩阵。通过证明可以说明得到的Qr阵为所有符合属性层级的项目集。 根据所得到的简化Q阵设计出合理的试题。 第三
7、阶段根据作答情况给出评价结果。 本文DINA模型参数估计方法采用EM算法。它是为了解决含有缺失数据的概率统计模型中参数估计问题而开发的一种迭代程序。这个迭代程序中每次迭代都含有两步E步和M步。E步是求期望，M步是取极大值。 在条件独立，即同一被试作答反应相互独立情况下，被试i得分量为Xi的条件似然函数为 （公式1） 利用得到的反应概率对被试进行初判，得出每个被试的属性掌握模式t（0），且给定属性掌握向量的先验分布为P（t（0）t=1，2，2k。于是可得边际似然函数为 （公式2） 对边际似然函数求对数，然后分别对sj和gj参数求一阶偏导，并令两个偏导为零，通过解二元一次方程组得到 （公式3） （
8、公式4） E步 计算的后验估计 （公式5） 求期望如下 M步 通过E步的计算得到Ij（0），Ij（1），Rj（0），Rj（1）。将得到的值代入（公式3）（公式4）得到新一轮的 ，j=1，2，m。用最大后验估计MAPE，即求使下式最大化的 （公式6） 如果所得的似然函数与上一轮似然函数变化差小于预先指定值0，则迭代收敛且M步所得到的项目参数即为所求；否则重复E步和M步。具体见如下流程图（本实验中=0.1） 图3DINA模型EM算法流程图 第四步形成诊断报告 诊断报告应使得定量报告和定性报告相结合，对整个学校而言，希望能够知道学生总体的情况，在总体报告当中，应体现总体水平及对测验认知属性的掌握情况
9、，可通过以下两个指标来体现1，属性掌握率（学生总体对某个属性掌握的水平）；2，边际掌握率（学生的属性模式状态分布情况）。对于学生个体而言，希望学生能够知道在测验当中的总体表现，即总体能力水平（定量报告），同时报告学生对测验当中各个认知属性的掌握情况（定性报告），表4是某学校总体测验报告的样本（5种属性，11种知识状态）。 表4某学校总体测验报告的样本（5种属性，11种知识状态） 最后根据诊断报告，给出科学的补救措施。 四、总结 认知诊断的模型有很多，这为知识诊断提供了更多的信息，能够为现代教育考试注入新的活力，本文重点给出了运用DINA模型对认知诊断的过程，在现代教育活动中，学生希望自己在哪些方面比较薄落的，这样可以避免学生进行“题海战术”，而是进行有针对性的练习。教师也可以根据总体的诊断结果，有针对性的对教授学生。而不是无目的性，无轻重性的教授学生，同时为开展因材施教提供根据。在社会上，在方面的专业机构还比较欠缺，在未来教育不断发展的趋势下，认知诊断有着较好的实际价值和发展前景，真正要认真发展认知诊断，还要更多人的努力，需要更多人付出汗水。 第 8 页