考试命题的原理与技术2010.ppt

《考试命题的原理与技术2010.ppt》由会员分享，可在线阅读，更多相关《考试命题的原理与技术2010.ppt（69页珍藏版）》请在三一文库上搜索。

1、考试命题的原理与技术,考试命题不仅是技术，更是一门科学,作为考评人员和技能考核专家，本身技能精湛并不等于掌握了考试命题的技术。 考试命题是一项专业性的活动，它有严格的科学理论依据和测量学要求，要有明确的实施方案和操作步骤。,提纲,考试的类型 命题的流程与技术 考试命题的测量学基础,一、考试类型,常模参照考试 标准参照考试,一考试命题的流程与技术,（一）命题流程 编制双向细目表 设计题目并合成整卷 设计指导语，评分标准（具体、明确） 预试与分析 题目修改与合成正式测验 正式测试并分析试卷的测量学指标（如信度、效度）,双向细目表,考查目标（能力水平） 考查内容（知识领域或能力类型）,（1）反映测验

2、内容与测验目标关系的双向细目表,（2）反映测验内容与测验目标、题型之间关系的双向细目表,（3）反映题型与难度、测验内容之间关系的双向细目表,（4）反映题型与难度、测验目标之间关系的双向细目表,难易度： A.较易 B.中等 C.较难 D.难度较大 认知水平： 识记 理解 简单应用 综合运用,（1）知识（识记）：对知识的回忆。 （2）领会（理解）：最低层次的理解。 （3）运用：在特定的情况下，对抽象概念的使用。 （4）分析：将交流的内容分解成几个要素或组成部分，以便分清一个事物中各要素或各部分的层次关系。,（5）综合：将要素或组成部分组合成整体。 （6）评价：为了特定的目的对材料和方法的价值所作出

3、的判断。,制作双向细目表的程序：,（1）列出大纲的细目表 （2）列出各部分内容的权重 （3）列出各种认知能力(学习水平)目标 的权重 （4）确定各考查点的“三个参数” （5）审查各考查点的分配是否合理,试做试卷，注意： （1）有效（2）时间（3）合理 （4）简明（5）准确（6）区分 （7）独立（8）针对性（9）答案的科学性,（二） 命题的技术,1、填空题命制的技术,属于再生式的客观测验。设计要求： （1）问题必须明确，要让考生知道问题中心所在，要填什么。如：,（2）每道题的空白处(残缺处)不宜过多，以免影响对题意的理解。,如：口袋中放有黄、白、红三种颜色的小球各1个，这3个球除颜色外没有任何区

4、别，随机从口袋中任取1个球，写出这个实验中一个可能发生的事件 。 （例如“取出1个黄色的小球”）,（3）空白处应是填有考查意义的关键词语，或是问题的重要内容或字眼。,（4）一般应将空白放在句子中间或后部，以免影响对题目的理解。,（5）一道题一般1个空，有2个以上空白的题，各个待填答案要相互独立不能有关联。 如：命题包括 和 ；题设与结论都成立的命题叫做 ；题设成立，但结论 的命题叫做假命题；证明一个假命题最简单的方法是 。,（6）空白处的答案应是确定的和唯一的,（7）所留空白的长度要一样。,常见的填空题有五种： （1）补省填空 （2）默写填空 （3）表格填空 （4）排序填空 （5）语境填空,2

5、、选择题命制的技术,是一种再认过程。注意： （1） 所有选择项都必须与题干有所关联 (具有逻辑性)。,（2）选择项中不宜使用重复的词语。 如：下列说法正确的是（ ） A可能性是99%的事件在一次实验中一定会发生 B可能性是1%的事件在一次实验中一定不会发生 C可能性是1%的事件在一次实验中一定有可能发生 D不可能事件就是不确定事件,（3）题干与正确项应避免使用相同的修饰词 语，以防给考生提供选择答案的线索。 如：在同一时刻的阳光下，小明的影子比小强的影子长，那么在同一路灯下（ ） A小明的影子比小强的影子长 B小明的影子比小强的影子短 C小明的影子和小强的影子一样长 D无法判断谁的影子长,（4

6、）题干要求尽量精炼、准确、清楚，要使考生比较容易地了解题目的要求。,（5）选项叙述的详略长短，不应成为考生选择答案的暗示因素。,如：下列事件中必然事件是（ ） A一次掷10枚均匀的硬币，一定有正面朝上的 B下雨天每个人都打雨伞 C若某种彩票的中奖概率是1%，则买100张这样的彩票一定有一张能中奖 D某小组有13名同学，至少有2名同学的生日在同一个月,（6）正确答案与其它所配选择项间插排列，不能有固定位置或次序。,（7）文字叙述要避免有所暗示。,（8）尽量避免用否定句。,（9）题干意义要完整。,（10）题干的陈述要简单、明确，避免使用不必要的修饰词及过分复杂的句子结构。 如：我国古代数学发展一直

7、处于世界领先水平，特别是宋、元时期的“算法”，其中可以同欧几里德辗转相除法相媲美的是( B ) A割圆术 B 更相减损术 C 秦九韶算法 D 孙子乘余定理,选择题适合测试的内容较广，组题方式灵活多变，可从不同角度对其分类。 1.辩识选择 2.阅读选择 3.最佳选择 4.图解选择 5.归类选择 6.承接选择 7.排序选择 8.填空选择,3、简答题命制的技术,简答题是由一个直接问句构成。设计简答题时应注意： 答案的叙述要确定且简单 问题要涉及重要内容 测验题的陈述要避免提供答案线索 评分标准应该按点给出分数,4、是非题命制的技术,是非题是由一个完全的陈述句构成。设计是非题时应注意： 是非题每题只能

8、包括一个概念 概念的陈述或对或错均需无争议 语句结构简单，用词避免晦涩生僻 要正面叙述，一般不用否定句 是非题要有足够的量，不宜过少,“是”题与“非”题的数量比例适当， 并随机排列 避免带有强调意味的字词，如“一定”、“常常”、“永不”等,4、开放式试题命制的技术要求,条件不固定，结论不明确，解法无限制，却能反映学生对知识的总结、整合、应用能力,开放型试题常见有：条件开放型题、结论开放型题、组合开放型题(即条件和结论同时开放)、策略开放型题.,三、考试的测量学基础,心理特质的实质理论 测量理论 （一）经典测量理论 （二）项目反应理论,真分数假设：人的心理特质水平经测量后应表现为一个数值，但由于

9、测量误差的存在，实际测量的数值与该特质的真实水平往往不完全一致 数学模型：X=T+E 测验的信度（reliability）：指测量结果的可靠性，即多次测量结果保持一致的程度。 用r表示，其值在0到1之间。,（一）经典测量理论,信度的估计,再测信度 复本信度 分半信度 同质性信度 评分者信度 标准参照信度,效度的理论公式,效度的估计,1、内容效度 专家判断法 复本法 再测法 经验法,2、构想效度,测验对理论上的构想或特质的测量程度。 确定方法： 测验内法：确定内容效度，分析被试对项目的反应，考查测验的同质性。 测验间法：相容效度、区分效度、因素效度 效标关联法 实验操作法,又称效标关联效度，指一

10、个测验对处于特定情境中的个体的行为进行估计的有效性。也就是说，一个测验是否有效，应该以实践的效果来作为检验的标准。 根据效标收集的时间差异，分为同时效度与预测效度。 被估计的行为是检验测验效度的标准，简称为效标。实证效度主要重视那些与测验独立的效标行为，而不太注重测验内容或结构。 效标是衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得的我们感兴趣的行为。,3、实证效度,题目的难度,指测验试题的难易程度，可用通过比率来表示。 各个试题的难度以适中为宜。试题太难或太易都不会有好的区分度，其信度也会降低。,难度的计算,主观题难度的计算：,用极端分组法计算客观题的难度 具体步骤如下

11、： (1)先按测验总分的高低，按由高到低的顺序，依次排列试卷。 (2)从得分最高的一份试卷开始依次向下选出全部试卷的27，作为高分组。 (3)从得分最低的一份试卷开始依次向上选出全部试卷的27，作为低分组。,(4)按下列公式计算难度：,用极端分组法计算主观题的难度,具体步骤如下： (1)按测验得分排列试卷，确定高分组与低分组，各占总人数的25(方法与前面相同)。 (2)分别为高分组、低分组编制每道试题的分析表。,用极端分组法计算主观题的难度,(3)按下列公式计算难度：,题目的区分度,指测验对考生实际水平的区分程度，用符号 表示。又叫鉴别力。它是评价试题质量，筛选试题的主要指标与依据。,区分度与

12、信度的关系,1962年RL艾伯，假定全部试题的难度均为050时所预测的信度系数。区分度指的是平均值。,区分度与难度的关系,由上表可知，难度适中，可使区分度达到最大值。,区分度的计算,用极端分组法计算区分度,主观题区分度的计算,用内部一致性系数计算区分度,各题得分与总分的相关。,（二）项目反应理论（IRT） Rash Model,学生,问题,差,好,容易,难,学生,问题,差,Better,容易,Hard,x,Q,Q,Q,X X X,Q Q Q,思考这些问题的一种方式 对测验设计的意义,情景 1,学生,问题,差,好,容易,难,X X X X X X XXX X X,Q QQ Q Q Q QQ Q

13、Q,情景 2,学生,问题,差,好,容易,难,X X X X x XXX X X,Q Q QQ Q QQ,情景 3,题目的结构效度 china maths5 scale 中国 数学5 量表 - Item Fit 11/ 3/ 5 11:50 all on all (N =1070 L = 52 Probability Level= .50) - INFIT MNSQ .63 .71 .83 1.00 1.20 1.40 1.60 -+-+-+-+-+-+-+- 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * . 4 item 4 . |* . 5 i

14、tem 5 . * . 6 item 6 . *| . 7 item 7 . | * . 8 item 8 . * . 9 item 9 . * | . 10 item 10 . * . 11 item 11 . * | . 12 item 12 . * . 13 item 13 . * . 14 item 14 . |* . 15 item 15 . *| . 16 item 16 . * | . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . | * . 21 item 21 . | * . 22

15、item 22 . |* . 23 item 23 . *| . 24 item 24 . |* . 25 item 25 . | * . 26 item 26 . | * . 27 item 27 . |* . 28 item 28 . | * . 29 item 29 . *| . 30 item 30 . * | . 31 item 31 . * . 32 item 32 . * . 33 item 33 . | * . 34 item 34 . * . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . *| . 38 item 38

16、. * | . 39 item 39 . | * . 40 item 40 . * | . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . * | . 44 item 44 . * | . 45 item 45 . * | . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . * | . 49 item 49 . | * . 50 item 50 . | * . 51 item 51 . *| . 52 item 52 . | * .,|,china maths6 scale - Item

17、 Estimates (Thresholds) 11/ 3/ 5 11:50 all on all (N =1070 L = 52 Probability Level= .50) - | XX | | XXXX | 3.0 X | XXXX | XXXX | XX | XXXXXXXXX | 2.0 XXXXXXXXXXX | 39 XXXXXXXXXXXXXXXXXXXX | 31 49 50 XXXXXXXXXXXXX | 20 XXXXXXXXXXXXXXXXX | 21 XXXXXXXXXXXXXXXXX | 1.0 XXXXXXXXXXXXXXXXXX | 14 32 36 XXXX

18、XXXXXXXXXXXXX | 8 24 XXXXXXXXXXXXXXX | 7 23 25 35 37 XXXXXXXXXXXXXXXXX | 30 40 42 43 XXXXXXXXX | 38 41 51 .0 XXXXXXXXXX | 9 XXXXXXX | 11 34 48 XXXXX | 3 XXXXX | 5 28 45 XX | 6 22 26 33 44 -1.0 X | 4 X | 15 18 19 27 X | 1 17 | 2 16 29 | 10 13 -2.0 | | 12 - Each X represents 5 students Some thresholds

19、 could not be fitted to the display =,china maths6 scale - Item Estimates (Thresholds) 11/ 3/ 5 11:50 all on all (N =1070 L = 52 Probability Level= .50) - | XX | | XXXX | 3.0 X | EXCEPTIONAL XXXX | XXXX | XX | _XXXXXXXXX | 2.0 XXXXXXXXXXX | 39 ABOVE XXXXXXXXXXXXXXXXXXXX | 31 49 50 AVERAGE XXXXXXXXXX

20、XXX | 20 _XXXXXXXXXXXXXXXXX | 21 XXXXXXXXXXXXXXXXX | 1.0 XXXXXXXXXXXXXXXXXX | 14 32 36 AVERAGE XXXXXXXXXXXXXXXXX | 8 24 XXXXXXXXXXXXXXX | 7 23 25 35 37 _XXXXXXXXXXXXXXXXX | 30 40 42 43 XXXXXXXXX | 38 41 51 .0 XXXXXXXXXX | 9 BELOW Average XXXXXXX | 11 34 48 XXXXX | 3 XXXXX | 5 28 45 XX | 6 22 26 33 4

21、4 -1.0 X | 4 X | 15 18 19 27 X | 1 17 | 2 16 29 | 10 13 -2.0 | | 12 - Each X represents 5 students Some thresholds could not be fitted to the display =,|,| 52ProblemR XX | | XXXX | 3.0 X | EXCEPTIONAL XXXX | XXXX | XX | _XXXXXXXXX | 2.0 XXXXXXXXXXX | 39AreaR ABOVE XXXXXXXXXXXXXXXXXXXX | 31properties

22、M 49statR 50statR AVERAGE XXXXXXXXXXXXX | 20PropertiesR _XXXXXXXXXXXXXXXXX | 21AreaR XXXXXXXXXXXXXXXXX | 1.0 XXXXXXXXXXXXXXXXXX | 14TimeM 32area R 36volumeR AVERAGE XXXXXXXXXXXXXXXXX | 8AreaM 24VolumeR XXXXXXXXXXXXXXX | 7PropertiesR 23propertiesR 25PropertiesM 35measurementR 37propM _XXXXXXXXXXXXXXX

23、XX | 30Volume R 40Measuremet R 42PropM 43PropR XXXXXXXXX | 38PropertiesM 41PropU 51AreaM .0 XXXXXXXXXX | 9MeasurementM BELOW Average XXXXXXX | 11MeasurementM 34symetry? 48 XXXXX | 3NumerationM XXXXX | 5decimalM 28StatsM 45 XX | 6DecimalM 2figuresM 26EquationR 33expressionsR 44 -1.0 X | 4DecimalU X | 15EquationM 18 19Numeration? 27StatsM X | 1DecimalM 17FractionM | 2numerationM 16ProblemM 29Numeration ? | 10VolumeU 13AlgebraU -2.0 | | 12MeasuremetU,谢谢！,