《探索网阅环境下的英语写作评分员培训.pdf》由会员分享，可在线阅读，更多相关《探索网阅环境下的英语写作评分员培训.pdf（5页珍藏版）》请在三一文库上搜索。
1、第1 3 1 期 2 0 1 0 年1 月 外语电化教学 C A F L E N o 1 3 1 J a n 2 0 1 0 版权所有文责自负 探索网阅环境下的英语写作评分员培训 陆远 ( 上海外国语大学，上海2 0 0 0 8 3 ) 摘要：写作评分员差异构成了对写作评估信度和效度的直接威胁。提高评分信度的策略之一便 是对评分员的培训。网上阅卷更是给评分员培训提供了详尽和及时的数据信息。对英语专业四级作文 写作评分员网上培训的实证研究发现，培训在一定程度上有助于减少评分员严厉度的总体差异，有利于 增强部分评分员的自身一致性，以及能够缩小评分员在总体上对评分项目的偏颇。为使培训更有效，培 训应
2、将先期培训和持续培训并重。 关键词：网阅；英语写作；差异；评分员培训 中图分类号：H 3 1 9 3文献标识码：A文章编号：1 0 0 1 - 5 7 9 5 ( 2 0 1 0 ) 0 1 - 0 0 3 3 - 0 0 0 4 自1 9 9 9 年广西高考英语考试实施网上无纸化阅卷以来， 网阅已走过了l O 年的历程。对网阅的认识与评价集中围绕于 控制主观题评分误差，保证阅卷质量。众所周知，主观题评分 误差的根本来源之一是评分员带来的差异。本文旨在探讨在 网阅环境下减少写作评分员差异的评分员培训方式。 1 关于主观题网上阅卷的综述 主观题网上无纸化阅卷被认为是“评卷史上的一场革命” ( 陈
3、茂建，2 0 0 2 ：1 7 ) 。有关主观题网上无纸化阅卷的研究还揭 示了网阅尚需解决的问题，包括技术设备问题、阅卷过程中的 动态统计功能和阅卷后考试数据的统计利用问题( 马世晔， 2 0 0 4 ：2 6 ) 。有关消除网阅环境下主观题评分差异的研究提议 使用以下策略( 高丙成，秦旭芳，2 0 0 7 ：9 8 - 9 9 ) ：及时向评分员 反馈评分详细数据；严格管理工作要求；加强评分员的培 训；减小误差参数。要保证这些改进策略的顺利实施，就要 求评分员从认识上达成一致，而这种“统一认识”的有效途径之 一就是对评分员的培训。 2 关于英语写作评分员培训的综述 W e i r ( 2 0
4、 0 5 ：1 9 0 ) 认为培训是一个系统过程，包括对培训环 境、培训类型、培训监控程度、评阅监控程度以及对评阅者的反 馈。M e N a m a r a ( 2 0 0 0 ：4 4 ) 与A l d e r s o n ( 1 9 9 5 ：1 0 5 1 4 7 ) 也强调 了系统培训的必要性，并提出了培训框架。该框架的两个基本 点是先期培训和持续培训。 此外，日益更新的统计手段使评阅监控日趋科学化和规范 化，是对观察评分员自身信度和评分员之间信度的传统质量监 控方式的补充。例如，基于项目反应理论的M F R M 模式( M u l t i f a c e t e dR a s c
5、hM o d e l ) 不但可以非常清晰地反映评分员是否达到 自我一致性以及评分员之间是否统一( W e i r ，2 0 0 5 ：1 9 9 ) ，而且 能够探测到对任何考生或考察项目产生的偏颇。 关于评分员培训效果的研究从来就存有争议。传统意义 上的评分员培训的目的是“减少与总体严厉度和随机性有关的 差异”( L u m h y M c N a m a r a ，1 9 9 5 ：5 6 ) 。但一些研究( C h a m e y ， 1 9 8 4 ；C o n s t a b l ea n dA n d r i e h ，1 9 8 4 ；H u o t ，1 9 9 0 ) 则指
6、出过多强调 评分信度会以评分效度为代价。还有的研究对培训效果不乐 观。对写作评分员培训效果的实证研究( W e i g l e ，1 9 9 4 ；L u m l e y M e n a m a r a ，1 9 9 5 ；E l d e re ta l ，2 0 0 5 ) 主要通过对比法、有声思维 法和访谈法，揭示了培训虽然不能完全消除与总体严厉度和随 机性有关的差异，但能够加强评分员自身的统一。网上联机阅 卷和基于多层面R a s e h 模型方法的运用，使针对写作评分员培 训效果的实证研究( L u m l e y Wright B D;Linacre J M Measuring th
7、e impact of judge severity on examination scores 1990(03) 5.Lumley T Assessing Second Language Writing:The Raters Perspective 2005 6.Lumley T;McNamara T F Rater characteristics and rater bias:Implications for training 1995(01) 7.Huot R Reliability,validity,and holistic scoring:what we know and what
8、we need to know外文期刊 1990(41) 8.Elder C;Barkhuizen G;Knoch U;Randow,J.v Evaluating rater responses to an online training program for L2 writing assessment外文期刊 2007(01) 9.Elder C;Knoch U;Barkhuizen G;Randow,J.v Individual feedback to enhance rater training:Does it work 外文期刊 2005(03) 10.Constable E;And
9、rich A Inter-judge reliability:is complete agreement among judges the ideal 1984 11.Charney D The validity of using holistic scoring to evaluate writing:a critical overview 1984(18) 12.邹申;杨任明 他们如何使用写作评分标准期刊论文-国外外语教学 2002(03) 13.张洁;何莲珍 语言运用测试中的分数差异研究-基于多层面Raach模型的方法 2008(04) 14.王跃武 大学英语四、六级考试作文网上联机阅卷
10、评分信度研究 2005 15.王跃武;朱正才;杨惠中 作文网上评分信度的多面Rasch测量分析期刊论文-外语界 2006(01) 16.马世晔 网上阅卷的回顾与思考 2004(07) 17.高丙成;秦旭芳 成人高考网上阅卷的评分员差异研究期刊论文-乌鲁木齐职业大学学报 2007(04) 18.陈茂建 浅析网上阅卷 2002(07) 19.Schaefer E Rater bias patterns in an EFL writing assessment外文期刊 2008(04) 20.McNamara T Language Testing 2003 21.Alderson J C;Clapham C;Wall D Language test construction and evaluation 2000 本文链接：