《开放教育资源TIPS质量保证框架的验证研究.doc》由会员分享，可在线阅读，更多相关《开放教育资源TIPS质量保证框架的验证研究.doc（7页珍藏版）》请在三一文库上搜索。
1、开放教育资源TIPS质量保证框架的验证研究 【摘 要】 本文介绍了开放教育资源TIPS质量保证框架（http：/www.open- and learning process，即T），信息和材料内容（Information and material content，即I），呈现、产品和格式（Presentation， product and format，即P）以及系统、技术性的和技术（System， technical and technology，即S）。根据劳希（Lawshe，1975）的观点，我们采用德尔菲法（Delphi）把TIPS框架发送给开放教育资源专家评审，以确定其内容效度。我们
2、逐条计算这65条标准的内容效度比率（Content Validity Ratio，简称CVR），剔除了几条标准之后，得出它们的内容效度指数（Content Validity Index，简称CVI）大于0.80。我们还请世界各地目标终端用户验证TIPS框架。大多数开放教育资源都是由大学教师创建的，目的是使资源能在大学得到重新利用，相比之下，大学前教育教师创建的开放教育资源很少。TIPS框架是为学前、小学、中学和职业教育在校（和不在校）教师专门设计的。总的看来，这些教师在开始的时候不了解开放教育资源，但是根据他们的反馈而得出的内容效度指标相当高，他们表示个人愿意在教学中尝试使用TIPS框架，把e
3、-learning技术引入传统教学实践中。根据验证研究结果，我们把TIPS框架修改版作为开放教育资源在线发布。虽然本框架的目的是服务大学前教育教师，但是我们目前还在进行最后一轮验证，对象是学生，目的是检验使用开放教育资源和TIPS框架的教师对学生学习进步的影响。 导读：本刊2013年第10期率先发表了保罗?川内教授的研究成果开放教育资源质量保证准则TlPS框架。该文是川内教授受英联邦学习共同体亚洲教育媒体中心委托所开展的一项课题的研究成果，后来又被译成其他语言。本文是TIPS框架的验证研究报告。验证报告全文将提交给课题委托方英联邦学习共同体，而这篇文章则是该报告的浓缩版，也是提交给2014年开
4、放教育资源（亚洲）大会的材料。承蒙川内教授的支持，我们将其译成中文发表，以飨读者。 本文是开放教育资源质量保证准则框架研究的延续，介绍了TIPS框架的验证方法、过程和结果。经过这一轮的验证，进一步明确TIPS框架原有的65条标准中24条是“必不可少”的核心标准。该课题一开始征集了205条标准，后来经过多方论证、讨论和合并，保留了65条标准，本次科学验证又确定其中24条为最基本的核心标准。虽然“这样做会在一定程度上影响效度和信度”，但是如果一个质量保证框架包含太多标准，这势必会影响其实用性，因此作者做了取舍，把“制作一种能用于实际工作的高效工具，而且其效度和信度在可接受的水平之上”作为目标。本刊
5、本期发表的德国杜伊斯堡-埃森大学（University of Duisburg-Essen）技术促进学习和创新学习与培训研究所两位博士托马斯?里克特和帕特里克?威斯的文章论开放教育资源之适宜性质量观，对川内教授TIPS框架的实用性提出了质疑，认为该框架过于庞杂繁琐。其实，川内教授也一直在追求一个简约的框架，确保其实用性这点我们可以从课题背景介绍中了解到。我想如果两位德国学者看到这份验证报告，他们会认同川内教授的努力的。我们相信经过不断完善，TIPS框架2.0版本（修改版）必将更加科学，能更有效地指导一线教师（尤其是其目标用户从事大学前教育的教师）制作、分享和利用开放教育资源。 对于广大读者同行
6、而言，本文另一亮点是其研究方法。模型建构、标准制订、框架搭建等等在学术文献中并非鲜见，但是，毋庸讳言，不少研究缺乏严谨的科学验证手段和工具，因此，支持研究结果可信度和可行性的理据似乎不很充分。川内教授的这项验证研究应该能够在这方面给我们一些有益的启发和指导。建议有兴趣的读者同行进一步阅读完整的验证研究报告。 最后，我们衷心感谢保罗?川内教授对本刊的一贯支持！（肖俊洪） 一、引言 开放教育资源为发展中世界的教师提供了一个前所未有的机会，使得他们能为自己和他人制作学习资源。自从2002年以来，人们一直尝试给开放教育资源下定义（参见Kawachi，2013a）。根据联合国教科文组织英联邦学习共同体的
7、开放教育资源准则（CoL，2011），即促进教育资源在各种环境从高度媒体化的面授课堂到远程独立学习的重新利用，我们认为开放教育资源具有以下特点：免费，附加开放许可协议，允许被改编为其他资源或作为其他资源的补充，允许演绎，在某个阶段以数字化格式呈现。据此，我们给出以下定义： 开放教育资源指的是数字化、可以自我测评的独立教学单元，具有可测量的明确学习目标，它附加有开放许可协议，允许改编，通常可供免费重新利用。 本研究采用德尔菲法把原先的TIPS框架提交给开放教育资源质量保证专家评审，以验证其内容效度。哈维和格林（Harvey & Green，1993，p.9）认为：“要确定高等教育质量评估标准，我
8、们就必须了解影响利益相关者偏好的各种（潜在）不同质量观。”哈维和格林的这项研究区分了5种质量观：“例外”、“完善”、“适用性”、“合算”和“蜕变性”。TIPS框架涉及其中三个方面：开放教育资源的重新利用者觉得资源适用、作为免费资源既有效率又有效益，支持全民教育运动、培养现在和未来的学生掌握21世纪技能，实现蜕变。基于上述考虑，我们也调查了作为本框架目标终端用户的发展中世界的教师，他们对质量可能有不同看法，因此，我们希望能了解他们对本框架内容效度的评价。 如果一种工具包括所有已知标准，那么它会有最佳的内容和构念效度（content and construct validity）及最佳信度。但是，
9、内容太多意味着使用不便，因此其实用性受到影响。鉴于此，我们减少TIPS框架标准的总数，把相似标准进行合并，以提高实用性。当然，这样做会在一定程度上影响效度和信度。我们的目标是制作一种能用于实际工作的高效工具，而且其效度和信度在可接受的水平之上。 “质量保证”可以看成是一种横断面（cross-sectional）评估；TIPS框架就是涉及开放教育资源质量保证各方面内容的清单。但是，我们不能止于“质量保证”，我们的目标是“质量提高”（Kawachi，2013b）。因此，我们给TIPS框架中每一条标准都附加评分表，方便用户说明他们在多大程度上采用各条标准（共有5个分值供选择）。用户下一次使用TIPS
10、框架时再次进行打分，这样能方便显示用户经过一段时间后采用这些标准的程度是否有变化，促进他们的反思。TIPS框架修改版添加了评分表。 “内容效度”是一个含义不甚精确的术语。菲茨帕特里克（Fitzpatrick，1983）认为内容效度可以指：测试项目在多大程度上反映所要测量的内容；用户对测试项目的理解或反馈在多大程度上反映所要测量的内容；所有测试项目的整体相关性；用户理解的整体相关性；内容领域（content domain）定义的清晰度；和（或）每一个测试项目和所有项目的技术质量。上述和涉及抽样的充分性，因此可归为“构念效度”。 如果专家人数相对较少，每一个测试项目的比率必须接近1才能决定该项目在p 有6条标准被第1组至少27名专家认为是“必不可少的”，它们在p 0.80（见表2）。根据劳希（Lawshe，1975）的标准，如果某个项目仅是“有作用的”，这个项目会被删除。但是，参加本调查的多数人并不清楚这点，因此，我们把“必不可少”和“有作用”的项目加在一起，重新分析它们的内容效度指数（CVRE+U）。重新分析的结果显示，每一条标准的CVRE+U都很高，65条标准的平均CVRE+U达到0.86（ 0.80），说明TIPS框架在p 0.80），说明TIPS框架在p