参加PISA2015阅卷编码及数据管理培训会情况汇报

撰写时间:2015-06-29  来源:竞技宝官方网站 浏览量:

    1月19日—27日,PISA2015阅卷编码及数据管理培训会在马耳他举行。来自73个国家和地区的300多名代表参会,其中,中国两岸四地代表共25人参会。中国PISA2015国家中心(以下简称“国家中心”)分两部分组团参加培训,第一部分为阅读、数学、科学、财经素养等领域趋势锚题的培训及测试前准备研讨,由国家中心王蕾同志带队,教育部命题中心陈康、竞技宝官方网站许世红、浙江省教育考试院杨军参加,起止时间为1月19日—24日;第二部分为科学领域新题培训和数据管理技术培训,由国家中心焦丽亚同志带队,国家中心刘洋、北京教育科学研究院杨潇、上海市教委教学研究室许萍、江苏省教育考试院万雅莹参加,起止时间为1月22日—27日。两个团队全体成员在参加国际培训前,均在国家中心接受为期3天左右的阅卷编码培训。现将参加培训的主要情况汇报如下。
    一、PISA2015国家中心的培训情况
    根据国家中心的安排,许世红参加在马耳他进行的PISA2015数学、财经素养、科学趋势三部分主观题阅卷编码培训,并于1月14日—17日在国家中心提前接受为期3天的阅卷编码培训。
    (一)关于培训内容。国家中心已经将PISA2015试测的全部工具翻译成中文,培训内容即中英文对照阅读全部的数学、财经素养、科学趋势题,并阅读我国在PISA2012数学、财经素养、科学趋势题等纸笔测试中开放题的编码指南和工作坊资料,熟悉相关的培训方式和培训要求。
    (二)关于培训方式。由于我国在正式测试中已经选择采用基于计算机的测评工具,因此,所有测试工具均在电脑上呈现,国家中心采用人机一对一的方式进行培训,以促进培训对象熟悉基于计算机测评的试题呈现方式、了解学生基于计算机测评的作答要求、感受基于计算机测评的阅卷编码特点。
    二、PISA2015国际培训会议的情况
在马耳他进行的PISA2015数学、财经素养、科学趋势三部分主观题阅卷编码培训均包含纸笔测试和计算机测试两种方式。
    (一)关于培训对象。根据OECD规定,参与此次阅卷编码的学科专家必须作为本国试测和正式测试阅卷培训专家和阅卷组组长全程引领PISA2015随后试测和正式测试两次阅卷编码工作。因此,此次编码培训对象是各国负责编码工作的学科专家和相关人员。
    (二)关于培训任务。此次编码培训的主要任务有:审查开放性试题编码规则,审查编码设计,呈现基于计算机测试和纸笔测试的开放性试题编码的程序,解释锚题册及其重要性,讨论阅卷人员培训的程序。
    (三)关于培训方式。此次培训由OECD的PISA2015项目组成员组织与会各国负责编码工作的人员,根据阅卷编码规则逐题详细讨论开放性试题典型答案的编码过程,在讨论的过程中加深对阅卷编码规则的理解,并就每道开放性试题典型答案的编码结果达成共识。
    另外,因中国5省(市)测试人数是国际标准测试人数的5倍,经国家中心王蕾与国际专家单独会谈确定,中国将按国际标准的两倍阅卷编码人员(至少四名双语)和两倍半阅卷编码时间安排两次阅卷编码工作。中国试测时间为4月9日—11日,阅卷编码工作时间预计为2014年4月21日—5月10日。
    由于PISA2015是第一次采用基于计算机的评价,2014年试测除检验题目性能、获得题目参数等常规任务外,主要目的是要在以往基于纸笔的评价结果和未来基于计算机的评价结果之间建立趋势转换关系,故基于纸笔和基于计算机的测试和阅卷在试测中同时进行。为保证各国阅卷获取数据的准确性,国际方面形成了标准化的阅卷流程和人员时间安排。为保证本地阅卷人员对阅卷编码人员标准掌握一致,对采用基于计算机考试形式计算机化阅卷的人员阅卷系统每天产生每个参与阅卷人员的阅卷信度报告,对偏离阅卷标准的阅卷人员系统会自动报警。同时为控制各国的阅卷标准执行一致,阅卷系统要求各国在试测时重点考查的科学领域和正式测试时每个领域必须有两名双语(本国语言和英语)阅卷编码专家,从而可以对系统对每道题分配的10个英语版本的典型回答进行阅卷编码。
    三、几点认识体会
    (一)测试工具翻译水平高。国家中心已经完成PISA2015阅读、数学、科学、财经素养等全部测试工具的翻译工作。目前浏览过的中文试题,不仅用词准确、专业,而且表达清晰、简洁,既忠实体现了英文试题的设计意图,又非常符合中文的阅读和思维习惯。
    (二)阅卷编码立足学生视角。PISA2015开放性试题的编码指南由试题、分级编码和样例三部分组成。试题包括纸笔测试和计算机测试两种形式;分级编码包括:满分编码及关键特征描述,部分分数编码及关键特征描述,零分分数编码及关键特征描述;样例则包括:答案样本,作答特征,编码结果。对开放性试题学生作答的编码(即评分)立足于学生的视角和思维水平,力求对学生能力作出最佳估计,而不是由专家拟定标准答案。其中,满分不需要完全正确或完美的答案,零分也不一定是完全错误,关键是根据学生在多大程度上能够证明自己回答该问题的能力。
    (三)阅卷编码培训逐一过关。在马耳他进行的数学、财经素养开放性试题阅卷编码培训过程中,每位参培人员均手持由黄、绿、红三种颜色组成的一套纸质卡片(其中黄、绿、红三卡上分别印有数字2、1、0),在讨论每道开放性试题的每个学生作答样例时,先由参培人员用色卡给出编码,然后培训者解释编码答案,持不同观点的参培人员则举手发表意见,共同讨论编码依据和编码合理性。这种培训方式务实高效,可以迁移到我国试测和正式测试的培训中。
    (四)对基于计算机的测试心存疑虑。由于目前给出的学生作答样例都是纸笔测试中收集的,因此,采用计算机方式进行测试可能会出现新的问题,但目前还难以完全预测。另外,参培人员也认为:学生因为必须在计算机上作答,所以很可能会遇到思维转化为合理计算机表达的困扰,从而影响学生能力的有效发挥,而不经常使用计算机的农村学生面临的困扰可能更为严峻。(执笔:省教育研究院教育评估室许世红)

Baidu
map