推荐阅读

运用项目反应理论评估国际问卷指标

发布者:上海市教育科学研究院 日期:2014-9-3 14:08:00 人气:

——以喜爱阅读指标对本地学生的合适度为例
沈学珺

(1. 上海市教育科学研究院,上海 200032)

【摘要】

本文采用项目反应理论中的拓广分部评分模型从四个方面评估了国际学生评估项目(PISA)的喜爱阅读指标对中国上海学生的合适度,以此为例探讨了如何运用项目反应理论的有效方法来对国际教育测评项目的问卷指标进行本地化研究。研究结果表明该指标的组成项目对上海学生喜爱阅读程度的区分度在可接受范围内,而且备选项的设置较为合理。但是,指标对于喜爱阅读程度低于平均水平的学生有最高的测量精确度,另外还发现有冗余项目。在删除冗余项目后,精简指标与长指标的综合评分高度相关。

【关键词】 项目反应理论;拓广分部评分模型;PISA

1 引言

项目反应理论(Item Response Theory, 简称IRT)相对于经典测量理论(Classical Test Theory, 简称CTT)而言是新型的测量理论。它又称潜在特质理论,其核心理念就是被测者的综合特质,例如学生的阅读素养水平、喜爱阅读的程度和家庭社会经济背景等是无法直接观察得到的潜在特质,只能通过分析被测者对于项目(即试题或问题)的反应(即回答)来得到估算。IRT主要体现的就是被测者对于项目给出特定回答的概率与被测者的潜在特质以及项目特性之间的关系,它包括一系列相关模型。

IRT在认知测试的应用中已经较为深入和广泛(国际上大型认知测试如TOEFL, GRE, 以及PISA和TIMSS的认知部分的设计、分析、计分等环节均以IRT作为主要理论依据),同时IRT也越来越多地在国内(郭庆科,陈英敏,2005;杨业兵等,2008;朱宁宁,张厚璨,2003)和国外(Brodin, Fors & Laksov, 2010;Edelen & Reeve, 2007;McCormack, Masse, Bulsara, Pikora & Giles-Corti, 2006;Reeve & Fayers, 2005)被应用于编制、分析和评估非认知问卷指标中。国际学生评估项目(Programme for International Student Assessment, 简称PISA)的非认知问卷的综合指标就是通过IRT来设计和计分的。

PISA是由经合组织(Organization for Economic Co-operation and Development, 简称OECD)发起和组织一个学生能力国际比较研究,主要测量15岁的学生在多大程度上掌握了全面参与社会所需要的终身学习能力。由于PISA的测评对象是国际学生样本,其通过IRT评估指标的性能中主要考虑的对象是从各国抽取的全体学生样本。在本文中,为了评估国际问卷指标对中国上海本地学生的合适度,所针对的群体仅仅是我国上海市的15岁学生,所运用的IRT模型是同时提供位置参数和区分度参数的拓广分部评分模型(Generalized Partial Credit Model, 简称GPCM)。本文以PISA 2009中的喜爱阅读指标为例,来说明如何用IRT来评估国际问卷指标针对本地学生的性能和提高指标对本地学生的合适度。

附件下载运用项目反应理论评估国际问卷指标