当前位置:课程学习>>第六章>>文本学习>>知识点二


第六章 项目分析



知识点二 项目的区分度


区分度也是评价项目质量的重要指标,是筛选项目的主要指标和依据。本单元将着重论述测验的区分度问题。

一、定义

项目区分度(item discrimination),是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。如果一个测验项目,实际水平高的被试能顺利通过,而实际水平低的被试不能通过,那么我们就可以认为该项目有较高的区分度。

项目区分度是评价项目质量和筛选项目的主要指标,也是影响测验效度的重要的因素。项目区分度低意味着项目不能区分被试的实际水平,显然这类项目不能达到测验的目的,必然会影响测验的效度。区分度的范围介于-1和+1之间,假如项目得分与实际能力水平之间呈负相关,则区分度为负值;若是正相关则区分度为正值;相关系数越大,区分度越高。当区分度为负值时,则意味着被试实际能力越高,该项目的得分反而越低,这种情况一般很少见,如果发生则该项目应被淘汰。

二、计算方法

在理论上,项目区分度是以项目得分的高低与实际能力水平高低之间的相关来表示的。但是,被试的实际能力水平是很难直接测量的。在具体估计项目区分度时,我们常用其它指标替代实际能力水平,其中用的最多的是测验总分。现在分别介绍如下:

(一)鉴别力指数

此方法的主要步骤如下:

1. 按测验总分高低排列答卷;

2. 确定高分组与低分组,每一组取答卷总数的27%;

3. 分别计算出高分组与低分组在该项目上的通过率或得分率;

4. 按下列公式估计出项目的鉴别指数:

D=PH-PL (6.4)

式中,D为鉴别指数,PH为高分组在该项目上的通过率或得分率,PL为低分组在该项目上的通过率或得分率。

以上公式以高分组与低分组的得分率的差为鉴别力指数的指标,其理由是高分组若在该测验上的得分高于低分组,则D>0。D越大,说明该项目区分两种不同水平的程度越高。若D < 0,则反映高水平组在该项目上的得分率反而低于低水平组,说明项目有问题。因此D可以反映项目得分与测验总分之间的关系,将它作为区分度的指标是合理的。

如上所讲项目区分度是通过高分组正确回答题目的比例减去低分组正确回答题目的比例来衡量的。在获得高分组和低分组的时候,可以各采用样本总人数的50%、33%、25%或者27%。如果人数过少(少于100人),一般采用50%。项目鉴别力指数的理想值应该控制在0.3以上,值越大区分度越高。题目的区分度越高,则表明答对的人水平越高,区分度为负值,则表明答对的都是水平低的,而答错的倒是水平高的,这说明题目有问题。

(二)相关法

相关法也是计算项目区分度的常用方法,区分度的指标为某一测验项目的分数与测验总分或效标成绩的相关系数。相关系数越大,说明该项目具有越大的区分能力。常用的计算相关的方法有积差相关、点二列相关、二列相关、Φ相关等。

三、区分度与难度的关系

区分度和难度之间有密切的关系,难度和区分度都是针对一定样本团体而言的,绝对的难度和区分度是不存在的。一般来说,较难的项目对高水平被试区分度高,较易的项目对低水平被试的区分度高,中等难度的项目对中等水平的被试区分度高。这与中等难度的项目区分度最高的说法并不矛盾,因为对被试总体较难或较易的项目,对水平高或水平低的被试便成了中等难度。由于人的大多数心理特性呈正态分布,所以项目难度的分布也以正态分布为好,即特别难与特别易的项目少些,接近中等难度的项目多一点,而所有项目的平均难度在0.5左右。这样不仅能保证多数项目具有较高的区分度,而且可以保证整个测验对被试具有较高的区分度。


四、区分度的影响因素

通过前面几章关于心理测验的信度效度的学习之后,我们可以看出信度与效度的分析是直接对测评结果质量的考查,而一个测验的信度和效度在很大程度上取决于该测验的题目参数(难度和区分度),编制和筛选具有适当参数的题目是改善测验信度和效度的前提。那么,影响区分度的因素又有哪些呢,下面我们将从四个方面分析。

(一)受测样本的影响

一个测验施测于不同的样本,由于受测者在年龄、文化程度以及经验背景上的差别,区分度就会随之不同。此外,样本的同质性也会影响区分度。当测验的其他条件均相同时,同质性越强,区分度就越小。

(二)区分度指标的不同

不同的计算方法会带来不同的区分度值,也就是说区分度的值具有相对性。比如,鉴别力指数是衡量区分度的一种最常用,也是最简便的方法,它是比较得分高和得分低的两组被试在项目通过率上的差值。一般思路为,当成绩是连续变量时,可从分数分布的两端各选择27%的被试组成高、低分组,再分别计算两组每道题目上的通过率,二者之差就是各题目的鉴别度指数D。而相关法是考察题目得分和总分或效标之间的相关系数,与鉴别力指数的值可能不同。

(三)分组的标准不同

前面在介绍区分度的计算方法时,我们提到在获得一个测验的高分组和低分组的时候,可以各采用样本总人数的50%、33%、25%或者27%。一般情况下,采用27%但是如果人数过少(少于100人),就选择采用50%。

(四)试题难度的影响

一般来说,我们进行测验的目的是要了解被试个体间的差异,所以在选择题目时,最好使试题的平均难度接近0.50,而各题难度在0.30—0.70之间。此外,对于不同的题型应该有各自适宜的难度。如是非题难度值应为0.75,而对于四择一题目,难度值约为0.63。确定合理的测验难度才能使试题产生区分不同程度被试的最大效果。但题目的难度水平究竟多高合适,依赖于测验的目的、性质、和题目形式。

总之,编制心理测验的过程中在确定合理的区分度时,我们既要考虑采用哪种区分度指标,以及样本大小和特性外,还要考虑测验的目的、性质和功能等多方面因素的影响。


五、项目分析的注意事项

(一)当测验用于选拔和诊断时,应较多的选择难度值接近录取率的项目。

正如前面所介绍的,难度是指试题或试卷的难易程度,是评估试卷质量的主要指标之一。

难度系数越趋近于0,难度就越小;难度系数越趋近于1,难度就越大。当P≤0.3时说明试卷难度过低;当0.3< P < 0.7时说明试卷难易适度;当P≥0.7时说明试卷难度过高。对于在校生的学业成绩考核,一般都要求绝大部分同学的总成绩在60分以上,所以在进行试卷分析时应该根据考核目标对难度系数的适合区间进行重新划分。对于学业成绩考核,适当的难度系数应该是0.2左右(对应的平均成绩是80分),大于0.3(对应的平均成绩在70分以下)则偏难,小于0.15则难度过低(对应的平均分为85分以上)。当某个测验是用于选拔和诊断时,应该较多的选择难度接近录取率的项目。比如,现在很多企业和单位在招聘适合自己的人才时,常常会通过考核的方式,这就涉及到要有一套专业的测验问卷。由于企业招聘人数有一定的限制,但是一个好的岗位往往有大量的应征者前去,那怎么才能从大批的人群中挑选到适合自己的员工,所使用问卷有很大关系,这时候问卷的编制者将会依据录用人数的多少控制问卷上项目的通过率,若此次招聘只需要30人,有100人应聘那么问卷的项目难度应该在0.3左右。

(二)对选择题来说,P值一般应大于随机作答正确的概率水平。

从心理评价的角度来看,选择题是一个偶然事件,由于选择题可以测量各个年级、各种学科领域中简单和复杂的学习目标,因此在所有的客观测验中,这类题目的应用最为活跃。尽管回答论述题比回答选择题要求受测者具有更强的组织能力,但是正确回答一个构思良好的选择题不止需要再认或回忆的能力,还需要很好的辨别力。与其他客观题的分数相比,选择题的分数也很少受猜测和其他定势反应的影响。此外,通过分析受测者选择的不正确选项,可以获得有用的诊断信息。但是,选择题这类题型,在问卷中被试容易随意猜测以选取一个答案,因此在问卷的编制过程中,难度要大于随机作答正确的概率水平。