评价一致性程度的方法很多,《SPSS案例:Kappa一致性检验》这篇文章小兵给大家展示了Kappa系数,除此之外,还有Kendall协调系数、组内相关系数等。
Kendall W协调系数,也称作和谐系数,或一致性系数,它的使用场景是对多个评分者间一致性进行测量。数据文件的组织格式要注意一下,每一个个案是一名评分者,每一个变量是倍裁判评价的对象或项目。
使用SPSS软件可以很方便的输出Kendall W协调系数,它的范围从 0(完全不一致)到 1(完全一致)。
案例背景介绍
6位教师各自评阅相同的五篇作文,分别给每篇作文打出一个等级评分,数据如下图所示。试分析6位教师的打分一致性水平。
SPSS菜单操作
在【分析】菜单中,点开【非参数检验】,并选择【相关样本】,打开非参数相关样本统计分析的对话框。目标选项卡中选择【定制分析】,在【字段】选项卡中选择【使用自定义字段分配】,然后将5篇作文的评分变量全部移入右侧的【检验字段】,这是我们的目标变量。
在【设置】选项卡中选择【定制检验】。在【量化关联】中勾选【肯德尔协同系数(k个样本)】,这就是在命令SPSS软件帮我们统计计算Kendall W系数并作出检验。
点【运行】,执行此处分析。
当然也可以利用SPSS的旧对话框,选择【K个相关样本】菜单。
五篇作文的评分作文【检验变量】,勾选【肯德尔W】选项,其他参数不用设定。直接执行。
结果解读
(新菜单输出的结果如上)
(旧菜单输出的结果如上)
先看p值小于0.05说明每个教师对5篇作文的看法是有差异的。
再来观察教师们打分的一致性,一般认为Kendall协调系数<0.2则说明一致性程度较差;0.2~0.4之间说明一致性程度一般;0.4~0.6之间说明一致性程度中等;0.6~0.8之间说明一致性程度较强;0.8~1.0之间说明一致性程度很强。
本例Kendall W系数 =0.928,大于0.8接近1(完全一致),说明6位教师对五篇作文的打分一致性水平很高,数据可信。
本文不提供原始数据下载,文章已经截图原始数据,欢迎读者朋友自行录入数据并对照练习,上机实践。
全文完
文/图:数据小兵
评论已关闭!