：一致性检验，如何计算kappa值?，研究问题为：探讨两位警察对受试者行为判断的一致性，受试者行为的判定结果为“正常”或“可疑”。采用cohen's kappa系数分析。
一、问题与数据
通过分析受试者进入超市后的行为，判断其是否存在盗窃嫌疑是警察的基本技能。现某研究者拟分析不同警察判断的一致性，随机抽取100段超市录像，每段分别记录1位受试者从进入超市到离开超市的全过程，再分别请两位警察观看这些录像，判断受试者的行为是“正常”(编码1)还是“可疑”(编码2)。这两位警察观看的是同一组录像，编号统一，部分研究数据如下：
二、问题的分析
在本研究中，研究者拟探讨两位警察对受试者行为判断的一致性，我们推荐使用 cohen's kappa系数分析。一般来说，采用cohen's kappa系数的研究设计需要满足以下5项假设：
假设1：判定结果是分类变量且互斥。如本研究中受试者行为的判定结果为“正常”或“可疑”，属于分类变量，并且相互排斥。
假设2：要求进行观测变量配对，即不同观测者判定的对象相同。如本研究中，两位警察观看的是同一组录像，编号统一。
假设3：每个观察对象可能被判定的结果种类相同。如本研究中每位受试者的行为都可能被判定为“正常”或“可疑”。
假设4：观测者之间相互独立。这要求不同观测者独立完成结果判定，相互不干扰。
假设5：由固定的两位观测者完成所有判定。如本研究中由两位警察分别观看100段录像，中途不换人。
根据研究设计，我们认为本研究符合cohen's kappa系数的5项假设，可以采用该分析方法进行一致性评价。
三、操作
1. 在主菜单点击analyze→descriptivestatistics→crosstabs
出现下图：
2. 分别将officer1和officer2变量放入row(s)和column(s)栏
3. 点击statistics
4. 点选kappa
5. 点击continue→cells
6. 点击observed→continue→ok
注释：如果大家想要得到频率的预测值，可以点击counts栏中的expected;若大家还想得到百分比值，可以点击percentages栏中的row、column和total
四、结果解释
1. 一般结果
在分析cohen's kappa系数之前，我们有必要了解一下研究数据的基本情况，如下：
从上表可以看出，本研究共有100对有效数据(valid栏)，没有缺失(missing栏)，总数据为100例(total栏)。officer1和officer2的交叉表，如下：
根据数据录入情况，分别输出officer1和officer2认为“正常”和“可疑”的数量。其中，左上和右下的数据是经officer1和officer2判断一致的，如下标黄的部分：
从上表可以看出，两位警察都认为其中85位受试者行为“正常”，7位受试者行为“可疑”，即这两位警察在92位受试者的行为上判断一致。从另一个角度来说，officer1认为87位受试者行为“正常”，而officer2认为91位受试者行为“正常”，如下标黄部分：
同理，这个表也输出了officer1和officer2判断不一致的数据，如下标黄部分：
从上表可知，在本研究中，两位警察对6 2=8为受试者的行为判断不一致。根据这些数据，我们可知officer1和officer2在对92÷100×100%=92%的受试者行为判断上一致。但是这种一致率没有考虑机遇因素的影响，我们还要依据cohen's kappa系数具体分析。
2. cohen's kappa系数
与直接计算的一致率不同的是，cohen's kappa系数考虑了机遇一致率对结果的影响。具体来说，在本研究中即使两位警察并不依据专业经验，而是随意评价受试者的行为，他们也会在对一些判断上出现一致结果。但是，这些由于机遇因素导致的一致结果并不是我们想要的，会高估实际一致率。因此，我们需要在计算cohen's kappa系数时，剔除机遇一致率，公式如下：
经过之前的操作，输出的cohen's kappa结果如下：
value栏提示cohen's kappa系数值，如下标黄部分：
从上表可知，本研究的cohen's kappa=0.593。一般来说，cohen's kappa系数分布在-1到1之间。若cohen's kappa系数小于0，说明观察一致率小于机遇一致率，在实际研究中很少出现。若cohen's kappa系数等于0，说明观察一致率等于机遇一致率，结果完全由机遇因素导致。若cohen's kappa系数大于0，说明研究对象之间存在一定的一致性，cohen's kappa系数越接近1，一致性越大。
那么，本研究中cohen's kappa系数为0.593，说明一致性如何呢?cohen's kappa系数值反映的一致性强度，如下：
表1. cohen's kappa系数的一致性含义
从上表可知，本研究中cohen's kappa系数0.593，说明具有中等强度一致性。但是，值得注意的是，我们并不能轻易地根据表1直接对比不同研究的cohen's kappa系数。因为cohen's kappa系数在计算过程中剔除了机遇一致率，也因此受到研究数据边际分布程度的影响。所以，我们只能比较具有相同边际分布数据的cohen's kappa系数，而不能直接对比数据边际分布不同的研究。
此外，输出symmetric measures表格，提示cohen's kappa系数的统计检验结果，如下标黄部分：
提示，本研究的cohen's kappa系数与0的差异具有统计学意义(p<0.001)。同时，我们也可以根据该表格计算cohen's kappa系数的95%置信区间，如下标黄部分：
可见，本研究中cohen's kappa系数的标准误为0.129。鉴于本研究较大，我们认为研究数据接近正态分布。从而计算cohen's kappa系数的95%置信区间为0.593±1.96×0.129=0.593±0.253。即，本研究cohen's kappa系数为0.593(95% ci为0.340 -0.846)。
五、撰写结论
本研究采用cohen's kappa系数分析两位警察对100位受试者行为判断的一致性。结果显示，这两位警察都认为其中85位受试者行为“正常”，7位受试者行为“可疑”。但同时有6位受试者被警察1认定为“可疑”，而被警察2认定为“正常”;也有2位受试者被警察1认定为“正常”，而被警察2认定为“可疑”。
总的来说，这两位警察判断结果的cohen's kappa系数为0.593(95% ci为0.340 -0.846)，p<0.001，具有中等强度一致性。
上一篇：
下一篇：诊断试验的kappa值该怎么算？