诊断试验的kappa值该怎么算?我们之前讲过可以使用符合率(agreement rate)评价不同医师的诊断结果和质量,从而衡量诊断试验的可重复性。符合率是评价诊断试验的重要指标,也是临床实践中的常用指标。但是,大家可能会注意到诊断试验符合率的大小不完全取决于研究者的临床经验和诊断能力,还可能是由于机遇因素的作用,致使不同研究者得出相同的诊断结论。那么,我们如何识别这些机遇因素,怎样可以更好地衡量一项诊断试验的可重复性呢?
1、什么是机遇符合率?
为了更好地说明诊断试验中的机遇因素,我们举一个栗子:
假设某医院有一大堆胸片需要读,但是缺少人手。为了解决这个问题,放射科主任在医院附近找了两位没有医学背景的人来帮忙。这两个人要对堆积的片子进行判定,得出“阳性”或者“阴性”结果。期间,他们互不干扰,独立得出结论。鉴于这两个人并没有受过专业教育,也不了解影像图片的诊断标准,他们是否会得到一些一致性结论呢?答案是肯定的。对其中的几张片子,他们的诊断可能一致,而这种一致性结论完全是由于机遇因素导致的。
在这种情况下,我们怎样才能知道一项诊断试验的评价结果中有多大的比例是由于机遇因素造成的呢?
为解决这一问题,cohen于1960年提出kappa分析,在考虑了机遇因素对符合率影响的情况下,综合衡量诊断试验的可重复性。具体来说,kappa分析是要在观察得到的符合率中剔除机遇因素的影响,即:
观察符合率 - 机遇符合率
如果不同的研究者在一项试验中的所有诊断结论都是一致的,那么他们的观察符合率就是100%。但是我们仍不可忽视机遇因素的作用,即不同研究者在一项诊断试验中,符合率的最大值为:
100% - 机遇符合率
2、kappa分析的具体思路是什么?
kappa分析认为,一项诊断试验的可重复性既与观察符合率和机遇符合率的差有关,又与不同研究者在一项诊断试验中可能实现的最大符合率有关,定义kappa值的计算方法为
kappa=(观察符合率-机遇符合率)/(100%-机遇符合率)
可见,为了计算kappa值,我们必须先计算出诊断试验的机遇符合率。接下来,我们将以非小细胞肺癌诊断试验为例,向大家具体介绍机遇符合率和kappa分析的计算方法。两位病理科医生对75位非小细胞肺癌患者进行组织学分型诊断,基本结果如图1。
从图1可以看出,医生a认为在这75位患者中有45位的非细胞肺癌亚型为ⅱ型,占60%;另外30位患者为ⅲ型,占40%。同时,医生b认为44位(58.7%)患者为ⅱ型,31位(41.3%)患者为ⅲ型。根据图2可以计算出该诊断试验的符合率为90.7%,即这两位病理科医生在该项诊断试验中有90.7%的诊断结果一致。
倘若该试验中的两位医生使用的是完全不同的诊断标准,他们得到的一致结论均由机遇因素导致,这种机遇导致的符合率有多大呢?试验中,医生a认定这75位非小细胞肺癌患者中有60%为ⅱ型,40%为ⅲ型。如果他/她不受经验和专业的限制,随机判定任一人群中的60%为ⅱ型非小细胞肺癌,他/她也将对医生b认为的ⅱ型和ⅲ型患者群进行重新分型。即医生a会认为44位被医生b判断是ⅱ型非小细胞肺癌患者中有60%(26.4)为ⅱ型,40%(17.6)为ⅲ型。同理,医生a也会认为31位被医生b判断是ⅲ型非小细胞肺癌患者中有60%(18.6)为ⅱ型,40%(12.4)为ⅲ型,如图3。从而根据符合率的计算方法得到该诊断试验的机遇符合率为51.7%。
3、kappa值如何计算?
随后,我们就可以根据kappa分析方法和机遇符合率计算该诊断试验的kappa值如下:
为了方便计算,既往研究也将kappa值的计算过程简化,如下式:
式中字母的含义,如表1:
一般来说,kappa值在-1到1之间。如果kappa<0,说明机遇符合率大于观察符合率;kappa=0,说明诊断试验的结果完全由机遇因素导致;kappa>0,说明观察符合率大于因机遇产生一致的程度。
既往研究总结得出,如果0<kappa≤0.40,则说明诊断试验的可重复性差;如果0.40<kappa<0.75,则说明具有中、高度可重复性;如果kappa≥0.75,那么该诊断试验就具有极好的可重复性。临床医生和研究者们可以根据这一指标综合评估诊断试验的可重复性,排除机遇因素干扰。
下一篇:诊断试验可重复性的重要性