![]() ![]() 在數(shù)據(jù)分析過(guò)程中,我們經(jīng)常會(huì)遇到檢驗(yàn)一致性的問(wèn)題。例如,在內(nèi)容分析編碼過(guò)程中,為確保編碼的信效度,研究需要兩位編碼人員對(duì)同一內(nèi)容進(jìn)行編碼。雖然事先已經(jīng)確定了編碼標(biāo)準(zhǔn),但受個(gè)人專業(yè)知識(shí)和理解等因素的影響,編碼結(jié)果可能會(huì)存在一定差異,因此我們需要檢驗(yàn)編碼結(jié)果的一致性。 Cohen于1960年提出Kappa分析,Kappa系數(shù)用于測(cè)量數(shù)據(jù)的一致性水平。實(shí)踐證明,它是一個(gè)描述一致性較為理想的指標(biāo)。 Kappa一致性檢驗(yàn) Cohen's Kappa一致性檢驗(yàn)用于測(cè)量數(shù)據(jù)一致性水平,共分為兩類:簡(jiǎn)單Kappa系數(shù)和加權(quán)Kappa系數(shù)。 1. 簡(jiǎn)單Kappa系數(shù)(Simple Kappa Coefficient):如果研究數(shù)據(jù)是絕對(duì)的定類數(shù)據(jù),此時(shí)使用簡(jiǎn)單Kappa系數(shù)。 2. 加權(quán)Kappa系數(shù)(Weighted Kappa Coefficient):如果數(shù)據(jù)為等級(jí)式定類數(shù)據(jù)(比如輕度,中度,重度;或者不同意,中立,同意),此時(shí)可使用加權(quán)(線性)Kappa系數(shù)。 此外,如果需要檢驗(yàn)3項(xiàng)以上的一致性時(shí),應(yīng)該使用fleiss Kappa,下拉框選中該參數(shù)即可。 Kappa系數(shù)強(qiáng)度判斷 ![]() SPSS案例分析 一、問(wèn)題與數(shù)據(jù) 根據(jù)1-7級(jí)分析編碼框架對(duì)20位成員的發(fā)帖和回帖進(jìn)行內(nèi)容分析。由兩位研究生對(duì)發(fā)帖和回帖進(jìn)行編碼,兩位編碼人員之間的可靠性系數(shù)使用 Cohen's kappa。 研究數(shù)據(jù)為絕對(duì)的定類數(shù)據(jù),因此使用簡(jiǎn)單Kappa系數(shù)。部分編碼數(shù)據(jù)如下: ![]() 二、操作步驟 Step1:將數(shù)據(jù)整理后導(dǎo)入到SPSS中。 ![]() ![]() Step2:分析——描述性統(tǒng)計(jì)——交叉表,將編碼員1選入行,編碼員2選入列。 ![]() Step3:點(diǎn)擊【統(tǒng)計(jì)】,選擇Kappa,點(diǎn)擊繼續(xù)后確定即可。 ![]() 三、結(jié)果分析 ![]() 檢驗(yàn)結(jié)果發(fā)現(xiàn),兩位編碼者之間的一致性系數(shù)達(dá)到 0.56,達(dá)到比較好的水平。 |
|
來(lái)自: 敬鋒 > 《數(shù)據(jù)分析與可視化》