尋夢新聞LINE@每日推播熱門推薦文章,趣聞不漏接❤️
在進行問卷研究時,特別是問卷中有非常多的量表題時,數據質量是基礎保障,問卷研究中排在最前面的即為數據質量分析,通常包括信度和效度分析。本身進行信度或者效度分析並非難事,但最難的事情在於如果信度或者效度不達標應該如何處理。
接下來慢慢闡述信度分析(下一篇文章闡述效度分析),以及信度分析時的處理方法,如何解決出現的問題等。本書中使用的較多內容參考於「問卷數據分析-破解SPSS的六類分析思路」一書,以及使用網頁版本在線spss軟件spssau進行操作說明等。
信度分析,即研究樣本數據是否真實可靠,通俗來講即研究樣本是否真實回答各個題項。如果樣本沒有真實回答,信度肯定不達標,而有時即使樣本真實回答,信度也不一定達標。信度分析可以分為四類,分別是:α信度系數、折半信度、復本信度和重測信度。
(1) α信度系數,即內部一致性系數。此類信度分析最為常見,基本上所有問卷信度分析均會使用此類分析。通過軟件計算出α信度系數值,並且用其進行信度水平判斷。進行此分析前,首先需要對反向題進行反向操作,並且α信度系數的測量通常以最小的維度為準,而非大維度。
一般來講:α系數最好在0.8以上,0.7~0.8之間屬於可以接受範圍,而分量表的α信度系數希望在0.7以上, 0.6~0.7之間可以接受。如果α信度系數低於0.6則考慮修改量表。從α信度系數計算公式來看,維度對應的題項越多,以及樣本量越多時,此值會越大。從筆者經驗來看,如果某個維度僅由三個或者兩個題項組成,並且樣本量在200以下時,那麼α信度系數通常會較小(低於0.6)。1個題項表達的維度無法進行α信度系數計算。
α信度系數是問卷信度分析中最為常見的分析方法,絕大多數時候使用α信度系數進行信度測量即可,筆者建議使用α信度系數進行問卷信度測量,問卷前測也類似,但問卷前測時會結合CITC和刪除某項後的信度系數值進行判斷是否修正或者刪除題項,通常來講,CITC值低於0.4,或者刪除某項後的信度系數值反而上升0.1左右時應該考慮對題項進行修正或者刪除處理。
特別提示:α信度系數(內部一致性系數)是最為常見的信度測量方法。
(2) 折半信度。折半信度是將維度對應的題項按照單雙號分成兩組,通過計算兩組題項間的相關係數,進而再通過公式計算得到折半信度系數值,並且進行衡量信度質量。心理學、教育學類經典量表常使用此類方法進行信度質量衡量。判斷標準可參考α信度系數的衡量標準。此類分析方法較為少見。
(3) 復本信度。復本信度是同樣一組樣本,一次性回答兩份問卷,比如同樣一組學生連續做兩份同樣難度水平的試卷。然後通過計算兩份樣本相關係數,從而進行信度質量衡量,由於實際操作過程中有諸多客觀條件限制,此類分析方法較為少見。
(4) 重測信度。重測信度指同樣的樣本,在不同的時間點回答同樣一份問卷。繼而計算兩份數據的相關係數,並且通過相關係數去衡量信度質量。重測信度可以評估時間差異帶來的誤差,但實際操作中有諸多不便,因而此類分析使用較少。
上述四種信度方法,正常情況下是使用第一種研究,第二,第三和第四種信度研究方法非常少見,使用場景上通常為實驗式或者非常複雜的研究中會使用到。第一種信度即α信度系數的測量最為常見。以網頁版本spssau軟件為例,將同一維度對應的題項拖拽到右側即可。特別提示下,信度分析是以維度為單位進行分析,一個維度一定需要對應多個題項才可以,一個題項無法做信度分析。以spssau為例,共1個維度叫做‘課程質量’對應3項,進行操作如下:
點擊分析得到結果如下,包括表格和智能分析。
1.表格中共包括三列,分別是CITC值,刪除項後的信度系數值,整體信度系數值。事實上,我們進行信度分析時,更關注於整體信度系數值。首先分析α系數,如果此值高於0.8,則說明信度高;如果此值介於0.7~0.8之間;則說明信度較好;如果此值介於0.6~0.7;則說明信度可接受;如果此值小於0.6;說明信度不佳;
2.如果說有發現整體信度系數值不達標,此時此應該關注於CITC和刪除項後信度系數值這兩個指標。如果CITC值低於0.3;可考慮將該項進行刪除;如果「項已刪除的α系數」值明顯高於α系數,此時可考慮對將該項進行刪除後重新分析。刪除相關項後再次進行分析即可。直至信度系數高於0.6,當然這一過程在spssau中也可以直接智能化,可參考使用。
信度分析的操作非常簡單,但當數據出現問題之後如何處理,這才是關鍵。書籍中將解的內容都以高質量數據作為案例,但現實中數據質量通常會‘出乎意料’。
本文總結出信度不達標的幾種情況,以及對應的處理辦法。
1.整體α信度信度系數值小於0;
2.整體α信度信度系數值介於0~0.5之間;
3.整體α信度信度系數值介於0.5~0.6之間。
接著對應講解三種情況的處理辦法:
1.如果說α信度信度系數值小於0,請查看是否有反向題。何為反向題?比如有5個題表示1個維度;其中4個題數字越大說明越喜歡運動,另外1個題數字越大說明越不喜歡運動,那麼此項即為反向題。需要先進行數據編碼,反向處理後,使用反向處理後的數據進行信度分析。
2.整體α信度系數值介於0~0.5之間時,此時說明信度有點’不可救藥’,出現此類情況通常原因有3種。一是用錯方法,信度分析只針對量表題,但非量表題都放進去分析;二是問卷設計質量太糟糕,量表題的設計隨心所欲完全不帶一點參考;三是樣本量少(比如小於50)並且一個維度僅對應2個題項,樣本少信度系數值相對會較低。無論是那種情況,解決流程均是:結合CITC值和項已刪除後的信度系數值,先刪除掉很糟糕項,然後再接著依次循環,直至信度系數可接受可止。
3.整體α信度系數值介於0.5~0.6之間。如果說分析項僅2個,此時只能接受這種事實。如果分析項為3個或者更多,此時則需要結合CITC值進行處理,刪除掉CITC值小於0.3的項後再次進行分析,以及結合’項已刪除後的信度系數值‘這個指標進行刪除分析項。如果說分析項僅為2個,此時沒有其它辦法,要麼接受要麼直接放棄掉該維度。
在進行信度分析時,如果說確實是量表項,而且數據真實,事實上很少會再現問題。但有兩種情況是需要提前注意:
1.不知道量表數據才能進行信度分析。這種情況最糟糕後續是無法進行分析的。即不能使用研究方法使用客觀數據指標描述清楚信度情況,可以考慮使用文字描述數據的收集過程和收集方式等,以證明數據真實可靠,即信度可靠。
2.量表數據自己亂設計,量表是相對規範的一種測量題項,需要有較強的參考文獻,而且一個維度對應的量表要來自於同一個參考出處。
>【原】信度不達標的處理方式