问卷信度效度不达标怎么办?按顺序排查与处理办法
"我的 α 只有 0.58""KMO 才 0.55""CFA 的 RMSEA 是 0.11"——这是问卷研究里最常遇到、也最容易做错的一步。做错的方式几乎都是同一个:反复删题、换模型、调参数,直到某个数字刚好过线。本文给出一套有依据的排查顺序,以及一条底线清单:哪些做法不能碰。
一、第一步:先确认是哪一个指标不达标
"信效度不达标"是个笼统说法,实际上有近十个指标,处理办法完全不同。先照下面这张表定位:
| 大类 | 指标 | 常用门槛 | 对应教程 |
|---|---|---|---|
| 信度 | Cronbach's α | ≥ 0.70 | 信度分析 |
| CITC(校正项-总相关) | ≥ 0.30(严格 0.40) | 信度分析 | |
| 效度(EFA) | KMO | ≥ 0.60(理想 ≥ 0.70) | KMO 与 Bartlett |
| Bartlett 球形检验 | p < 0.05 | KMO 与 Bartlett | |
| 因子载荷 | ≥ 0.50(严格 0.60) | EFA 解读 | |
| 累计方差解释率 | ≥ 50%(社科常用 60%) | EFA 解读 | |
| 效度(CFA) | 拟合指标 χ²/df、RMSEA、CFI、TLI、SRMR | 见对照表 | CFA 与 SEM |
| 收敛效度 AVE | ≥ 0.50 | CFA 与 SEM | |
| 组合信度 CR | ≥ 0.70 | CFA 与 SEM | |
| 判别效度 | AVE 平方根 > 该维度与其他维度的相关系数 | CFA 与 SEM |
二、信度不达标(α 偏低)的排查顺序
- 查反向题有没有反向计分。 这是占比最高的原因。5 点量表反向题要转成「6 − 原始分」,漏做会让 α 断崖式下跌。先查这个,往往一改就达标。
- 查维度划分是否正确。 α 衡量的是"同一个构念内部的一致性"。把两个不同构念的题算在一起,α 一定低。
- 按 CITC 与「删除项后的 α」删题。 标准:CITC < 0.30 且 删除该题后 α 上升。每次只删一题,删完重算,再看下一题。一次删多题很可能把 α 越删越低。
- 检查数据质量。 大量规律性作答(全选 3 分、连续同一选项)、答题时间过短的样本,会系统性压低 α。先做直线作答与作答时长清洗。
- 考虑补样本。 每个维度建议至少有题项数 5–10 倍的有效样本;样本太小 α 本身就不稳定。
三、EFA 效度不达标怎么处理
情形 A:KMO < 0.60
- 先确认题项是否太少。 KMO 的计算依赖变量间的偏相关,变量太少(如 3 个)时 KMO 天然偏低;一般建议每个因子至少 3 题,整份量表 10 题以上。
- 检查是否混入了不该放进去的变量。 把人口学变量(性别、年龄)当连续变量一起做因子分析,会显著拉低 KMO。
- 加大样本量。 KMO 是小样本下最容易失真的指标;建议样本量至少为题项数的 10 倍。
- 检查题项的区分度。 用总相关或高低分组比较,剔除区分度差的题,往往能提升整体 KMO。
情形 B:载荷低(< 0.50)或存在交叉载荷
- 先做旋转再判断。 未旋转的载荷矩阵几乎无法解释,判断载荷必须看旋转后的结果(正交用方差最大法,斜交用 Promax)。
- 载荷 < 0.50 的题考虑删除; 一个题在多个因子上载荷都 ≥ 0.40(交叉载荷)时,优先删除。
- 删题要按理论走,不是按数字走。 删题后必须重新跑一遍,确认因子结构仍符合理论构想,且解释得通"为什么这题不属于这个维度"。
情形 C:累计方差解释率 < 50%
- 常见原因是因子数提取过多(把特征值略大于 1 的因子都保留)。结合碎石图与理论构想,适当减少因子数,累计解释率反而会集中到主要因子上。
- 另一个原因是题目异质性太高,说明量表本身需要修订。
四、CFA 效度不达标怎么处理
| 指标 | 标准 | 不达标时的优先动作 |
|---|---|---|
| χ²/df | < 3(宽松 < 5) | 检查样本量(< 200 时 χ² 不稳)、检查是否有跨载荷题项 |
| RMSEA | < 0.08(优良 < 0.05) | 看修正指数(MI),允许同维度内残差相关(需理论依据) |
| CFI / TLI | > 0.90(优良 > 0.95) | 同上;TLI 对模型简洁度敏感,因子过多会压低 TLI |
| SRMR | < 0.08 | 检查是否有题项载荷过低 |
| AVE(收敛效度) | ≥ 0.50 | 删除该维度中载荷最低的题(每次一题),再重跑 CFA |
| CR(组合信度) | ≥ 0.70 | 同 AVE;CR 通常比 AVE 先达标 |
判别效度不达标(AVE 平方根 < 相关系数)
- 说明两个构念的测量"贴得太近",被访者没能区分开。常见原因是两个维度的题项语义重叠。
- 处理:检查并修改/删除语义重叠的题;或合并这两个维度(如果理论上确实是同一个构念)。
- 报告时用判别效度表(对角线为 AVE 平方根,下三角为相关系数),对角线应最大。
五、一条底线:哪些做法不能做
- 为了达标而反复试错删题。 删题必须有理论依据,且要报告删了几题、为什么删。删完才达标的模型,必须在论文里如实说明。
- 修改或编造原始数据。 这是学术不端,任何情况下都不成立。
- 只报告达标的指标、隐去不达标的。 选择性报告同样属于不端行为。
- 换一版模型跑到达标就当作最终结果。 模型必须由理论驱动,不能由数字驱动。
六、论文/答辩里怎么说明
如果经过合理处理后仍有指标处于"宽松标准"区间,正确做法是如实报告 + 给出依据。示例表述:「本研究中信息分享维度的 α 系数为 0.68,略低于 0.70 的常用标准。考虑到该维度题项数较少(4 题)且属于探索性研究,参照 Nunnally(1978)对探索性研究可放宽至 0.60 的建议,该维度信度处于可接受范围。同时该维度的组合信度 CR 为 0.78,AVE 为 0.52,收敛效度良好,可作为信度达标的补充证据。」
这种写法比"我的 α 是 0.85"但实际做过大量删题调整要可信得多——审稿人看的是逻辑是否自洽,而不是数字是否漂亮。
七、常见问题
α 和 CR 都达标了,还需要做 CFA 吗?
看研究层次。仅做描述、相关、回归的研究,α + EFA 通常够用;若涉及潜变量建模(SEM)、要报告 AVE/CR、或期刊要求结构效度,则必须做 CFA。
样本量不够是硬伤吗?
是。KMO、CFA 拟合、AVE 都对样本量敏感。若只有 100 出头,建议不要做 CFA 与 SEM,改用 EFA,并在局限部分说明。
删题后需要重新收集数据吗?
同一批数据的删题属于量表修订,报告时需说明。若删题幅度很大(如某维度 6 题删掉 3 题),应讨论题目本身的表述问题,并建议后续研究重新验证量表。
先给数据做一次体检
把数据上传到艾吖法,一次性拿到:信度(α / CITC / 删除项后的 α)、KMO 与 Bartlett、EFA 载荷与方差解释率、CFA 拟合与 AVE / CR / 判别效度。哪些指标不达标、差多少,一屏看清,再决定从哪一步动手。
上传数据做体检