一、质量检验全景图
╔════════════════════════════════════════════════════════════════════════╗
║ 质性研究的五维度质量标准框架（Miles & Huberman） ║
╠════════════════════════════════════════════════════════════════════════╣
║ ║
║ 维度1：方法严谨性 ────→ 数据收集和协议的可靠性与一致性 ║
║ 🔧 工具：编码者间一致性 / 同行评审 / 数据质量检查 ║
║ ║
║ 维度2：内部效度 ────────→ 研究发现的真实性和可信度 ║
║ 🎯 核心问题：描述是否"厚重"？结论是否可信？ ║
║ ║
║ 维度3：外部效度 ────────→ 发现的可转移性和推广适用性 ║
║ 🌍 关键指标：样本多样性 / 情境丰富性描述 / 理论转移 ║
║ ║
║ 维度4：可依赖性 ────────→ 研究过程的系统记录和再现性 ║
║ 📋 要求：审计痕迹清晰 / 决策路径可追溯 ║
║ ║
║ 维度5：可确认性 ────────→ 发现的客观性和中立性 ║
║ ⚖️ 保证：结论来自数据而非研究者偏见 ║
║ ║
╚════════════════════════════════════════════════════════════════════════╝
🎓 核心原则（Miles & Huberman）： "好的质性研究，如同其他研究一样，需要细致的记录保存，以此与重要受众建立联系。"
二、维度1：方法严谨性 / 可信性（Methodological Rigor）
核心定义
方法严谨性关注研究设计与执行过程的可靠性和一致性，确保数据收集遵循明确、系统的协议。
2.1 核查清单（7项）
| # |
检验标准 |
验证方式 |
合格标准 |
| 1 |
数据收集方法清晰明确 |
方法论章节叙述 |
可重复执行的程序描述 |
| 2 |
数据收集覆盖完整范围 |
被调查人物/时间/地点 |
覆盖所有适当情境维度 |
| 3 |
多现场工作者协议一致 |
现场工作协议文件 |
所有收集者采用可比协议 |
| 4 |
编码者间一致性 |
Cohen's Kappa检验 |
\\kappa \\geq 0.80 |
| 5 |
数据质量检查已执行 |
审计记录 |
检查偏见、欺骗、数据损伤 |
| 6 |
多观察者描述印证 |
同一事件/情境观察 |
观察结果相互验证 |
| 7 |
同行评审机制建立 |
同事反馈记录 |
定期接受批评意见 |
2.2 编码者间一致性标准详解
一致性计算方法
\\text{Cohen's Kappa} = \\frac{P_o - P_e}{1 - P_e}
其中：
- P_o = 观察到的一致性比例
- P_e = 偶然一致的概率
解释标准表
| Kappa值 |
一致性等级 |
质量评价 |
处理方式 |
| \\kappa \\geq 0.90 |
极高 |
优秀 |
✅ 确认编码方案，全面应用 |
| 0.80 \\leq \\kappa \< 0.90 |
高 |
可接受 |
✅ 接受，定期复查 |
| 0.70 \\leq \\kappa \< 0.80 |
中等 |
需改进 |
⚠️ 修订编码规则后重编 |
| \\kappa \< 0.70 |
低 |
不可接受 |
❌ 返工，重新界定代码 |
📌 M&H标准 ：内部一致性与编码者间一致性应达到 85-90% 的范围。
不一致情况的处理流程
编码差异发现
│
├─ 第一循环：两位编码者讨论分歧原因
│ │
│ ├─ 代码定义模糊？ → 细化操作定义
│ ├─ 数据难以分类？ → 修改代码体系
│ └─ 编码者理解差异？ → 统一标准后重编
│
├─ 第二循环：修订后重新编码不一致样本
│
└─ 第三循环：重新计算Kappa，确认达标（≥0.80）
2.3 同行评审机制设计
同行评审流程：
Step 1：选择同行评审者
├─ 熟悉研究领域的独立专家（不参与研究）
├─ 至少2位
└─ 定期接触，每月1-2次反馈
Step 2：评审对象
├─ 研究设计合理性
├─ 初步编码方案
├─ 中期分析备忘录
└─ 最终发现和结论草稿
Step 3：评审方式
├─ 形式评审：结构逻辑是否清晰
├─ 实质评审：发现是否基于证据
└─ 方法评审：程序是否透明
Step 4：反馈整合
├─ 记录评审意见
├─ 修订或反驳说明
└─ 最终报告中披露评审过程
三、维度2：内部效度 / 真实性（Internal Validity / Authenticity）
核心定义
内部效度 追问：研究发现是否有意义 ？是否可信 ？我们是否获得了真实的图景？
3.1 理解类型的分层
根据 Maxwell (1992)，质性研究的理解分为四个层次：
| 理解层次 |
定义 |
示例 |
验证方式 |
| 描述性 |
特定情境中发生了什么 |
"学生在课堂上有4次提问" |
事实检验、观察核实 |
| 解释性 |
对参与者的意义 |
"学生害怕被嘲笑，所以很少提问" |
访谈验证、文本分析 |
| 理论性 |
解释行动的概念模型 |
"课堂心理安全感→提问频率" |
负面案例检验、竞争性解释 |
| 评价性 |
对现象的价值判断 |
"低提问率是教学问题" |
伦理审视、多元视角 |
3.2 12项内部效度核查清单
| # |
核查项目 |
验证对象 |
合格表现 |
| 1 |
描述厚重性 |
全部章节 |
情境丰富、有意义、具体生动 |
| 2 |
叙述可信度 |
总体结论 |
真实可信、说服力强、合理可信 |
| 3 |
三角验证 |
主要发现 |
至少3个独立数据源一致 |
| 4 |
理论连接 |
数据呈现 |
与概念/理论类别良好对应 |
| 5 |
发现统一性 |
各章节发现 |
清晰、连贯、系统相关 |
| 6 |
确认程序 |
方法论章 |
说明如何验证主要命题 |
| 7 |
不确定领域识别 |
讨论章 |
明确标注边界和局限 |
| 8 |
负面证据寻求 |
分析+报告 |
主动寻找反例并在文中讨论 |
| 9 |
竞争性解释 |
讨论章 |
考虑并排除至少2个备选解释 |
| 10 |
发现数据库内复制 |
各数据源 |
相同模式在多处出现 |
| 11 |
参与者认可 |
成员检验 |
原始参与者同意结论准确 |
| 12 |
预测准确性 |
适用研究 |
若做出预测，报告准确率 |
3.3 关键技术：三角验证
三角验证的五种类型
┌─────────────────┐
│ 数据源三角 │
│ (不同人/时间 │
│ /地点/角色) │
└────────┬────────┘
│
┌──────────────┼──────────────┐
│ │ │
▼ ▼ ▼
┌────────────┐ ┌────────────┐ ┌────────────┐
│ 方法三角 │ │ 研究者三角 │ │ 理论三角 │
│(观察/访谈 │ │(不同研究者 │ │(不同理论 │
│/文件/数据) │ │ 独立分析) │ │ 框架) │
└────────────┘ └────────────┘ └────────────┘
│ │ │
└──────────────┼──────────────┘
▼
┌─────────────────┐
│ 数据类型三角 │
│(定性文本+音视频 │
│ +定量数据混合) │
└─────────────────┘
三角验证的期望结果
| 结果类型 |
现象 |
应对方式 |
| 确证 |
3个独立来源一致 |
✅ 增强可信度，确认发现 |
| 矛盾 |
2个一致，1个不同 |
⚠️ 深入检查收集/分析过程 |
| 冲突 |
全部来源不同 |
🔍 回到原始数据重新编码 |
3.4 负面证据系统寻求流程
Step 1：编码完成后，主动搜索
├─ 与主要模式不符的段落
├─ "例外"、"但是"、"不过"等转折词
└─ 与预期相反的陈述
Step 2：对反例进行深度分析
├─ 为什么会出现这个例外？
├─ 它推翻了哪个假设？
└─ 我们的理论需要如何调整？
Step 3：在报告中标注
├─ 明确说明发现的局限性
├─ 解释反例与主流模式的关系
└─ 提出修订的理论边界
示例标注：
"虽然大多数受访者认为..., 但有3名参与者(%)
持不同意见...这表明[理论修订]"
3.5 竞争性解释的构建与排除
主要发现："学生学业成绩与家庭收入高度相关"
构造竞争性解释：
解释A：家庭收入 → 补习投资 → 成绩提升
✓ 原始假设（最可能）
解释B：家庭教育程度 → 学习习惯 → 成绩（收入无直接作用）
需要检验：是否控制了家长教育程度？
解释C：学校资源差异 → 教学质量 → 成绩
需要检验：高收入家庭是否集中在某些学校？
解释D：学生智力差异 → 自我选择 → 成绩（收入只是伴随变量）
需要检验：是否有IQ测试数据排除此因素？
排除步骤：
1. 收集支持/反对各解释的数据
2. 对照原始数据库逐一测试
3. 删除无数据支持的竞争性解释
4. 在报告中说明排除理由
四、维度3：外部效度 / 可转移性（External Validity / Transferability）
核心定义
外部效度 关注：研究结论是否具有更广泛的意义 ？能否转移到其他情境？
4.1 10项可转移性核查清单
| # |
核查项目 |
验证内容 |
合格表现 |
| 1 |
样本特征充分描述 |
人物/情境/过程 |
足够详细供读者与其他样本比较 |
| 2 |
选样限制明示 |
方法论章节 |
说明为何选择该样本及推广限制 |
| 3 |
理论多样性 |
样本设计 |
抽样在理论上充分多样化 |
| 4 |
厚描述充分 |
全部报告 |
为读者评估可转移性提供足够背景 |
| 5 |
读者共鸣验证 |
试读反馈 |
读者报告发现与其经验相符 |
| 6 |
理论一致性 |
文献综述 |
发现与先前理论一致/相连 |
| 7 |
可比情境适用 |
讨论章 |
说明结论在可比情境中的适用性 |
| 8 |
理论转移说明 |
理论章节 |
明确说明理论假设及其可转移性 |
| 9 |
后续检验地点建议 |
建议章 |
建议可进一步验证的情境 |
| 10 |
其他研究复制验证 |
文献回顾 |
发现已在其他研究中复制 |
4.2 样本多样性评估矩阵
维度一：参与者特征多样性
代码 职业 经验年数 教育背景 性别 年龄 地理位置
P001 教师 15年 本科 M 42 城市
P002 教师 3年 专科 F 28 乡村
P003 教师 25年 硕士 M 55 小镇
...
▼ ▼ ▼
多样化检查清单：
□ 职业分布是否覆盖主要类型？(X/Y/Z)
□ 经验年数跨度是否足够？(新手/中期/资深)
□ 教育背景是否有变化？(高/中/低)
□ 性别比例是否合理？(不必1:1，但不能完全单一)
□ 年龄段是否覆盖？(20s/30s/40s/50s+)
□ 地理位置是否多元？(城市/乡村/小镇)
4.3 厚描述（Thick Description）构建指南
"厚描述"是质性研究的标志性特征，它提供足够的情境信息使读者能判断结论的可转移性。
厚描述的四层结构
第一层：物理环境描述
地点特征、设施、空间布局、物质资源
↓
第二层：参与者特征
人口统计信息、角色、背景、代表性
↓
第三层：互动过程
参与者如何互动、沟通方式、权力结构
↓
第四层：意义解释
参与者对事件的理解、价值观、信念
厚描述示例
✗ 瘦描述（不足）：
"在一所山区学校进行了为期6个月的观察。"
✓ 厚描述（充分）：
"在云南省XX县海拔2000米的山区，有在校生85名
（其中留守儿童占72%）、教职工12名的小学进行了
2023年3月至8月6个月的现场观察。该校2012年新建，
硬件条件较新但师资流动率高。主要学生来自农民工家庭
（45%）和纯农业家庭（55%），家长文化程度多为初中
以下（78%）。观察包括40堂课、15次教师访谈、与全校
学生进行的焦点小组讨论5场......"
4.4 理论转移声明模板
【理论转移声明示例】
本研究发现的适用范围：
基本适用：
✓ 类似规模（50-100人）的基层组织
✓ 相同行业领域（教育/医疗）
✓ 相近社会经济背景
有条件适用：
~ 规模更大的组织（需补充大样本验证）
~ 发达地区情境（因文化背景差异）
~ 不同时期研究（社会变化可能影响）
不适用情境：
✗ 发达国家相同领域（权力结构差异）
✗ 完全不同行业（过程模型可能无效）
✗ 后疫情阶段（如研究于疫前）
五、维度4：可依赖性（Dependability）
核心定义
可依赖性 要求研究过程有清晰的审计痕迹 ，能够被独立复查 ，保证结果的再现性。
5.1 7项可依赖性核查清单
| # |
核查项目 |
记录对象 |
合格标准 |
| 1 |
原始数据保存 |
田野笔记、录音、文件 |
完整、已去识别化、有备份 |
| 2 |
处理过程文档 |
转录、清洗、初始修正版本 |
所有版本可追溯 |
| 3 |
编码系统迭代 |
初始代码本及所有修订版 |
记录代码定义演变过程 |
| 4 |
分析决策记录 |
编码选择、模式聚类、命题调整 |
每项决策的理由清晰 |
| 5 |
分析备忘录备份 |
研究者思路历程 |
时序记录，记录何时产生何种洞察 |
| 6 |
检索和链接记录 |
数据段落引用 |
可追溯每段数据的使用过程 |
| 7 |
展示版本迭代 |
矩阵/网络/表格修订记录 |
展示设计逻辑的演变 |
5.2 审计痕迹（Audit Trail）系统建立
审计痕迹的四大构成要素
┌─────────────────────────────────────────────────────┐
│ 审计痕迹（Audit Trail）四层架构 │
├─────────────────────────────────────────────────────┤
│ │
│ 层级1：原始数据层 │
│ ├─ 原始音频/视频/文件（无修改版本） │
│ ├─ 转录稿（初始版本） │
│ ├─ 现场笔记（手写） │
│ └─ 数据收集时间戳和收集者标记 │
│ ↓ │
│ 层级2：处理层 │
│ ├─ 去识别化处理记录 │
│ ├─ 转录修正版本v1/v2/v3 │
│ ├─ 数据清洗操作日志 │
│ └─ 初始编码应用记录 │
│ ↓ │
│ 层级3：分析层 │
│ ├─ 编码规则及其修订版本 │
│ ├─ 第一/二循环编码应用日期和编码者标记 │
│ ├─ 分析备忘录（时间戳） │
│ ├─ 模式识别过程记录 │
│ └─ 命题评级记录 │
│ ↓ │
│ 层级4：报告层 │
│ ├─ 引用数据段落的编码标签 │
│ ├─ 报告草稿版本变化 │
│ ├─ 同行评审意见与回应 │
│ └─ 最终版本确认时间 │
│ │
└─────────────────────────────────────────────────────┘
审计痕迹的具体记录方式
数据编号系统（案例 Case-访问 Visit-数据类型-顺序号）
示例：P001_V03_INT_002
P001 = 参与者001
V03 = 第3次访问/观察
INT = 访谈数据类型（OBS=观察，DOC=文件）
002 = 该类型第2条数据段落
→ 所有分析都通过该编号链接到原始数据
编码应用日志示例：
日期 编码者 数据源 代码 版本 备注
2024-01-15 张三 P001_V03 代码A-v2.3 第5次 修订后重编3处
2024-01-16 李四 P001_V03 代码A-v2.3 第5次 编码一致✓
2024-01-18 张三 P002_V01 代码A-v2.3 第5次 新案例首次应用
5.3 数据管理的完整保存清单
| 保存内容分类 |
具体内容 |
保存地点 |
保存期限 |
| 原始材料 |
田野笔记、录音、现场文件 |
加密硬盘+云备份 |
研究后≥3年 |
| 处理数据 |
转录本各版本、清洗日志 |
研究数据库 |
同上 |
| 编码数据 |
有编码标注的全文本、代码本 |
CAQDAS + 备份 |
同上 |
| 分析材料 |
备忘录、矩阵、网络图草稿 |
研究笔记本 |
同上 |
| 报告文档 |
各版本草稿、最终版本 |
版本控制系统 |
永久保存 |
5.4 可再现性文档清单
提交报告时必须附上：
□ 研究设计概述（抽样策略、数据收集协议）
□ 编码本（初始代码定义+最终版本）
□ 代码应用示例（典型编码段落）
□ 分析决策记录（为什么选择该分析方法）
□ 编码者信息与一致性检验结果
□ 三角验证矩阵（数据源/方法交叉表）
□ 代表性样本描述表
□ 不确定领域和限制性声明
□ 审计痕迹文档清单
六、维度5：可确认性（Confirmability）
核心定义
可确认性 保证：研究结论来自数据 而非研究者个人偏见 ，发现具有客观性。
6.1 8项可确认性核查清单
| # |
核查项目 |
验证方式 |
合格表现 |
| 1 |
中立性声明 |
方法论章 |
明示潜在偏见和立场 |
| 2 |
研究者背景披露 |
引言章节 |
说明自身与研究主题的关系 |
| 3 |
结论-数据映射 |
报告全文 |
每项结论都能追溯到具体数据 |
| 4 |
替代性解释考虑 |
讨论章 |
考虑并排除至少2个竞争假设 |
| 5 |
反例完整讨论 |
发现章 |
反例不是被隐去而是被解释 |
| 6 |
定量证据量化 |
表格附录 |
说明发现基于多少案例/段落 |
| 7 |
价值中立的语言 |
全部文本 |
避免评价性、情绪化措辞 |
| 8 |
研究过程审计 |
附录 |
提供外部审计者可检查的痕迹 |
6.2 研究者偏见的识别与监控
常见研究者偏见类型
| 偏见类型 |
表现形式 |
防范策略 |
| 确认偏见 |
只寻求支持初始假设的证据 |
主动搜索反例，设置代码"例外" |
| 去了文脉化 |
忽视参与者的本地理解 |
保留参与者原话作为背景 |
| 过度理论化 |
将复杂现象硬套理论框架 |
分离"描述"和"解释"章节 |
| 精英偏误 |
只访问权力者声音 |
扩大样本包括边缘群体 |
| 我-中心化 |
研究者观点压过参与者声音 |
大量直接引用原始表述 |
| 同化偏见 |
研究者被本土化，丧失批判性 |
定期离开场域，保持距离 |
偏见监控日志示例
【研究者反思日志】
日期：2024-01-15
场景：第5次访问学校
记录：
⚠️ 发现的潜在偏见：
今天与校长交谈时，我发现自己倾向于接受他对学生
纪律问题的解释。我意识到这可能因为我对他的权威地位
有无意识的尊重。
✓ 采取的行动：
1. 在随后的学生访谈中，主动询问他们对同样事件的看法
2. 在田野笔记中标记"校长视角偏见"
3. 计划在最终分析中特别检查这一差异
反思：
这说明我需要更系统地包含不同权力位置的参与者声音。
6.3 中立性声明模板
【中立性与位置性声明】
1. 研究者背景与潜在立场
我作为一名高等教育工作者，具有___ 年的教学经验。
我可能对学生学习动机的理解受到我自身的教育背景
影响------我来自受过高等教育的家庭，因此可能对
教育机会不平等的认识有限。
2. 潜在利益冲突
□ 是否与参与机构有雇佣关系？ 否
□ 是否有个人关系可能影响解释？ 否
□ 研究资助来源？ XXX基金会（已知其政策立场为___）
3. 采取的偏见防范措施
- 聘请了来自不同背景的两名同行评审员
- 主动包括低社会经济地位参与者的声音
- 在分析过程中三次重新审视初始假设
- 保持详细的反思日志，记录所有重新考虑
4. 承认的局限
- 我的分析必然反映我的位置性解释
- 关于[具体问题]的结论可能需要其他背景的研究者验证
- 本研究的代表性仅限于[具体背景]
6.4 结论-数据映射清单
示例：寻找所有支持结论"教师职业认同感低"的数据
结论：教师职业认同感低
支持证据：
代码标签 数据段落 参与者 频率
IDENTITY-LOW "我不觉得教师是什么高级职业" P003 见引文1
"家人劝我改行" P007 见引文2
"朋友都说教师工作单调" P012 见引文3
竞争性解释：
❌ "只是一时消极感受"
→ 驳斥：多人反复提及，非一时
❌ "年轻教师普遍的适应阶段"
→ 驳斥：资深教师（>15年）也表达相同感受
量化表现：
• 12名参与者中9名（75%）表达身份困惑
• 出现"职业认同"相关代码89次
• 平均每人7.4次相关表述
七、质量检验的完整工作流程
7.1 三个检验阶段
╔════════════════════════════════════════════════════════════════╗
║ 阶段1：进行中检验（贯穿数据收集与初步分析） ║
╠════════════════════════════════════════════════════════════════╣
║ 时间：研究开始前-中期分析 ║
║ 活动： ║
║ □ 代表性检查：样本是否覆盖关键变化维度 ║
║ □ 研究者效应检查：识别并最小化个人偏见 ║
║ □ 竞争性解释检查：预先考虑替代假设 ║
║ 产出：修订采样策略、调整编码框架 ║
╚════════════════════════════════════════════════════════════════╝
╔════════════════════════════════════════════════════════════════╗
║ 阶段2：总结性检验（全部数据收集后、最终分析前） ║
╠════════════════════════════════════════════════════════════════╣
║ 时间：数据收集完成-分析定稿 ║
║ 活动： ║
║ □ 编码者间一致性检验（Cohen's Kappa ≥ 0.80） ║
║ □ 三角验证检查：多源数据一致性确认 ║
║ □ 负面证据系统搜索 ║
║ □ 竞争性解释最终排除 ║
║ 产出：修订命题、完善理论框架 ║
╚════════════════════════════════════════════════════════════════╝
╔════════════════════════════════════════════════════════════════╗
║ 阶段3：后续验证（报告撰写-发表后） ║
╠════════════════════════════════════════════════════════════════╣
║ 时间：最终报告发表前-发表后 ║
║ 活动： ║
║ □ 成员检验：参与者对结论的确认 ║
║ □ 同行评审：独立研究者的批评审视 ║
║ □ 审计痕迹开放：他人可独立重新分析 ║
║ □ 公开数据共享（去识别后） ║
║ 产出：学术界验证，发现的稳健性评估 ║
╚════════════════════════════════════════════════════════════════╝
7.2 六步成员检验（Member Checking）流程
Step 1：选择代表性参与者
└─ 选择3-5名来自不同背景的原始参与者
Step 2：准备材料
├─ 准备2-3页的简化结论总结（非学术术语）
├─ 准备关键发现的原始引文
└─ 制作视觉化呈现（表格或图表）
Step 3：组织反馈访谈
├─ 一对一访谈或焦点小组均可
├─ 时长：30-60分钟
└─ 环境：参与者感到舒适的地点
Step 4：引导性问题
├─ "这些发现准确反映了您的经历吗？"
├─ "这里是否遗漏了什么重要的东西？"
├─ "您会以不同的方式解释这些发现吗？"
└─ "您会向其他教师推荐这些发现吗？"
Step 5：记录反馈
├─ 录音或详细笔记
├─ 标记"同意"、"部分同意"、"不同意"
└─ 记录参与者的建议修改
Step 6：整合反馈到最终报告
├─ "参与者确认了核心发现的准确性"
├─ 必要时修订有歧义的表述
└─ 说明与参与者意见有差异的地方及原因
八、五维度质量检验对照表
| 维度 |
核心问题 |
关键指标 |
技术工具 |
合格标准 |
| 1. 方法严谨性 |
程序可靠吗？ |
编码一致性 |
Cohen's Kappa |
\\kappa \\geq 0.80 |
|
|
协议一致性 |
工作协议检查 |
多收集者采用相同规则 |
|
|
同行审查 |
评审意见记录 |
≥2位同行定期反馈 |
| 2. 内部效度 |
发现真实可信吗？ |
描述厚重性 |
情境细节核实 |
Geertz标准满足 |
|
|
三角验证 |
多源一致性检查 |
≥3个独立源一致 |
|
|
负面证据 |
反例主动搜索 |
反例被解释而非隐去 |
|
|
竞争解释 |
替代假设排除记录 |
≥2个备选解释被考虑 |
| 3. 外部效度 |
发现能转移吗？ |
样本多样性 |
多维度样本表 |
覆盖主要变化维度 |
|
|
厚描述 |
情境丰富性检查 |
提供充分背景信息 |
|
|
理论一致性 |
文献对比 |
与既有理论相连 |
|
|
复制验证 |
他人研究检索 |
发现在他处被验证 |
| 4. 可依赖性 |
过程可被追溯吗？ |
审计痕迹 |
完整记录保存 |
所有决策可重现 |
|
|
编码迭代 |
版本控制 |
所有修改有记录 |
|
|
分析决策 |
决策日志 |
每项选择有理由 |
| 5. 可确认性 |
结论来自数据吗？ |
中立性声明 |
偏见披露 |
潜在立场已知 |
|
|
结论-数据映射 |
直接引用检查 |
每项结论可追溯 |
|
|
定量表现 |
频率/比例统计 |
发现的规模量化 |
九、质量检验的常见问题与对策
Q1：如何处理编码者间一致性过低？
| 一致性水平 |
问题诊断 |
对策 |
| \kappa < 0.60 |
代码定义模糊 |
重新细化编码操作定义，增加示例 |
| 0.60 < \kappa < 0.75 |
代码体系过大或复杂 |
合并相似代码，简化体系 |
| 0.75 < \kappa < 0.85 |
编码者培训不足 |
增加集中培训和实践编码 |
|
特定代码问题 |
分析哪些代码一致性低，针对改进 |
Q2：三角验证中发现矛盾结果怎么办？
处理流程：
矛盾发现 (如：访谈说"满意"，观察显示"不满意")
↓
第一步：检查数据收集
• 是否有转录错误？
• 观察情景是否代表性？
• 访谈是否存在迎合研究者的表现偏差？
↓
第二步：检查分析
• 编码者是否理解一致？
• 是否遗漏了情境背景？
↓
第三步：解释矛盾
• 这是"表里不一"的真实现象吗？
• 是否需要修订理论？
• 在报告中明确说明：
"参与者在访谈中表达满意，但观察中表现出
不满足的迹象，这表明存在可能的社会期许偏差......"
Q3：参与者不同意研究结论怎么办？
成员检验中的分歧处理：
情景1：参与者完全否定结论
→ 检查：结论是否过度泛化？
→ 修改：限定结论适用范围
→ 记录："一名参与者不同意该结论，其理由是..."
情景2：参与者部分同意
→ 保留共同认可的部分
→ 将有异议的部分改为"某些参与者认为..."
→ 在讨论中解释分歧原因
情景3：所有参与者都不同意
→ 深入反思：我的理论框架是否存在偏差？
→ 重新审视原始数据：是否误读了参与者意思？
→ 可能需要返工重新编码并修订结论
Q4：研究者如何知道自己的偏见？
偏见自我觉察的四个来源：
来源1：同行评审反馈
"我注意到你在描述城市学校时用了'先进'等词"
→ 提醒研究者的价值判断
来源2：参与者的反应
参与者说"你好像不太同意我说的..."
→ 表明研究者的态度影响了数据收集
来源3：反思日志回读
定期阅读自己的田野笔记和备忘录
→ 观察自己的理解是否有变化或转向
来源4：负面案例的坚持出现
某类反例反复出现但不符合主流模式
→ 提醒可能存在系统性偏见
十、质量检验最佳实践清单
立即可做：
☑ 建立编码一致性检验计划（编码前明确）
☑ 设计三角验证矩阵（数据收集时）
☑ 开始反思日志（从研究第一天）
☑ 建立同行评审关系（在分析前）
中期进行：
☑ 定期计算Cohen's Kappa
☑ 系统搜索负面证据（编码完成后）
☑ 列举至少2个竞争性解释（初步分析时）
☑ 建立详细的审计痕迹系统（分析进行中）
最终阶段：
☑ 进行成员检验（报告初稿完成后）
☑ 邀请同行最终审查（投稿前）
☑ 完成中立性与位置性声明（报告中）
☑ 公开审计痕迹文档（发表时或之后）
论文发表时：
☑ 在方法论章明确所有质量检验程序
☑ 在附录中提供代码本、示例编码段落
☑ 提及参与者反馈如何改变了结论
☑ 诚实说明研究的边界和局限
十一、一页纸总结：5维度快速检查表
| 维度 |
必做清单 |
完成✓ |
| 方法严谨性 |
□ 编码协议文档化 |
|
|
□ 编码者间一致性检验（≥2人，κ≥0.80） |
|
|
□ 建立同行评审机制 |
|
| 内部效度 |
□ 厚描述充分（情境+参与者+过程） |
|
|
□ 三角验证（≥3个独立源） |
|
|
□ 主动搜索并讨论负面证据 |
|
|
□ 考虑至少2个竞争性解释 |
|
| 外部效度 |
□ 样本多样性描述表 |
|
|
□ 样本选择限制明示 |
|
|
□ 理论转移适用范围声明 |
|
| 可依赖性 |
□ 完整审计痕迹系统 |
|
|
□ 所有数据版本有版本号 |
|
|
□ 分析决策日志完整 |
|
| 可确认性 |
□ 研究者立场和偏见披露 |
|
|
□ 结论与原始数据直接映射 |
|
|
□ 成员检验已进行 |
|
本卡片基于 Miles, Huberman & Saldaña 《质性数据分析方法与应用》第三版的完整质量标准框架，包含内部效度12项、外部效度10项、方法严谨性7项、可依赖性7项、可确认性8项的全部标准，共54项逐项检验要点。