超越 Cohen's Kappa 的标注质量指标：从业者指南

Cohen's Kappa 已成为机器学习项目中衡量标注者间一致性（IAA）的默认指标。它是熟悉的、被广泛引用的、且易于计算的。然而，对于许多标注任务来说，它是不够的——在某些情况下甚至会产生误导。

本指南审视了 Cohen's Kappa 的局限性，并介绍了能够提供更可靠、更有信息量的标注质量评估的替代指标。目标不是否定 Kappa，而是为从业者配备适合其测量场景的正确工具。

为什么 Cohen's Kappa 不够用

Cohen's Kappa 衡量恰好两名标注者在分类标签上的一致性，并校正了随机一致性。其公式很直接：K = (p_o - p_e) / (1 - p_e)，其中 p_o 是观察到的一致性，p_e 是预期的随机一致性。

对随机性的校正是 Kappa 的优势，但其实现做出了在实践中经常不成立的假设：

仅限两名标注者。 Kappa 仅为恰好两名评分者定义。当你有三个、五个或二十个标注者时——这在生产标注工作流中很常见——你必须计算成对的 Kappa 分数并取平均值。这种成对平均会丢失关于系统性分歧模式的信息。

仅限名义类别。 Kappa 将所有分歧视为同等严重。将"正面"与"中性"混淆与将"正面"与"负面"混淆的计数相同。对于有序或层次化的标签方案，这是有问题的。

对流行度敏感。 Kappa 对类别分布出了名地敏感。当一个类别占主导地位（例如 95% 的样本是"负面"）时，即使观察到的一致性很高，也会产生低 Kappa 分数——即所谓的 Kappa 悖论。这导致团队错误地得出标注者表现不佳的结论，而实际上一致性是强的。

不容忍缺失数据。 Kappa 要求两名标注者标注每个项目。在实际标注工作流中，标注者标注重叠但不完全相同的子集。缺失数据需要丢弃不完整的项目或插补标签——两者都不理想。

替代方案

Krippendorff's Alpha

Krippendorff's Alpha 解决了 Kappa 的大多数结构性局限。它支持任意数量的标注者、原生处理缺失数据，并适用于名义、有序、区间和比率测量尺度。

关键的概念差异：Alpha 测量的是不一致而非一致。它计算观察到的不一致与预期不一致的比率，产生的值中 1.0 表示完美一致，0.0 表示随机水平的一致，负值表示系统性的不一致。

何时使用：

• 每个项目有三个或更多标注者
• 有序或层次化标签方案（例如严重程度评级、质量等级）
• 不是每个标注者都标注每个项目的标注工作流
• 当类别分布高度偏斜时

局限性：

• 对于大型数据集，计算成本高于 Kappa
• 距离函数的选择（名义、有序、区间）影响结果，必须有正当理由
• 向非技术利益相关者解释时不够直观

解释阈值（根据 Krippendorff 本人的指导）：Alpha 达到 0.80 或以上被认为在大多数用途中是可靠的。Alpha 在 0.667 到 0.80 之间允许做出初步结论。低于 0.667 的值表明数据不应用于分析。

F1 一致性（Span 级别）

对于序列标注任务——命名实体识别（NER）、词性标注、关系抽取——传统的 IAA 指标在 token 级别操作。这会产生误导，因为单个实体 span 的分歧（例如一个标注者标注"New York City"而另一个只标注"New York"）被计为多个 token 级别的分歧。

F1 一致性将标注视为检索问题：一个标注者的标签是"金标准"，另一个的是"预测"。精确率、召回率和 F1 在 span 级别计算。

何时使用：

• NER、实体抽取或任何基于 span 的标注任务
• 当部分 span 重叠在语义上有意义时
• 当你需要区分边界分歧（部分重叠的 span）和类别分歧（不同的实体类型）时

变体：

• 精确匹配 F1： span 必须在边界和标签上完全匹配
• 部分匹配 F1： 对重叠的 span 给予分数（适用于精确边界具有主观性的任务）
• 类型无关 F1： 不考虑标签来衡量边界一致性（隔离标注者在什么是实体 vs. 什么类型的实体上的分歧）

局限性：

• 不对称——F1 取决于哪个标注者被视为"金标准"。最佳实践是计算两个方向并取平均
• 不能很好地推广到 span 任务之外
• 没有内置的随机性校正（尽管对于 span 级别的任务，随机一致性可以忽略不计，这个问题不太严重）

混淆矩阵分析

单个一致性分数——无论是 Kappa、Alpha 还是 F1——将丰富的分歧信息压缩成一个数字。混淆矩阵保留了分歧的结构。

对于标注质量，标注者间混淆矩阵显示标注者混淆了哪些特定的标签对。这比单个分数更具可操作性：它揭示分歧是随机噪声还是标注指南中的系统性歧义。

何时使用：

• 始终，作为任何标量一致性指标的补充
• 当你需要诊断分歧来源时（哪些类别被混淆了？）
• 当修订标注指南时（混淆矩阵告诉你哪些区分需要更清晰的定义）
• 当评估分歧是反映数据中的真实歧义还是标注者错误时

如何解读：

• 对角线占主导地位表示良好的一致性
• 非对角线聚集表示特定标签对之间的系统性混淆
• 非对称的非对角线条目表示一个标注者比另一个更广泛地应用某个类别

局限性：

• 超过 10 到 15 个类别时视觉上不能很好地扩展
• 需要检查所有标注者对（或仔细聚合）
• 没有单一的汇总统计量——必须定性解释

校准会议和一致性趋势

指标衡量的是某个时间点的标注质量状态。校准会议衡量的是轨迹。

校准会议是一种结构化练习，标注者独立标注相同的项目集，然后作为小组讨论分歧。目的不是解决每一个分歧，而是识别标注指南中的歧义并对齐解释框架。

何时使用：

• 在每个标注项目开始时（标注前校准）
• 在生产标注期间定期进行（每周或每两周）
• 每当一致性指标降至阈值以下时
• 在新标注者入职时

最佳实践：

• 使用 50 到 100 个代表完整难度范围的项目作为校准集
• 在讨论前后计算一致性指标以衡量收敛
• 将一致性指标随时间作为趋势线跟踪——跨会议的改进表示有效校准；停滞表示指南问题
• 记录校准讨论产生的所有指南修订

局限性：

• 耗时——校准会议消耗标注者工时
• 如果群体动态抑制了真实分歧，可能产生人为共识
• 需要引导技能才能有效

指标比较表

组合指标获得完整画面

没有单一指标能全面捕捉标注质量。最严谨的方法是组合多种度量：

1. 标量一致性（Krippendorff's Alpha 或 F1 一致性，取决于任务类型）提供用于报告和阈值决策的核心数字。

2. 混淆矩阵分析 提供用于指南改进和标注者反馈的诊断细节。

3. 一致性趋势（跨校准会议）提供轨迹——质量是在改善、稳定还是下降。

4. 按类别一致性（通过将 Alpha 或 F1 限制到单个标签来计算）识别哪些特定类别有问题，从而实现有针对性的干预。

5. 按标注者一致性（每个标注者 vs. 多数投票）识别分歧是均匀分布的还是集中在可能需要再培训或重新分配的特定标注者身上。

实践建议

对于目前仅使用 Cohen's Kappa 的团队： 转向 Krippendorff's Alpha 作为主要标量指标。Python 中通过 krippendorff 和 nltk 包提供了实现。概念转变很小，但测量准确性的提升——特别是对于偏斜的类别分布和多标注者设置——是显著的。

对于根本不测量 IAA 的团队： 从混淆矩阵开始。它们不需要统计计算，提供即时的诊断价值，并建立检查分歧模式的习惯。流程建立后再添加标量指标。

对于将标注质量纳入 SLA 的团队： 在 Krippendorff's Alpha 上定义阈值（生产数据最低 0.80，探索性标注最低 0.667），并要求在定义的时间间隔审查混淆矩阵。将校准会议结果作为领先指标跟踪。

对于处理基于 span 任务的团队： 使用 span 级别 F1 一致性的精确匹配和部分匹配变体。精确匹配 F1 和部分匹配 F1 之间的差距专门量化了边界分歧，这通常是最具可操作性的信号。

测量陷阱

最后一个提醒：标注质量指标衡量的是一致性，而不是正确性。高标注者间一致性意味着标注者彼此一致。它不意味着他们是正确的。如果你的标注指南编码了对任务的错误解释，标注者可以在错误的标签上完美一致。

这就是为什么领域专家审查——与标注者间一致性测量分开——仍然是必不可少的。指标确保一致性。专家审查确保有效性。两者都是必要的；单独一个都不够。

从 Cohen's Kappa 到全面的标注质量测量策略的路径并不复杂，但需要有意识地去做。为你的任务类型选择正确的指标，用诊断工具补充标量分数，并随时间跟踪质量而不是测量一次就假设稳定。