题记与说明

综合报告（最终稿） · 2026-11-04｜已按独立审读意见修订八处，逐条对照见文末附录
来源说明：本文由同日两份章节文件综合而成——纵轴章（发展脉络：parts/2026-11-04-AI应用评测集建设-vertical.md）与横轴章（横向对比：parts/2026-11-04-AI应用评测集建设-黄金答案-人工标注-回归测试-horizontal.md）。两章当日均基于网络检索写成，关键事实附来源 URL；1950–2016 年早期事件日期以学界通识为准（纵轴章原注）；标注服务商定价口径为：Scale/Surge 等高端外包为报价制、无公开价目表，Prolific 按任务计价、定价公开，本文不编造具体数字（横轴章原注，按审读意见收窄表述）。两章间的重复与口径差异已在本报告第三篇"矛盾与重复的消解"中统一。

TL;DR

AI 应用评测集建设是为 AI 应用构建可重复评测体系的工程，含数据采样、黄金答案、人工标注、一致性、回归测试五个子系统。纵轴显示：它源自学术评测与软件测试两股传统，2023 年合流为评测驱动开发；评测集从一次性考试演进为会泄漏、饱和、被刷、自身出错的活基础设施。横轴显示：截至 2026-11，公开基准、LLM 裁判、合成生成、外包标注、托管平台、开源回归框架六条路线无一覆盖全部能力件；自建黄金评测集是其共同地基：黄金答案生产与维护纪律最不可替代，大规模标注与流程搭建正被蚕食。建议混合架构：生产 trace 采样建百条级核心黄金集（CI 回归 100–1000 条），LLM 裁判扩量加人工校准队列对齐，接入 CI 门禁。

第一篇 纵轴：发展脉络——评测集如何从"一次性考试"变成"活的基础设施"

1.1 课题对象与两股源流

"AI 应用评测集建设"指为某个 AI 应用（问答机器人、RAG 系统、Agent、代码助手……）构建可重复评测体系的一整套工程，通常拆成五个子系统：

1. 数据采样——评测题目从哪里来：真实用户流量、人工编写、模型生成，还是动态滚动更新；
2. 黄金答案——每道题的"正确答案 / 期望行为"如何定义：参考答案、可执行单元测试、评分 rubric、人类基线交付物；
3. 人工标注——谁来判定好坏、标什么：事实对错、偏好排序、错误归因；
4. 一致性——标注者之间、LLM 裁判与人类之间的一致度如何度量与提升：kappa 系数、人机一致率、位置/长度/自利偏差控制；
5. 回归测试——prompt、模型版本、RAG 语料每次变更后如何防止隐性回退：评测集冻结、CI 集成、模型漂移监控。

这条纵轴并非从 ChatGPT 才开始。它有两股源流：一股是学术评测传统——从图灵测试、TREC 共享任务、BLEU 指标到 GLUE/MMLU，"用固定数据集 + 黄金答案给机器打分"是七十年的老手艺；另一股是软件工程测试传统——单元测试、持续集成、回归测试。两股源流在 2023 年前后合流，形成今天所称的"评测驱动开发（eval-driven development）"。以下按七个阶段梳理。

1.2 阶段一（1950–2006）：评测数据集成为"科学仪器"

• 1950：图灵在《Computing Machinery and Intelligence》中提出"模仿游戏"，第一次把"机器能否思考"转化为可操作的对比判据——这是"人机盲评 + 人工判卷"这一评测形态的哲学起点（https://academic.oup.com/mind/article/LIX/236/433/986238）。
• 1960：Jacob Cohen 提出 kappa 系数，度量两个标注者超出随机巧合的一致性；此后 Fleiss（1971）多评分者 kappa、Krippendorff's alpha 相继出现。标注一致性度量在社会科学中先行建立，几十年后原封不动搬进 NLP 标注流程。
• 1987–1997：DARPA 主办 MUC（消息理解会议），以固定语料 + 固定答案模板（fill-in 模板即早期"黄金答案"）组织多队同题竞赛；1992 年起 NIST 主办 TREC，把信息检索评测制度化为"共享语料 + 判优（qrels 相关性判断）+ 年会"。共享任务确立"统一的题、统一的答案、统一的指标"制度（https://trec.nist.gov）。同期宾州树库（1992–93）确立"高质量人工标注语料"的基础设施地位。
• 2002：IBM 的 Papineni 等人提出 BLEU（https://aclanthology.org/P02-1040/），用 n-gram 重合度对比人工参考译文自动打分。这是黄金答案范式的关键一跃：参考译文 = 黄金答案。此后机器学习评测的基本骨架——采样数据 + 参考答案 + 自动指标——定型。
• 2005：Amazon Mechanical Turk 上线，众包标注兴起。2008 年 Snow、O'Connor、Jurafsky、Ng 的《Cheap and Fast—But is it Good?》系统比较众包与专家标注，证明众包在多数 NLP 任务上可与专家达到相近一致度，且多数投票聚合即可显著提质量（https://aclanthology.org/P08-1027/）。"廉价大规模标注 + 一致性检验 + 聚合"成为此后十五年的默认配方。
• 计算机视觉平行线：PASCAL VOC（2005–2012）与 ImageNet（2009 年提出，2010 年起 ILSVRC 竞赛）把"百万级标注图像 + 年度榜单"做成深度学习时代首要基础设施（https://arxiv.org/abs/1409.0575）。

这一阶段埋下了五个子系统的全部种子：共享任务 = 数据采样制度、qrels/参考译文 = 黄金答案、众包 = 人工标注工业化、kappa = 一致性度量——只缺回归测试，因为当时的模型是"训练完即冻结"的静态产物。

1.3 阶段二（2012–2016）：深度学习榜单时代与"写题—验证—人工基线"模板

• 2012：AlexNet 在 ILSVRC 大幅刷新纪录，深度学习兴起；榜单名次直接决定研究议程，"刷榜"从第一天起就是双刃剑。
• 2014–2016：COCO（2014）、VQA（2015）、SQuAD（2016，斯坦福）相继出现。SQuAD 的标注流水线极具教学意义：众包工人阅读维基百科段落编写问题并标注答案 span（黄金答案 = 段落中的文本片段），用验证问题淘汰低质标注者，并给出估计人工水平线（https://arxiv.org/abs/1606.05250）。"写题—验证—定人工基线"三步，成为后世一切评测集构建的模板。
• 负面遗产同步积累：单一榜单变成单一优化目标，模型在基准上过拟合、在真实任务上失灵的现象被反复记录，为"基准饱和"叙事铺路。

1.4 阶段三（2018–2019）：统一基准时代与"饱和—换新"循环

• 2018.4：NYU/UW/DeepMind 的 Alex Wang 等发布 GLUE，把 9 个 NLU 任务收进统一排行榜并配诊断集（https://gluebenchmark.com；https://arxiv.org/abs/1804.07461）。
• 2019.5：因 GLUE 一年内被 BERT/RoBERTa 逼近人类水平，同一批人发布 SuperGLUE（"a stickier benchmark"）（https://arxiv.org/abs/1905.00537）。
• 2021 年初（阶段三"饱和—换新"叙事的后续事件，时间上已进入下一阶段）：微软 DeBERTa 成为第一个超过 SuperGLUE 人类基线的模型（约 89.9 对 89.8）。"发新基准 → 一年内饱和 → 再发新基准"的循环被证明不可持续，业界开始系统性反思静态评测集的短命性（综述见 https://apxml.com/courses/how-to-build-a-large-language-model/chapter-22-extrinsic-evaluation-downstream-tasks/standard-benchmarks-glue-superglue）。

这一阶段，评测集构建第一次成为"军备竞赛的前线"，也让"黄金答案会过期"成为共识。

1.5 阶段四（2020–2022.11）：LLM 评测基础设施奠基

• 2020.5：GPT-3 论文确立 zero-shot/few-shot 统一评测叙事。
• 2020.9：Dan Hendrycks 等发布 MMLU——57 个学科、15,908 道四选一题，题目直接取自 GRE、USMLE、执业资格考试等现成题库（https://arxiv.org/abs/2009.03300）。这是一个重要的黄金答案经济学信号：与其雇人写题，不如复用人类已有的标准化考试及其官方答案——低成本、带天然难度分层、天然带"人类考生基线"。
• 2021 年：代码与推理评测成型——HumanEval（Codex 论文，164 道手写编程题，黄金答案不是文本而是隐藏单元测试，"可执行黄金答案"从此与"文本参考答案"并立，https://arxiv.org/abs/2107.03374）；GSM8K（8.5K 道小学数学应用题，2021.10，https://arxiv.org/abs/2110.14168）；MATH（2021.4）、TruthfulQA（2021.9，https://arxiv.org/abs/2109.07958）。
• 2022.6：BIG-bench——204 个众包任务（https://arxiv.org/abs/2206.04615），把"社区协作出题"推到规模化；与 2021 年的代码/推理评测共同构成 LLM 评测基础设施的题库层。
• 2021 年：EleutherAI 发布开源评测框架 lm-evaluation-harness，把"加载模型 → 跑任务集 → 出指标"标准化、可复现化（https://github.com/EleutherAI/lm-evaluation-harness）。评测本身开始有"框架"和"工程"。
• 2022.11：斯坦福 CRFM 发布 HELM，主张同一组数据上同时测准确率、校准、鲁棒性、公平性、毒性、效率等多维指标（https://crfm.stanford.edu/helm/；https://arxiv.org/abs/2211.09110）。评测从"单一分数"走向"多维画像"。
• 训练侧的标注工业化：2022.3 InstructGPT 论文披露 RLHF 数据流水线——通过 Upwork 和 Scale AI 招募标注团队，先写示范答案（SFT），再对模型输出做偏好排序训练奖励模型（https://arxiv.org/abs/2203.02155）。"人工标注"从评测环节扩展为模型生产的生命线，标注指南、培训、质量控制成为厂商核心工程。

1.6 阶段五（2022.12–2023）：ChatGPT 冲击——偏好评测与"LLM 当裁判"

• 2022.11.30：ChatGPT 发布。用户体感与 MMLU 分数严重脱节：静态知识基准测不出"会不会聊天、听不听指令"。评测对象的性质变了，评测方法被迫重造。
• 2023.5.3：LMSYS（2023.3 由 UC Berkeley 等校研究者成立，发布 Vicuna，https://lmsys.org/blog/2023-03-30-vicuna）上线 Chatbot Arena——匿名随机双盲对战 + Elo 排名（https://www.lmsys.org/blog/2023-05-03-arena）。这是数据采样的范式革命：评测题目不再由专家编写，而是持续从真实用户提问中采样，人类在不知品牌的情况下投票。2023.7 LMSYS 发布 33K 条众包对话/投票数据；2023.12 榜单从在线 Elo 切换为更稳定的 Bradley-Terry 模型（https://www.lmsys.org/blog/2023-12-07-leaderboard）；到 2024.3 论文发表时已积累 24 万票（https://arxiv.org/abs/2403.04132）。
• 2023.6：LMSYS 的 MT-Bench 论文《Judging LLM-as-a-Judge》确立两大发明：80 题多轮对话评测集，以及用 GPT-4 当裁判给开放回答打分——报告 GPT-4 裁判与受控/众包人类偏好的一致率超过 80%，与人与人之间的一致率相当；同时首次系统列出裁判的位置偏差、冗长偏差、自利偏差（NeurIPS 2023 D&B；https://arxiv.org/abs/2306.05685）。"一致性"问题从"标注者间 kappa"升级为"人机裁判一致率 + 裁判偏差控制"。
• 2023 年开源评测框架大爆发：
  • 2023.4：OpenAI 开源 evals 框架（https://github.com/openai/evals）；
  • 2023.8：UC Berkeley 的 AlpacaEval（LLM 裁判自动胜率，https://tatsu-lab.github.io/alpaca_eval/）；
  • 2023.9：Ragas 提出 RAG 无参考评测指标（faithfulness、answer relevancy、context precision/recall），把"没有黄金答案时怎么评"工程化（https://arxiv.org/abs/2309.15217）；
  • 2023.10：Princeton 的 SWE-bench——2,294 个真实 GitHub issue，黄金答案 = golden patch + fail-to-pass 测试，把"可执行黄金答案"推到极致（https://arxiv.org/abs/2310.06770）；同期 GPQA 用博士级"谷歌搜不到答案"的问题对抗记忆（https://arxiv.org/abs/2311.12022）；
  • AgentBench（2023.8）、MMMU（2023.11）开拓 Agent 与多模态。
• 中文评测体系同期起步：C-Eval（2023.5，上海交大/清华等）、CMMLU（2023.6）、上海 AI Lab OpenCompass 评测框架（2023 年年中开源），把上述方法论移植到中文场景。

驱动因素：ChatGPT 让"开放生成如何打分"成为头号问题；人工评测成本高、慢，LLM-as-a-judge 以"一致性够高 + 偏差可控"换取成本百倍下降；开源社区需要不依赖厂商的自动评测。

1.7 阶段六（2024）：污染危机、动态评测与评测平台工业化

• 数据污染成为显学。2023.8 Golchin & Surdeanu 的 "time-travel" 方法让模型"预测测试题的过去"，以 92–100% 准确率判定测试数据是否进了训练集（https://arxiv.org/abs/2308.08493）；2024.6 出现系统综述（https://arxiv.org/abs/2406.04244）。n-gram 重叠、MinHash、困惑度、黑盒行为探测等检测手段涌现——评测集建设的第 0 条军规变成"先查泄漏"。
• 动态评测给出工程解：LiveCodeBench（2024.3，持续纳入竞赛新题，https://arxiv.org/abs/2403.07974）；LiveBench（2024.6，Abacus.AI 的 Colin White 与 Yann LeCun 等，每月换题，题目取自模型训练截止日之后的新闻/arXiv/电影/数学竞赛，客观判分，自称 "contamination-limited"，https://arxiv.org/abs/2406.19314；https://livebench.ai）。"评测集 = 有版本号的活文档"自此成型。
• 黄金答案质量本身成为工程对象：2024.8 OpenAI 与 SWE-bench 作者合作发布 SWE-bench Verified——雇人工复核原 2,294 题，筛出 500 道问题描述清晰、测试可靠、golden patch 正确的题（https://openai.com/index/introducing-swe-bench-verified；https://www.swebench.com/verified.html）。"黄金答案错不多，评出来的名次就是错的"成为共识。
• 裁判的持续校准：Arena-Hard（2024.4，LMSYS 从 live 对战数据采样 500 道高区分度难题，与 Arena 相关性最高，https://www.lmsys.org/blog/2024-04-19-arena-hard）；AlpacaEval 2.0 引入长度控制胜率（LC win rate）修正冗长偏差，与 Arena 相关性提升到 0.98（https://arxiv.org/abs/2404.04475）；MMLU-Pro（2024.6）去掉噪声题、选项从 4 个增到 10 个（https://arxiv.org/abs/2406.01574）。
• 评测平台工业化：LangSmith（LangChain 商业评测/可观测平台，2023 年起）、Braintrust（数据集管理 + 实验 + 大规模回归）、promptfoo（开源、CLI/YAML、CI 友好，https://github.com/promptfoo/promptfoo）、DeepEval（Confident AI，pytest 风格，2023 年底）、Langfuse/Arize Phoenix 等相继出现。"golden dataset + 自动断言 + 每次变更必跑"从个别团队的实践变成平台标准功能——回归测试传统正式并轨。
• 方法论进入官方文档：Anthropic 平台文档《Define success criteria and build evaluations》明确"先定成功标准再写 prompt"，指出"两个工程师对边界情况的理解都可能不同，评测集就是用来消歧的"（https://platform.claude.com/docs/en/test-and-evaluate/develop-tests）；2024.12 Anthropic 发布《Building Effective Agents》强调 agent 必须有评测护航（https://www.anthropic.com/engineering/building-effective-agents）。

1.8 阶段七（2025–2026）：评测驱动开发、企业化与黄金答案的"成本革命"

• 黄金答案进入"悬赏采购"时代：2025.1.23，CAIS 与 Scale AI 发布 Humanity's Last Exam——2,500 道题、100+ 学科，2024.9 起向全球约 1,000 名学科专家开放征集、按题付酬，首发时顶级模型正确率仅约 10–15%（https://scale.com/blog/humanitys-last-exam-results；https://lastexam.ai；https://arxiv.org/abs/2501.14249）。黄金答案的获取从"内部编写"演化为"全球悬赏 + 专家质量审核"。
• 评测集建设被厂商产品化：2025.4.9 OpenAI 启动 Pioneers 计划，联合企业共建法律、金融、医疗等领域的专属评测集（https://openai.com/index/openai-pioneers-program；https://techcrunch.com/2025/04/09/openai-launches-program-to-design-new-domain-specific-ai-benchmarks）；2025.11.19 OpenAI 再发企业评测 primer，称"evals 驱动 AI 的下一章"（https://openai.com/index/evals-drive-next-chapter-of-ai）。
• 刷榜危机推动透明化：2025.4 Meta 以未公开的 "Llama-4-Maverick-03-26-Experimental" 变体冲上 Arena 榜首，与公开发布版表现不符，舆论哗然；LMArena 确认厂商曾在对战模式匿名测试大量变体，随后收紧政策：厂商最终发布的模型必须与送测版本一致（检索综述见 https://arduin.io/blog/llama4-analysis）。人工偏好评测的"采样与送测规则"第一次被当作防作弊制度来建设。
• 黄金答案形态再次进化——"人类基线交付物"：2025.9.25 OpenAI 发布 GDPval：1,320 个来自 44 种职业、9 大经济部门的真实工作任务，把模型输出与资深从业者的交付物盲对比，黄金答案不再是"一个正确答案"，而是"一组人类专业基线"（https://openai.com/index/gdpval；https://arxiv.org/abs/2510.04374）。
• 黄金答案的审计时代：2025.9 Scale AI 发布 SWE-bench Pro——1,865 题、41 个仓库，特意纳入商业闭源仓库与训练截止日之后的新代码以防污染（https://arxiv.org/abs/2509.16941）。随后其标注质量遭到两路独立质疑（修订时已补来源并核实原文）：2026.7 OpenAI 发布审计，估计 SWE-bench Pro 公开 731 题中约 30% 存在破损（管线标记 200 题/27.4%，人工标注确认 249 题/34.1%），常见失效模式是测试过严、正确解被判错，并正式撤回此前的采用建议（https://openai.com/index/separating-signal-from-noise-coding-evaluations）；2026.9 上海 AI Lab 联合华东师大、复旦的重标注审计在不改模型、不换 checkpoint 的情况下，使 GLM-5.2 在同一批 731 题上的分数从 78.80% 跌至 59.51%（−19.29 分）（Kili Technology 数据故事报道：https://kili-technology.com/blog/data-story-ai-benchmark-audit-swe-bench-pro-verified）——评测集自身的 QA（对黄金答案的"回归测试"）成为新课题。
• 2026 年的收敛形态：五个子系统各自成熟为可复用的工程组件——
  • 数据采样：真实流量挖掘 + 难例挖掘（从生产失败 case 反哺评测集）+ 每月滚动更新（LiveBench 式）；
  • 黄金答案：分层设计——能写断言的写断言（单元测试/正则/结构校验），能对参考的对参考，都不行的上 rubric + LLM 裁判 + 人类基线；
  • 人工标注：专家悬赏（HLE 模式）/ 企业内专家（GDPval 模式）/ 众包偏好（Arena 模式）三轨并行（行业整体形态；企业应用侧的收敛口径见本报告第三篇 3.2）；
  • 一致性：裁判模型先与人工小样本对齐校准，控制位置/长度/自利偏差，关键判定用多裁判投票与置信度分级，不确定样本升级人工；
  • 回归测试：评测集版本化冻结，随 CI 在每次 prompt/模型/语料变更时运行；模型供应商弃用旧版本时用同一评测集做模型漂移回归，已成为 AI 应用运维的标准动作。

1.9 五条主线的贯通观察

1. 数据采样的演化是"专家写题 → 众包写题 → 复用人类考试 → 采样真实用户（Arena）→ 采样真实工作（GDPval）→ 动态滚动（LiveBench）"，离"闭卷作文"越来越远，离"真实世界"越来越近。
2. 黄金答案的演化是"文本参考 → 人工判断模板 → 可执行测试（HumanEval/SWE-bench）→ 评分 rubric → 人类基线交付物"，越来越不像"答案"，越来越像"规格说明"。
3. 人工标注的演化是"研究者自标 → 众包 → 厂商专业标注团队（RLHF）→ 专家悬赏 → 人类基线盲评"，标注者越来越贵、越来越专业，但 2008 年 Snow 等人确立的"多标 + 聚合 + 一致性检验"配方从未过时。
4. 一致性的演化是"kappa → 与人类基线比较 → 人机裁判一致率（MT-Bench 的 80%）→ 裁判偏差控制（LC win rate、多裁判投票）"，度量对象从"人与人"扩展到"机器裁判与人"。
5. 回归测试的演化是"不存在（模型冻结）→ 评测框架标准化（lm-eval-harness/evals）→ 评测平台 CI 化（promptfoo/Braintrust/LangSmith）→ 官方方法论背书（Anthropic/OpenAI 文档）→ 评测集自身也要被审计（SWE-bench Verified/Pro 之争）"。

一句话总结这条纵轴：评测集从"一次性考试"演进为"活的基础设施"——它会泄漏、会饱和、会被刷、会自身出错，因此围绕它的采样、造答、标注、一致性校准与回归防护，构成了一门独立的、仍在快速生长的工程学科。

1.10 时间线速览

第二篇 横轴：横向对比——2026-11 时间截面上的路线图谱

2.1 课题拆解：它到底在"卖"什么

这个课题不是单一工具，而是一条方法论流水线，可拆成五个能力件：

1. 数据采样——从生产 trace、用户反馈、失败工单中采出"值得测"的输入；
2. 黄金答案（Golden Answer）——为输入配上经专家确认的参考输出或确定性通过标准；
3. 人工标注——组织标注员/领域专家完成标注，并有分诊→专家→校准的队列工作流；
4. 一致性保障——用标者间一致性（IAA）指标与校准机制保证标签可信；
5. 回归测试——把评测集接进 CI/CD，版本变更时跑实验、贴分数、卡回归。

因此它的"竞品"不是一个产品，而是在每个能力件上做了不同取舍的替代路线。市面上任何一条替代路线，要么覆盖其中几个能力件，要么干脆宣称不需要其中某几个（如"无黄金答案的 LLM-as-a-Judge"）。横向对比回答的问题是：在 2026 年 11 月，这条重人力的"笨办法"仍然不可替代的部分是什么，正在被什么蚕食。

2.2 竞品/替代方案图谱：六条路线

六类方案对五个能力件的覆盖度（●原生覆盖 / ◐部分或需自建 / ○不覆盖。注意：对 E 类托管平台，符号只表示"功能容器是否齐备"——平台提供 trace 导入、expected 字段、校准队列等流程容器，但不替你生产可信的采样结果与标签，容器 ≠ 实质产出）：

结论先行：没有任何一条替代路线能同时覆盖五个能力件——E 与 F 是仅有的两条覆盖回归测试的替代路线，但只是"运行评测的载体"：E 在数据采样、黄金答案、一致性保障上提供的只是容器与流程（trace 导入、expected 字段、校准队列），并不替你生产可信的采样结果与标签；"数据从哪来、标签是否可信"这两个问题没有任何路线替你解决，而这正是本课题的主体。

2.3 主对比表：维度 × 方案

2.4 逐项对比说明

2.4.1 数据采样：真实流量 vs 公开题库 vs 模型想象

公开基准路线的问题在 2025–2026 已被反复证实：一是数据污染——基准题混入训练语料导致虚高，LiveBench（arXiv:2406.19314）干脆把"防污染"作为设计目标、定期换题（https://arxiv.org/html/2406.19314v2）；检测方法如 CoDeC 也随之出现（https://kaitchup.substack.com/p/did-the-model-see-the-benchmark-during）。二是分布错配——多篇实践文章指出公开榜单分数不能预测自己业务上的表现（https://tracebloc.io/blog/llm-benchmarking）。MixEval 团队也承认：Chatbot Arena 这类用户投票评测信号可靠但慢且贵，动态基准时间长了同样会被污染（https://mixeval.github.io）。

自建评测集的采样主张（以 Langfuse 官方工程指南为代表，横轴章当日抓取原文核实）：优先级为生产 trace > CSV 导入 > 合成数据；合成数据只用来"填补覆盖缺口（改述、边界、对抗性表达）"，且须与真实条目同等审核（https://langfuse.com/resources/engineering/golden-dataset-evaluation）。Braintrust 的版本更进一步：先用聚类（Topics）把 traces 按失败模式分组，让评审者关注模式而非单条事件（https://www.braintrust.dev/blog/human-review-golden-datasets）。

横向结论：采样是所有路线中"最没技术含量、但最决定评测有效性"的一环。公开基准在采样上是零成本零收益；合成生成在采样上高产出低真实性；只有"从自家生产失败里采"这一条路，与课题目标完全对齐。

2.4.2 黄金答案：谁在生产"可信的参照物"

• 公开基准自带标准答案，但引用即贬值（污染），且不覆盖你的业务形态。
• Judge 路线明确不生产黄金答案——这正是它的卖点也是它的软肋：没有参照物时，"分数下降"无法区分"系统变差"还是"裁判变卦"。Langfuse 指南的核心定义很直白：黄金数据集的价值在于可信度——"分数下降时应得出'改动导致质量回退'的结论，而不是'第 23 条标签错了'"（https://langfuse.com/resources/engineering/golden-dataset-evaluation）。
• 合成生成能生产"候选答案"：Ragas 的 TestsetGenerator 从文档构建知识图谱，用 persona + scenario + 查询合成器生成 simple/multi-hop/reasoning/conditional 各类问题并配 ground-truth（https://docs.ragas.io/en/stable/getstarted/rag_testset_generation），但这些 ground-truth 在主流工程指南中一律被要求人工复核后才算 golden。
• 自建评测集的定义方式：黄金答案的起点通常是"模型的实际生产输出 + 领域专家修正"，且并非每条都需要——只跑无参考评估器（格式/安全/语气）的条目可以没有 expected output；expected 要写成确定性目标（如"返回含 X/Y/Z 键的 JSON"）而非"有用的回答"（Braintrust，同上）。
• 学术侧支持：arXiv 2506.13023 的实操指南指出，对需要专门知识的任务，人工标注优于自动评估，因为它能发现基础模型注意不到的细节（https://arxiv.org/html/2506.13023v1）。

横向结论：黄金答案是整个评测体系的度量原器。Judge、合成数据、平台实验全都消费它或校准于它——这是本课题最不可替代的能力件。

2.4.3 人工标注：自建队列 vs 标注工具 vs 整体外包

横向结论：外包（D）换质量与规模，代价是钱与数据出域；开源工具（Argilla/Label Studio）适合把标注留在私有环境，但流程要自己搭；平台队列（E）把"标注→成库→回归"闭环做进产品，是 2026 年对自建管道侵蚀最大的路线。第三方对比一致认为：Argilla 赢在 LLM/RLHF 反馈场景，Label Studio 赢在多模态广度（https://aiml.qa/blog/argilla-vs-label-studio-data-quality）。另需注意定价口径：Scale/Surge 为报价制、无公开价目表，Prolific 按任务计价、定价公开；第三方分析认为 Scale 的溢价买的是"规模+托管质量"，若自管人力用 Labelbox 更可控（https://aiml.qa/blog/labelbox-vs-scale-ai ；https://goblinkly.com/blogs/scale-ai-pricing-competitors-alternatives）。

2.4.4 一致性：IAA 指标、阈值与 judge 校准——所有路线的共同短板

人工标注侧的成熟做法：

来源：https://mbrenndoerfer.com/writing/inter-annotator-agreement-kappa-alpha-reliability ；https://claru.ai/glossary/inter-annotator-agreement ；https://www.appen.com/blog/krippendorffs-alpha ；https://labelstud.io/blog/how-to-use-krippendorff-s-alpha-to-measure-annotation-agreement 。选择何种 IAA 度量本身在学界仍是活跃议题（https://arxiv.org/html/2603.06865v2）。注意：IAA 度量的是信度（reliability）不是正确性（correctness），阈值应随任务声明（https://lifewood.com/blogs/inter-annotator-agreement-kappa-alpha）。

自动评测侧的一致性问题同样明确：MT-Bench/Chatbot Arena 原始论文（Zheng et al., NeurIPS 2023）给出 GPT-4 judge 与人类偏好 >80% 一致（与人和人之间的一致率相当），但同时确认位置偏差、长度偏差、自我增强偏差、推理验证能力有限四大缺陷（https://arxiv.org/html/2306.05685v4 ；NeurIPS 页：https://papers.nips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html）。后续研究（arXiv:2503.05061）进一步收紧：只有当 judge 自己能答对该题时，它才与领域专家在正确性上一致（https://arxiv.org/html/2503.05061v1）——这等于宣告：越难的题，judge 越不可信，恰恰是黄金答案最有价值的题。

横向结论：一致性是所有路线的公约数短板，2026 年的主流收敛解法是"校准队列"——Braintrust 明确要求持续追踪 judge 与人类评分的对齐度，漂移即重校 prompt 或阈值（https://www.braintrust.dev/blog/human-review-golden-datasets）；Langfuse 则要求人工审核作为自动采集失败条目转为 golden 的必经闸门（https://langfuse.com/resources/engineering/golden-dataset-evaluation）。也就是说：对手越自动，越需要本课题的人工锚点。

2.4.5 回归测试：开源框架 vs 平台实验

第三方对比的共识定位：Promptfoo 适合 CLI 优先的本地回归与提示词对比，Langfuse 强在生产观测+评测叠加，Braintrust 强在托管化数据集与打分 UI，DeepEval 强在 pytest 化指标（https://cadence.withremote.ai/blog/best-llm-evaluation-frameworks ；https://turion.ai/blog/agent-evaluation-frameworks-comparison-2026）。

Langfuse 指南给出的工程细节可作为回归测试的量化基线：CI 回归/大改动用 100–1000 条，PR 门禁子集数十至低几百条，快速入门 20–50 条已审核条目；"100 条多样本胜过 1000 条近重复"；跨日期对比必须 pin 同一数据集版本；警惕"总差很小但单条大幅对冲"的情况——那不是无影响，是行为变化；建议每季度审查超 6 个月的旧条目（https://langfuse.com/resources/engineering/golden-dataset-evaluation）。

横向结论：回归测试的"轮子"已经非常完善（F 与 E 都能跑），本课题的增量贡献在于给轮子喂可信且不断更新的数据集——尤其"持续把生产负信号（如 thumbs-down）转成候选条目、归档而非删除、监控数据集年龄分布防漂移"这套维护纪律，是任何框架都不自带、必须靠方法论补齐的部分。

2.4.6 中文生态对照

• OpenCompass（司南，上海 AI 实验室）：开源评测平台，含榜单、评测集社区；OpenCompass 2.0（2024-01）即把数据污染检查、主观评测、长文本评测列为升级点（https://opencompass.org.cn ；https://github.com/open-compass/opencompass ；https://www.shlab.org.cn/news/5443858）——说明"污染检查"已从自建评测集的私有顾虑变成国家级平台的标配功能。
• SuperCLUE：独立中文通用大模型综合测评基准，多轮对话+客观题（https://www.superclueai.com）。
• 中国信通院《大模型基准测试体系研究报告（2024）》：系统梳理了基准测试的挑战与系统化构建方案（https://www.caict.ac.cn/kxyj/qwfb/ztbg/202407/P020240711534708580017.pdf）。

对中文场景而言，OpenCompass/SuperCLUE 扮演"路线 A"角色（模型选型初筛），企业自建黄金评测集仍需走本课题路线；两者互补而非互斥。

2.5 成本与成熟度横向评估

第三篇 交叉洞察：两轴结合说明了什么

3.1 四组互相印证的结论

其一：纵轴的"活的基础设施"与横轴的"地基"是同一件事的两面。 纵轴证明评测集会泄漏（time-travel 检测）、会饱和（GLUE 一年寿命）、会被刷（Llama 4 争议）、会自身出错（SWE-bench Verified/Pro 之争）——正因为它如此易变，横轴上各条自动化路线才必须依赖一个可信的参照物：B judge 路线需要人工标注校准（Braintrust 的 judge-alignment 追踪）；C 合成生成路线需要人工审核转正（Langfuse/Ragas 的共同要求）；D 外包标注路线需要第二信源抽查其产出（见 3.3 决策表：D + 本课题做质检锚点）；E 托管平台路线的实验需要 pin 住可信数据集版本。B/C/D/E 越自动化、越上规模，对黄金评测集产出的依赖越深——这是"重人力方法论"在自动化浪潮中反而升值的根本原因。

其二：黄金答案的形态演化史，解释了它为什么是唯一"度量原器"。 纵轴显示黄金答案从"文本参考"（BLEU）→"可执行测试"（HumanEval/SWE-bench）→"rubric"→"人类基线交付物"（GDPval），越来越不像"答案"、越来越像"规格说明"；横轴从工程侧得出同一结论——Braintrust 要求 expected 写成确定性目标（"返回含 X/Y/Z 键的 JSON"）而非"有用的回答"。形态越抽象，越需要人工锚定其正确性：SWE-bench Verified 雇人工复核 500 题、HLE 用全球专家按题付酬并审核，都是在为"规格说明"本身做质检。

其三：两个"80%"合起来，才是一致性问题的完整答案——第一个 80% 指 MT-Bench 论文报告的 GPT-4 裁判与人类偏好 >80% 的一致率，第二个 80% 指人工标注侧 Krippendorff's α≥0.80 的可靠性阈值。 MT-Bench 论文的 80% 人机一致率（纵轴历史事件）曾让业界以为 judge 可以替代人工；横轴引用的 arXiv:2503.05061 把条件补齐——只有当 judge 自己能答对该题时，它才与领域专家在正确性上一致。两者合并得到可操作的分层策略：judge 能稳定答对的易题，用 judge 扩量；judge 答不对的难题（恰恰是黄金答案最有价值的题），必须回到人工标注与专家校准。一致性度量也随之分层：人工侧用 kappa/Krippendorff's α（α≥0.80 才可下可靠结论），人机侧用 judge 对齐度追踪（漂移即重校）。

其四：黄金答案的"成本革命"与回归测试的"规模锚点"，共同指向 2026 年的工程经验配置。 纵轴的前沿基准走专家悬赏路线（HLE 千名专家、2,500 道题，按题付酬），成本随题数线性上升且极高；横轴的企业侧锚点是 Langfuse 给出的量化基线（入门 20–50 条、CI 回归 100–1000 条、"多样性优先于数量"）。自建黄金集的人力成本随条数近似线性上升，judge 的边际成本则近乎平坦——本文不做成本测算，也不宣称存在可计算的"最优交点"，只给出据此形成的工程经验配置：百条级核心黄金集 + judge 扩量（"百条级"来自 Langfuse 的 CI 回归工程经验锚点，不是成本曲线推导结果）。前沿基准与企业黄金集由此形成两条不同的经济线：前者买"能力上限的测量精度"，后者买"自家系统的质量门禁"。

3.2 两章重复与口径差异的消解

综合两章时发现的主要重叠与处理如下（未发现硬性事实矛盾）：

1. MT-Bench 人机一致率：两章引用同一论文（arXiv:2306.05685）的同一数字（>80%）。统一口径：纵轴叙述历史事件与发明权，横轴补充 NeurIPS 版本链接与四大偏差的完整清单，交叉洞察（3.1 其三）合并 2503.05061 的后续修正。
2. 污染问题：纵轴讲污染检测方法的出现时间线（time-travel 2023.8、综述 2024.6），横轴讲污染对路线 A 的实际影响与 LiveBench/CoDeC/MixEval 的应对。合并为一条线：污染检测是"先查泄漏"军规，动态换题与私有数据集是两条工程解。
3. 评测平台与框架：纵轴阶段六记录 LangSmith/Braintrust/promptfoo 等的出现与"回归测试并轨"，横轴逐工具对比其 2026-11 的能力细节。统一口径：纵轴讲"何时出现"，横轴讲"当下谁强"，不重复罗列。
4. 人工标注的口径差：纵轴 2026 收敛形态称"专家悬赏/企业内专家/众包偏好三轨并行"，横轴称"自建标注管道在 2026 年已无必要，除非有强数据出域限制"。消解为分层表述：三轨是行业整体形态（前沿基准靠悬赏、Arena 靠众包、RLHF 供应链靠外包），企业应用侧则不自建大规模标注管道——简单判断交给 judge，复杂判断交给外包专家池，企业保留的只是校准队列与黄金答案生产。
5. 众包标注的"过时/不过时"：纵轴强调 2008 年 Snow 等确立的"多标 + 聚合 + 一致性检验"配方从未过时，横轴则指出自建众包流程被平台与外包取代。两者不矛盾：配方（多标、聚合、IAA 检验）不变，实现载体从自建 AMT 流程迁移到平台队列与外包供应商。
6. SWE-bench Pro 质量质疑：初稿注明"据检索结果"（二手转述、未确证）；本次修订已按审读意见补两处二手来源并核实原文——OpenAI 审计（约 30% 任务破损、撤回采用建议）与上海 AI Lab 重标注审计（GLM-5.2 分数移动 −19.29 分，Kili Technology 报道），该质疑从"未确证"升级为"有源可查"，结论不变：评测集自身的 QA 成为新课题。

3.3 对用户的判断与建议

适用场景决策表（源自横轴章第 6 节，结合纵轴结论修订）：

六条具体建议：

1. 先定成功标准，再写 prompt，再建评测集——这是 Anthropic 官方文档的次序，也是纵轴"评测驱动开发"合流的起点；评测集本身是用来消歧"两个工程师对边界情况理解不同"的工具（https://platform.claude.com/docs/en/test-and-evaluate/develop-tests）。
2. 采样从生产 trace 起步：优先级 生产 trace > CSV 导入 > 合成数据；按失败模式聚类分组评审；负信号（thumbs-down、失败工单）自动转成候选条目（Langfuse/Braintrust 指南）。
3. 黄金答案分层设计：能写断言的写断言（结构校验/单元测试），能对参考的对参考，都不行的上 rubric + LLM 裁判；expected 写成确定性目标而非"有用的回答"；规模锚点入门 20–50 条、CI 回归 100–1000 条，多样性优先于数量。
4. 一致性做成固定动作而非一次性验收：人工侧 Krippendorff's α≥0.80 才可下可靠结论；judge 侧持续追踪与人工评分的对齐度、漂移即重校；难题（judge 自己答不对的题）一律升级人工。
5. 回归测试接 CI 门禁：评测集版本化冻结、跨日期对比 pin 同一版本、警惕"总分没动但单条大幅对冲"的假阴性；模型/供应商版本弃用时用同一评测集做漂移回归。
6. 把评测集自身纳入 QA：季度审查超 6 个月的旧条目、归档而非删除、监控数据集年龄分布；引用公开基准前先做污染检查（OpenCompass 2.0 已把污染检查做成标配）——"先查泄漏"是第 0 条军规，对自家黄金集与外部榜单同样适用。

一句话判断：在 2026 年 11 月，评测集建设已经"工具极大丰富、纪律极度稀缺"——跑评测的轮子（六条路线）任你挑，但"测什么、答案可不可信、标签可不可信"这三件事没有任何工具替你做；这门功课的名字就叫 AI 应用评测集建设，它值钱的部分恰恰是那些必须由人持续执行的维护纪律。

3.4 最小落地路径：E/F 选择规则、judge 选型与 30/60/90 天清单

3.3 的六条建议回答"做什么"，这一节回答"怎么落地"。以下清单把正文已引用的工程锚点（Langfuse 规模基线、Braintrust 三级队列、Promptfoo/Langfuse CI 集成、Krippendorff's α 阈值）串成最小闭环；文中所有数字均出自正文已标注来源，未新增测算。

E/F（托管平台 vs 开源框架）选择决策规则（补 2.4.5"只对比、不给规则"的缺口）：

一句话规则：F 是执行器，E 是协作容器；数据敏感选 F 或自托管 Langfuse，团队协作选 E，不互斥可叠加。

judge 用哪个模型：本文不给具体型号背书，给三条可执行规则——①选生产中实际使用、行为稳定的最强模型，不追新（judge 换版本本身就是一次需要重校的变更）；②上岗前先在人工已标的首批黄金集（20–50 条）上测 judge 与人工的一致率，以 MT-Bench 的 >80% 人机一致率为参照基准，达标才准用；③记住 arXiv:2503.05061 的边界——judge 只在自己能答对的题上与专家一致，难题一律升级人工。

谁来标（队列分工，照搬 Braintrust 三级队列）：工程侧做分诊（忽略/需评审/重复）；领域专家（SME）填 expected 与 rubric 判分；校准队列至少 2 人背靠背对同一条目定期打分（2 人算 Cohen's kappa，多人用 Fleiss' kappa/Krippendorff's α 聚合），保持 rubric 不腐化。

rubric 模板最小形态：维度名 + 分档定义（每档一句可判定的描述，如"5 分 = 完全符合约束且无多余动作"）+ 正反例各一条；expected 写成确定性目标（"返回含 X/Y/Z 键的 JSON"），不写"有用的回答"。

30/60/90 天清单：

• 第 0–30 天：立门禁。 按 Anthropic 次序先定成功标准再写 prompt；从生产 trace 按失败模式聚类（Braintrust Topics）采第一批 20–50 条（Langfuse 入门锚点），来源优先 thumbs-down、失败工单、评审人 flag 的 run；每条配 expected 或 rubric；双人背靠背标一轮并算 Krippendorff's α（≥0.80 才可下可靠结论）；把 Promptfoo GitHub Action 或 Langfuse experiment-action 接进 PR 门禁。
• 第 31–60 天：扩量与校准。 CI 回归集扩到 100–1000 条（"100 条多样本胜过 1000 条近重复"）；主观维度启用 judge，并在人工已标子集上做首轮对齐校准、记录基线一致率；建立校准队列轮值制度；合成数据一律过人工审核才转正入库。
• 第 61–90 天：制度化。 设两个重校触发器——人工侧校准 α 跌破 0.80 即复审 rubric 与标注指南，judge 侧与人工抽样的一致率跌破首轮基线即重校 prompt/阈值（Braintrust"漂移即重校"）；建立季度审查：归档（而非删除）超 6 个月的旧条目、监控数据集年龄分布；演练一次模型/供应商弃用时的漂移回归；引用公开基准前先跑污染检查。

边界声明：本节给的是"第一批条目从哪来、谁来标、用什么卡门禁、何时重校"的最小闭环；各团队的具体标价、标速、judge 供应商选型与内部告警阈值取决于业务与预算，属于操作手册层级，本文不代答——完整 SOP 需另行成文。

参考来源

一手论文/官方文档（发展脉络）：

• 图灵《Computing Machinery and Intelligence》：https://academic.oup.com/mind/article/LIX/236/433/986238
• TREC：https://trec.nist.gov ｜ BLEU：https://aclanthology.org/P02-1040/
• 众包标注一致性（Snow et al. 2008）：https://aclanthology.org/P08-1027/
• ImageNet：https://arxiv.org/abs/1409.0575 ｜ SQuAD：https://arxiv.org/abs/1606.05250
• GLUE / SuperGLUE：https://gluebenchmark.com ；https://arxiv.org/abs/1804.07461 ；https://arxiv.org/abs/1905.00537
• MMLU：https://arxiv.org/abs/2009.03300 ｜ TruthfulQA：https://arxiv.org/abs/2109.07958
• HumanEval / GSM8K / BIG-bench / HELM / InstructGPT：https://arxiv.org/abs/2107.03374 ；https://arxiv.org/abs/2110.14168 ；https://arxiv.org/abs/2206.04615 ；https://arxiv.org/abs/2211.09110 ；https://arxiv.org/abs/2203.02155
• lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness
• Chatbot Arena：https://www.lmsys.org/blog/2023-05-03-arena ；https://www.lmsys.org/blog/2023-12-07-leaderboard ；https://arxiv.org/abs/2403.04132 ｜ Vicuna：https://lmsys.org/blog/2023-03-30-vicuna
• MT-Bench / LLM-as-a-Judge：https://arxiv.org/abs/2306.05685 ｜ https://arxiv.org/html/2306.05685v4 ｜ NeurIPS 页：https://papers.nips.cc/paper_files/paper/2023/hash/91f18a1287b398d378ef22505bf41832-Abstract-Datasets_and_Benchmarks.html
• Judge 无人工锚定的局限（arXiv:2503.05061）：https://arxiv.org/html/2503.05061v1
• SWE-bench / Verified / Pro：https://arxiv.org/abs/2310.06770 ；https://openai.com/index/introducing-swe-bench-verified ；https://www.swebench.com/verified.html ；https://arxiv.org/abs/2509.16941 ｜ Pro 标注质量审计（2026）：https://openai.com/index/separating-signal-from-noise-coding-evaluations ；https://kili-technology.com/blog/data-story-ai-benchmark-audit-swe-bench-pro-verified ｜ GPQA：https://arxiv.org/abs/2311.12022
• 数据污染：https://arxiv.org/abs/2308.08493 ；https://arxiv.org/abs/2406.04244 ｜ 检测 CoDeC：https://kaitchup.substack.com/p/did-the-model-see-the-benchmark-during
• 动态评测：https://arxiv.org/abs/2403.07974 ；https://arxiv.org/abs/2406.19314 ；https://arxiv.org/html/2406.19314v2 ；https://livebench.ai ｜ MixEval：https://mixeval.github.io
• 裁判校准与去偏差：https://www.lmsys.org/blog/2024-04-19-arena-hard ；https://arxiv.org/abs/2404.04475 ；https://arxiv.org/abs/2406.01574
• Ragas / promptfoo / evals / AlpacaEval：https://arxiv.org/abs/2309.15217 ；https://docs.ragas.io/en/stable/getstarted/rag_testset_generation ；https://docs.ragas.io/en/stable/concepts/test_data_generation ；https://github.com/promptfoo/promptfoo ；https://github.com/openai/evals ；https://tatsu-lab.github.io/alpaca_eval/
• HLE / GDPval / Pioneers / 企业 evals：https://scale.com/blog/humanitys-last-exam-results ；https://lastexam.ai ；https://arxiv.org/abs/2501.14249 ；https://openai.com/index/gdpval ；https://arxiv.org/abs/2510.04374 ；https://openai.com/index/openai-pioneers-program ；https://openai.com/index/evals-drive-next-chapter-of-ai ；https://techcrunch.com/2025/04/09/openai-launches-program-to-design-new-domain-specific-ai-benchmarks
• Anthropic 评测方法论：https://platform.claude.com/docs/en/test-and-evaluate/develop-tests ；https://www.anthropic.com/engineering/building-effective-agents
• Llama 4 / Arena 争议：https://arduin.io/blog/llama4-analysis

工程指南与平台文档（横向对比）：

• Langfuse《Golden dataset evaluation》（横轴章当日抓取原文）：https://langfuse.com/resources/engineering/golden-dataset-evaluation
• Braintrust《Human review golden datasets》（当日抓取原文）：https://www.braintrust.dev/blog/human-review-golden-datasets
• Promptfoo CI/CD 与 GitHub Action：https://www.promptfoo.dev/docs/integrations/ci-cd ｜ https://github.com/marketplace/actions/test-llm-outputs
• DeepEval 数据集/goldens：https://deepeval.com/docs/evaluation-datasets
• LangSmith 评测概念/标注队列：https://docs.langchain.com/langsmith/evaluation-concepts ｜ https://docs.langchain.com/langsmith/annotation-queues ｜ https://www.langchain.com/blog/announcing-data-annotation-queue
• HELM 榜单/仓库：https://crfm.stanford.edu/helm ｜ https://github.com/stanford-crfm/helm
• LLM 应用评测实操指南（arXiv:2506.13023）：https://arxiv.org/html/2506.13023v1 ｜ IAA 度量选择（arXiv:2603.06865）：https://arxiv.org/html/2603.06865v2
• Label Studio 与 Krippendorff's α 实操：https://labelstud.io ｜ https://labelstud.io/blog/how-to-use-krippendorff-s-alpha-to-measure-annotation-agreement

标注供应商与服务对比：

• Scale AI Data Engine：https://scale.com/data-engine ｜ Surge AI：https://surgehq.ai/workforce ｜ Prolific：https://www.prolific.com/data-annotation
• Prolific 对 Scale 的替代分析：https://www.prolific.com/resources/5-alternatives-to-scale-ai-for-data-labeling ｜ Labelbox vs Scale：https://aiml.qa/blog/labelbox-vs-scale-ai ｜ 定价分析：https://goblinkly.com/blogs/scale-ai-pricing-competitors-alternatives
• Argilla vs Label Studio：https://aiml.qa/blog/argilla-vs-label-studio-data-quality
• 框架对比（第三方观点）：https://cadence.withremote.ai/blog/best-llm-evaluation-frameworks ｜ https://turion.ai/blog/agent-evaluation-frameworks-comparison-2026 ｜ https://genai.qa/comparisons
• 合成数据：https://huggingface.co/blog/davanstrien/self-instruct ｜ https://www.calibreos.com/learn/genai-synthetic-data-generation
• 公开基准不可预测生产：https://tracebloc.io/blog/llm-benchmarking

一致性与中文生态：

• IAA 指标与阈值：https://mbrenndoerfer.com/writing/inter-annotator-agreement-kappa-alpha-reliability ｜ https://claru.ai/glossary/inter-annotator-agreement ｜ https://www.appen.com/blog/krippendorffs-alpha ｜ 信度≠正确性：https://lifewood.com/blogs/inter-annotator-agreement-kappa-alpha
• OpenCompass：https://opencompass.org.cn ｜ https://github.com/open-compass/opencompass ｜ 2.0 发布（含污染检查）：https://www.shlab.org.cn/news/5443858
• SuperCLUE：https://www.superclueai.com ｜ 信通院基准测试体系报告（2024）：https://www.caict.ac.cn/kxyj/qwfb/ztbg/202407/P020240711534708580017.pdf
• 统一基准综述（第三方课程资料）：https://apxml.com/courses/how-to-build-a-large-language-model/chapter-22-extrinsic-evaluation-downstream-tasks/standard-benchmarks-glue-superglue

本报告的输入章节：

• 纵轴章：D:/CodexData/nightshift/output/reports/parts/2026-11-04-AI应用评测集建设-vertical.md
• 横轴章：D:/CodexData/nightshift/output/reports/parts/2026-11-04-AI应用评测集建设-黄金答案-人工标注-回归测试-horizontal.md

附录：审读意见修订对照