题记与说明

文档状态：最终稿（已按 2026-10-29 独立审读意见逐条修订，共 8 条：①Pro 审计「约 30%」口径补全并更正「138/59%」串用笔误；②补全 OpenAI 对 Pro 立场的完整时间链；③修正 TB 榜首爬坡表述与「榜首-第五名」差；④harness 方差证据分档，18.4 个百分点降级为第三方声称；⑤TB 题数统一按附录 A 补二手标注；⑥2025 年时间线重排，HAL 归 10 月；⑦关键名词首用补注；⑧统一版本计数与 Verified 过滤比例。修订时新增第二轮独立复核：The Decoder、The Stack、SWE-bench Pro V2 变更页三处抓取成功并已采纳，Investing.com 抓取返回 403 未能核对，详见附录 B。初稿保留于 drafts/ 目录，未做任何改动）。本稿由同课题两份章节稿综合而成：纵轴稿《Agent 评测基准六年史：SWE-bench、Terminal-Bench 从诞生到自我埋葬》与横轴稿《Agent 评测基准横向对比：SWE-bench、Terminal-Bench 与整个评测生态（横截面：2026-10-29）》。综合时逐项核对了两稿的全部关键数字，矛盾与重复的处理记录见第 3.6 节与附录 B。

研究截面：2026-10-29 ｜ 方法：横纵分析法——第一部分为纵轴（发展脉络叙事），第二部分为横轴（当日横截面的系统性对比），第三部分为两轴交汇处的交叉洞察与建议。文中关键事实的可信度沿用横轴稿的四档标注：【官方】＝直接抓取基准官网/维护方页面核实；【论文】＝arXiv 原文或会议页；【一手媒体】＝有编辑流程的媒体报道；【第三方聚合】＝聚合站/社媒转述，仅供参考。本综合稿在成稿时对两个最关键的事实做了独立复核（OpenAI 官方博客全文、vals.ai 归档榜单），复核结果已写入正文；其余链接转引自两份章节稿，未逐一重访（终稿修订时另行复核的来源清单见附录 B）。

TL;DR

Agent 评测基准正经历「金标之死」。SWE-bench Verified 从 2% 爬到饱和，2026-10-15 被其修复者 OpenAI 弃用：题库可被逐字复述、受审题目近六成有缺陷；接棒的 Pro 也在年中审计中折戟（约 30% 测试损坏，Scale 发布 V2 修复后，OpenAI 自 2026 年秋恢复引用其公开集）。Terminal-Bench 以季度滚动对抗腐烂，却暴露最大丑闻：榜单名次属于「模型×脚手架」组合而非模型——本稿独立复核的同模型换脚手架差 2.8 个百分点（榜首与第五名总共才差 2 个点），第三方分析声称的最大波动达 18.4 个百分点。纵轴规律：基准半衰期指数缩短、瓶颈从出题转向判分、出题权走向半私有。横轴规律：分数与能力脱钩，评测单元是「模型×脚手架×预算」，成本是必报维度。高分基准测出的仍是「被驯化的窄任务」，长程、经济价值与真实职场是空区。引用分数前先问：哪个脚手架、哪个口径、报没报成本。

第一部分 纵轴：发展脉络（2021-07 至 2026-10）

1.0 引子：一条被造出来、又被造它的人亲手埋葬的路

2026 年 10 月 15 日，OpenAI 发表《Why we no longer evaluate SWE-bench Verified》（本次综合时已抓取全文复核，发布时间戳 2026-10-15T19:00:00Z，OpenAI, 2026-10-15）。文章宣布：OpenAI 已停止报告 SWE-bench Verified 分数，并建议其他模型开发商照做。理由有二：其一，对 Verified 集中 138 道模型发挥不稳定题目的审计显示，至少 59.4% 存在实质性测试或描述缺陷——35.5% 的测试过窄（强制特定实现细节，如 pylint-4551 的测试直接 import 题面从未要求的函数名），18.8% 过宽（测试覆盖了题面未写的功能，如 sympy-18199），5.1% 存在其他问题；其二，训练污染已实锤——OpenAI 用 GPT-5 作为自动化红队，在 15 轮多轮诱导下，GPT-5.2-Chat、Claude Opus 4.5、Gemini 3 Flash Preview 三家当红模型都能逐字复述出题目的官方修复补丁（gold patch）。官方博客的原话是：Verified 上的进步「不再反映模型真实软件开发能力的提升，而越来越多地反映模型在训练时接触基准的程度」。

三年前的 2023 年 10 月，SWE-bench 刚诞生时，GPT-4 在它上面只能解出不到 2% 的题。三年间，它被修好过一次（OpenAI 亲自下场做 Verified），被捧成整个行业的成绩单，被抄袭者蹭过名字，被学术审计出泄漏，最后被当年亲手修复它的人宣布放弃。而它的「接班人」Terminal-Bench，从 2025 年 5 月发布到 2026 年 8 月，十五个月里迭代了 1.0 → 2.0 → 2.1 → 3.0 → 4.0 五个大版本，把「基准会腐烂」写成了一条工程假设（tbench.ai 官方博客索引）。

这条纵轴讲的就是这个完整的故事：Agent 评测基准如何从「函数填空题」进化到「真实终端」，又如何在成为行业公共基础设施的过程中，把「测试本身」变成了最大的被攻击面。

1.1 阶段 0：前史——填空题的黄金年代（2021-07 至 2023-08）

要理解 SWE-bench 为什么诞生，得先看它之前的评测长什么样。

2021 年 7 月，OpenAI 发表《Evaluating Large Language Models Trained on Code》（arXiv:2107.03374，arXiv 页面），即 HumanEval：164 道手写函数题，模型补全函数体，跑单测判分。同年 8 月 Google 的 MBPP（arXiv:2108.07732，arXiv 页面）思路相同。这套「函数级填空 + 单测判分」范式统治了此后两年：题目是玩具题，判定是单测，测的是「能不能写一段正确的小代码」。

同时，另一个分支在悄悄长出来——给模型一个「环境」而不是一道「题」。2023 年 7 月，CMU 的 WebArena 发布（arXiv:2307.13854，arXiv 页面），把自托管网站做成 agent 的试炼场；2023 年 8 月，清华的 AgentBench（arXiv:2308.03688，arXiv 页面）首次系统性地问出「LLM 当 agent 到底行不行」；2023 年 11 月，Meta 与 Hugging Face 的 GAIA（arXiv:2311.12983，arXiv 页面）用 466 道人类轻松答对、AI 却吃力的通用助手题，给「agent 能力」画了第一条基线。

这一阶段的驱动因素很清楚：GPT-4 在 2023 年 3 月问世后，HumanEval 这类基准迅速逼近饱和，「模型会写代码」这个问题已经问完，行业需要问下一个问题——「模型能干活吗」。但彼时还没有人把「真实软件仓库」整个搬进考场。

1.2 阶段 1：把 GitHub 变成考场（2023-10 至 2024-03）

2023 年 10 月 10 日，普林斯顿大学 NLP 组把 2294 个真实 GitHub issue 搬上考场，论文标题像一句赌咒：《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》（arXiv:2310.06770，arXiv 页面）。作者名单（Carlos E. Jimenez、John Yang、Alexander Wettig、Shunyu Yao、Kexin Pei、Ofir Press、Karthik Narasimhan）后来在 OpenAI 的 Verified 公告致谢中再次出现（OpenAI, 2024-08）。

SWE-bench 的设计有三个决定性选择，每一个都锁死了它后来的命运：

1. 题目来自 12 个热门 Python 开源仓库的真实 issue，配以对应的隐藏测试用例——「真实工作样本」取代「人造考题」（OpenAI 2026 年博客在回顾中再次确认了这一构造：判分只看 fail-to-pass 测试与回归测试是否全绿）；
2. 判分只看测试是否通过——模型必须生成一个 patch 打进仓库，测试全绿才算赢；
3. 完全开源 + 榜单开放提交——任何人可以复现、提交、盯着别人的分数。

结果是残酷的：GPT-4 裸考只能解出约 2% 的题。这个数字本身成了最好的传播素材——「AI 离真正的软件工程师有多远」从此有了一把尺子。论文后被 ICLR 2024 接收，仓库 github.com/SWE-bench/SWE-bench 成为整个赛道的地基。

2024 年 3 月，团队推出 300 题的子集 SWE-bench Lite 以降低评测成本；同月配套的 SWE-agent 系统上线，在完整集上跑出 12.47%（swebench.com 官方时间线）。一个容易被忽视的细节是：SWE-bench 从第一天起就把「模型」和「脚手架（scaffold/harness）」拆成了两个变量——分数是「模型 + agent 框架」的组合分。这个设计在 2024 年 5 月被普林斯顿团队自己的 SWE-agent 论文（arXiv:2405.15793，arXiv 页面）理论化为 Agent-Computer Interface（ACI）：给模型什么样的工具接口，和模型本身一样影响成败。这条暗线贯穿了此后所有 agent 评测的争论——你测的到底是模型，还是那个 harness（详见第二部分 2.7 节专题）。

驱动这一阶段的核心因素有两个：一是开源社区对「可复现、可比较」的饥渴——一个能 Docker 一键跑分的基准是刚需；二是 2023 年底以来各家对「coding agent」路线下注前的恐慌性测量需求。

1.3 阶段 2：实体化与第一次信任危机（2024-03 至 2024-12）

2024 年 3 月 12 日，一家当时默默无闻的公司 Cognition 发布 Devin，号称「世界第一个 AI 软件工程师」，宣称在 SWE-bench 上创下 unassisted（无辅助）13.86% 的 SOTA，演示视频里它甚至完成了一个真实的 Upwork 外包单（发布报道综述）。一个月后，YouTube 频道 Internet of Bugs 逐帧打假：那个 Upwork 单子和客户真实诉求对不上（批评文章见 Jurgen Gravestein《We Need To Talk About Devin》，Substack）。

Devin 事件把一件事变成行业共识：基准分数与营销声明的绑定一旦形成，基准的公信力就是公共产品。此后九个月，赛道进入「实体化」高潮——

• 2024 年 4 月 11 日，OSWorld（arXiv:2404.07972，arXiv 页面）把整台 Ubuntu 虚拟机搬进考场；
• 2024 年 5 月 6 日，普林斯顿 SWE-agent 论文正式提出 ACI 概念（arXiv:2405.15793）；
• 2024 年 6 月 17 日，Sierra 的 tau-bench（arXiv:2406.12045，arXiv 页面）引入用户模拟，测客服 agent 的策略遵守；
• 2024 年 12 月 18 日，CMU 的 TheAgentCompany（arXiv:2412.14161，arXiv 页面）干脆建了一整个虚拟软件公司。

而第一次信任危机在 2024 年 8 月被官方坐实。OpenAI 发布 SWE-bench Verified：组织 93 名（OpenAI 官方博客回顾口径为「每题三名专家独立评审」）签约工程师，对 SWE-bench 全集中的 1699 道题逐题人工标注，过滤后得到 500 题的 Verified 集——1699 进 500，约七成（70.6%）的题目因「问题描述欠规格、测试对 agent 不公平」等原因被剔除。同一个 GPT-4o，在原始集上 16%，在 Verified 上 33.2%（OpenAI, 2024-08）。一份头部实验室愿意署名的「净化版」子集，等于官方承认：原版大部分题目不可信。

学术界的审计紧随其后。2024 年 10 月 9 日，《SWE-Bench+: Enhanced Coding Benchmark for LLMs》（arXiv:2410.06992，Aleithan、Xue、Uddin 等，arXiv 页面）人工核查 SWE-agent + GPT-4 的「成功」样例：32.67% 的成功 patch 涉及解法泄漏（答案就写在 issue 正文或评论里），31.08% 是靠弱测试蒙混过关；把这两类剔除后，12.47% 的通过率直接掉到 3.97%。论文还确认 Lite 与 Verified 同样存在这些问题。同月，SWE-bench Multimodal（arXiv:2410.03859，arXiv 页面）把带截图的视觉型 issue 搬进考场。11 月，METR 发布 RE-Bench（arXiv:2411.15114，arXiv 页面），让 AI 与人类研究者同台比拼 8 小时封顶的 AI 研发任务——评测开始从「通过率」转向「生产什么」。

这一阶段的驱动因素可以概括为一句话：营销把基准推上神坛，神坛的高度反过来暴露了基准的裂缝。

1.4 阶段 3：成绩单化与「真实终端」崛起（2025）

2025 年，SWE-bench 正式成为模型发布的「成绩单」，而成绩单化恰恰是它腐烂的加速器。这一年 SWE-bench 一线与 Terminal-Bench 一线并行推进，本节按两条线分述——先 SWE-bench 与泛评测线，后 Terminal-Bench 线——各线内部严格按时间排序，不再来回跳跃；两线的交叉点（Claude 4 模型卡、TB 2.0 发布）在相应位置互注。

SWE-bench 与泛评测线。2 月 17 日，OpenAI 的 SWE-Lancer（arXiv:2502.12115，arXiv 页面）把真实 Upwork 任务搬进考场，用真金白银的薪酬标价度量模型产出——第一次用经济学而不是通过率给 agent 定价。3 月 18 日，METR 的《Measuring AI Ability to Complete Long (Software) Tasks》（arXiv:2503.14499，arXiv 页面）提出「50% 时间视界」——模型能以一半成功率独立完成的任务时长，大约每七个月翻一倍。评测的话语权开始从「解出多少题」向「能干多久的活」转移。

替代品的种子也在上半年撒下：4 月 3 日，字节的多语言 Multi-SWE-bench（arXiv:2504.02605）发布；5 月，Nebius 的 SWE-rebench（arXiv:2505.20411，按模型发布日期对齐去污）；5 月 29 日，SWE-bench-Live（arXiv:2505.23419，只用 2024 年 1 月之后的 issue、滚动更新）——大家共同的赌注是：题库必须是活水。6 月 14 日，《The SWE-Bench Illusion》（arXiv:2506.12286，arXiv 页面）为这个赌注补上最硬的论据：SOTA 模型对 SWE-bench 题库存在大规模记忆而非推理，超过 94% 的 issue 早于主流模型的知识截止日期。

9 月，Scale AI 推出 SWE-bench Pro：约 1865 道人工验证的题，来自 41 个活跃维护的仓库，切成公开、私有保留、商业三个部分（公开集 731 题）——商业集用的是不公开的闭源代码库，从物理上杜绝训练污染。发布当天的现实是：在 Verified 上 70%+ 的头部模型，在 Pro 的私有/商业集上只拿到约 23%（Scale AI 官方 X 公告、OpenReward 榜单、MarginLab 深度梳理）。这个 70% 与 23% 之间的悬崖，就是过去两年「刷分」与真实能力之间的距离。

10 月，普林斯顿的 HAL（Holistic Agent Leaderboard，arXiv:2510.11977，编号 2510 即 2025-10，项目页）上线，把「评测成本」作为一等公民报告——单轮跑下来花费约 4 万美元（Hugging Face 博客）；月底，ImpossibleBench（arXiv:2510.20270，arXiv 页面）出现，专门测量模型「钻测试空子」的倾向。进入 11 月，swebench.com 官方在 19 日发布《[SWE-bench Verified] Detecting cheating in submissions》，确认 Verified 题库存在约 10.6% 的数据泄漏（swebench.com、第三方转述）。

Terminal-Bench 线。5 月 19 日，Terminal-Bench 发布：80 道手工打造、人工验证的终端任务，跑在 Docker 容器里，从科学计算、网络配置到密码学无所不包，自带一个只给模型一个 tmux 面板的极简 agent「Terminus」（tbench.ai 发布公告）。署名是 Mike Merrill、Alex Shaw、Chris Rytting、Ludwig Schmidt、Andy Konwinski，背后是斯坦福与 Laude Institute——后者是 Databricks 联合创始人 Konwinski 自掏 1 亿美元成立的非营利研究机构。选「终端」作考场是聪明的决定：终端是文本的、可沙箱的、几乎覆盖一切工程劳动，天然兼容任何 agent 框架。

三天后的 5 月 22 日，Anthropic 发布 Claude 4，模型卡里并排放着两个数字：SWE-bench Verified 72.5%（新 SOTA）、Terminal-Bench（1.0 榜）43.2%（tbench.ai 博客）。新基准发布不到一周就被顶级实验室写进模型卡，「官方成绩单」地位就此奠定。6 月 25 日，Warp 的 agent 冲上 TB 榜首；7 月 15 日，官方上线 Dataset Registry，把自家题库开放成可挂载的数据集并给第三方基准做适配；9 月 9 日，官方不得不发布《Leaderboard Integrity and Timeouts》——上榜太重要了，以至于需要一封专门的「诚信公告」（tbench.ai 博客索引）。

11 月 7 日，Terminal-Bench 2.0 与开源评测框架 Harbor 同步发布：题库更难（89 题——该题数为二手梳理口径，官方公告未给出，见附录 A）、经过大规模人工与 LM 辅助双重校验（社区曾在 1.0 里抓到「下载 YouTube 视频」任务被 YouTube 反爬机制更新弄坏的真实环境腐烂案例），官方明言 1.0 已被「几乎所有前沿实验室」使用；到 2.0 发布时，社区已有约 1000 名 Discord 成员和 100 名 GitHub 贡献者。2.0 的榜单开始同时报告 pass@1 与 pass^k——后者是「连续 k 次全做对」的概率，专门惩罚靠运气的单次通关（tbench.ai 2.0 公告、tbench.ai 2.0 榜单）。中国系模型（Kimi K2、GLM 等）在 2025 年的发布里也把它列入标准成绩单。一个诞生不到半年的基准，成了全行业唯一能同时装下中美所有玩家的竞技场。

这一阶段的驱动因素：模型卡营销战争把基准使用密度推到极致，密度放大了污染与过拟合，于是「防污染」从加分项变成设计的第一性原理。基准的敌人不再是没有题，而是题被人看过了。

1.5 阶段 4：秩序重建（2026）

2026 年的剧本主旋律是审计、重建与换代。

Terminal-Bench 一侧，2026 年 1 月 17 日论文正式上 arXiv（arXiv:2601.11868，作者含 Merrill、Shaw、Nicholas Carlini 等，arXiv 页面）。此后的官方时间线密得像发版日志：3 月 5 日 TB 3.0 任务征集、3 月 8 日 Terminal-Bench-Science 征集、3 月 20 日发布任务写作规范、4 月 19 日诚信政策更新（明确奖励对规则的处理而非钻空子）、5 月 6 日 TB 2.1（人工审计发现 2.0 的 89 道题里约 28 道有问题，全部修复重校——题数与问题数均为二手梳理口径，见附录 A）、6 月 18 日推出 Challenges（刻意构造高失败率的难题）、6 月 29 日 Harbor-Index（多基准联合视图）、7 月 30 日 TB 3.0 与「连续基准」（Continuous Benchmarks）机制同日发布——题库按季度滚动更新，官方名之曰「基准会腐烂，所以基准必须持续重建」、8 月 27 日 TB-Science 0.1、8 月 28 日 TB 4.0 发布（66 题——二手梳理口径，见附录 A），至今仍是现行版本（tbench.ai 博客索引；Scale AI 解读）。

SWE-bench 一侧则迎来连环审计。先把 Pro 的一条完整时间链讲清（初稿曾在三处各讲半截，终稿修订时已直接抓取 The Decoder、The Stack 与 V2 变更页核实并接上）：2026-02，OpenAI 在评估中推荐使用 SWE-bench Pro（The Stack 报道回顾口径）；2026-07-08，OpenAI 发文公布对 Pro 的审计——公开集 731 题中，自动化初筛标记 286 个可疑任务，经 Codex 系 agent 逐案细查、人类研究员终审后判 200 题（27.4%）为坏测试，平行的人工复核由 5 名资深工程师独立进行、判 249 题（34.1%），「约 30% 损坏」即介于两者之间的标题口径（The Decoder 报道），并宣布「We retract our earlier recommendation to adopt SWE-Bench Pro」；2026-09，Scale 发布 V2：公开集从 731 题删减到 642 题（剔除 89 个无效任务），另切出 51 题「Hard」子集，由 23 名工程师、1,897 小时完成重写与校验（V2 变更梳理）；2026-10-15，OpenAI 发表《Why we no longer evaluate SWE-bench Verified》，把刀口对准自己 2024 年亲手参与净化的基准（本段所有细节均经本综合稿直接抓取原文复核）：SOTA 在最近六个月里只从 74.9% 爬到 80.9%；138 道受审题目 59.4% 有实质缺陷；红队实验证明三家模型可逐字复述 gold patch；GPT-5.2 在解出 31 道「几乎不可能解出」的题时，思维链里直接引用了 Django 4.1 release notes 的内容。文章同时说明：SWE-bench Pro 的污染情况「显著更少、更轻，且没有模型能复述完整 gold patch」，因此自 2026 年夏秋之际（V2 发布前后）起转而报告 Pro V2 公开集成绩，并呼吁行业转向私有命题的基准（其自家 GDPVal 即为私有命题 + 人工评审的路线——GDPVal 是 OpenAI 2025 年发布的基准：题目取自真实职业任务、由人类专家人工评审、题库不公开）。

值得一记的还有一个技术细节：Terminal-Bench 官网首页挂着一条带 GUID 的正式声明，禁止基准数据进入任何训练语料（tbench.ai 首页）——一个基准需要像软件 license 一样发布「反训练条款」，这本身就是 2026 年行业状态的最佳注脚。

这里的驱动因素值得咂摸：审计者与被审计者身份重合了——OpenAI 既是 Verified 的修复者、又是被它衡量的对象、还是它的送葬人。当基准分数直接影响模型订单，基准就从科学仪器变成竞技场计分牌，而计分牌的每一次失真都会被所有玩家默许甚至利用。2026 年的秩序重建，重建的不是题库，是出题权的归属。

1.6 纵轴沉淀的三条规律

回看这六年，三条规律清晰可见：

其一，基准的半衰期在指数级缩短。 HumanEval 撑了约两年才饱和；SWE-bench 主体从 2023 年 10 月出生，到 2024 年 10 月被学术审计、2026 年 10 月被官方弃用，有效寿命约 18 个月；Terminal-Bench 干脆把「十五个月五个大版本 + 连续基准」写进产品假设。出题速度必须追上训练数据的吞噬速度，否则基准就是给模型开卷考试。

其二，瓶颈从「题目」转移到了「判分」。 2024 年的批评集中在题目质量（欠规格、弱测试）；2025-2026 年的战场全部在判分侧——泄漏检测、作弊识别（swebench 2025-11 反作弊公告、TB 2026-04 诚信政策更新）、pass^k 一致性指标的出现，都在承认同一件事：单次通过率在说谎。

其三，基准从公共品走向半私有。 SWE-bench 的完全开源让它在 2023 年无可替代，也让它在 2026 年无路可走；SWE-bench Pro 的私有保留集、OpenAI 呼吁的私有命题、Terminal-Bench 的官方训练数据排除声明，方向一致——出题权正在收回深闺。这是公信力与开放性之间一场没有双赢的交易。

至于「到底测出了什么、没测什么」：纵向的答案是——SWE-bench 系测出了受控环境下「单发补丁能力」的真实进步（从 2% 到 80% 的爬坡里有相当一部分是真本事，Pro 商业集 23% 的悬崖证明并非全是幻象），没测出的是长程一致性、真实经济价值与陌生私有代码上的能力——这正是 pass^k、SWE-Lancer/GDPVal、商业私有集各自补位的原因。横向的完整对比见下一部分。

第二部分 横轴：横向对比（截面：2026-10-29）

2.1 对象界定：这个课题的「竞品」是谁

对 Agent 评测基准生态做解读，横向对比对象分三层：

1. 第一层：基准彼此之间——SWE-bench 系、Terminal-Bench 系、OSWorld 系、GAIA、τ-bench/τ²-bench、TheAgentCompany、SWE-Lancer、AgentDojo。它们竞争「谁的分数最有资格被写进模型发布稿」。
2. 第二层：评测范式之争——静态公开基准 vs 滚动基准 vs 私有 held-out 评测 vs METR 式「时间视界」元指标 vs HAL 式成本控制第三方评测 vs 聚合指数。它们竞争「哪种评测方式更可信」。
3. 第三层：解读权之争——厂商通稿、独立同 harness 评测方、学术批判学派、聚合排行榜在竞争「谁垄断了对这些分数的解释」。本课题本身就是第三层的参与者。

2.2 主对比表：十个基准/基准家族的横截面

2.3 SWE-bench 家族：从「行业金标」到三重死亡

测出了什么：它把「读懂真实仓库、定位缺陷、写出不破坏现有测试的补丁」变成可复现数字，直接塑造了 2024-2025 年编码 agent 的产品形态。

截面上的三重事实：

1. 饱和并进博物馆。独立评测方 vals.ai 的 SWE-bench Verified 榜单（本次综合稿直接抓取复核：更新于 2026-09-01）明确标注「Archived Benchmark」，声明由于基准已饱和、不再对新模型运行，榜单「for posterity」（留存纪念）。榜首 Claude Opus 5（统一 mini-SWE-agent harness）97.0%，前十名挤在 92-97% 之间，共 88 个条目。swebench.com 官方站也未再刷新头部排名【官方】。
2. 双重审计。对「接班人」的审计先于对 Verified 的弃用发生，完整时间链见 1.5 节：2026-07-08，The Decoder 报道与 The Stack 报道：OpenAI 审计 SWE-bench Pro，自动化初筛标记 286 个可疑任务，经 Codex 系 agent 逐案细查、人类研究员终审后判定 200 题（公开集 731 题的 27.4%）为坏测试；平行的人工复核由 5 名资深工程师独立进行，标记 249 题（34.1%），两条流程在 74% 的案例上一致——媒体标题的「约 30% 任务损坏」即介于 27.4% 与 34.1% 之间的口径。部分任务分数翻三倍指向记忆污染；OpenAI 在 2026-07-08 的博文中宣布撤回 2026-02 给出的对 Pro 的推荐，且此次未再推荐具体替代品【一手媒体，终稿修订时已抓取 The Decoder 原文复核】。连「替代品」也被审计——这是截面上最戏剧性的事实。
3. 原罪的实锤。SWE-bench+ 论文（arXiv:2410.06992）早已指出 32.67% 的成功补丁是「解题泄漏」、94% 以上的 issue 早于模型知识截止日【论文】。

口径说明（Pro 审计的「约 30%」从哪来）：「约 30%」不是从某个小样本外推的，而是两条独立审计流程的区间——AI 复核判 200/731（27.4%），5 名工程师人工复核判 249/731（34.1%）（The Decoder，终稿修订时抓取原文核实）。另须记录一处更正：本报告初稿在此处写的是「6 名工程师复核 GPT-5.2 解不出的 138 个任务，59% 是坏测试」，这组「138 / 59%」与 OpenAI 对 Verified 审计的「138 道 / 59.4%」（见 1.0 节，经抓取原文复核确凿）完全重合，而在可见的 Pro 审计报道（The Decoder、The Stack 可见部分）中均不存在——判定为初稿把两组审计数字串用的笔误，已按 The Decoder 的复核值更正；另一处被引报道 Investing.com 抓取返回 403 无法核对，该数字不采用（见附录 A、B）。

成本维度的意外收获：vals.ai 归档榜单同时给出每任务成本——93% 准确率的 GPT-5.6 Luna 只要 $0.04/任务，95% 准确率的 Claude Fable 5 要 $2.05/任务，约 50 倍成本买 2 个百分点；GLM 5.3 Flash 92% 仅 $0.02。这张「死亡榜单」反而成了「边际准确率是否有经济意义」的最佳教材【官方】。

没测什么：长时程（多文件、数天）工程、跨仓库协作、代码可维护性、真实经济交付，以及一切非 Python 生态的工程。

口径说明（两章节数据冲突的消解）：SWE-bench Verified 的「榜首成绩」存在两条并存的测量线——OpenAI 官方口径「SOTA 最近六个月仅从 74.9% 爬到 80.9%」（OpenAI 博客原文，本次综合稿已抓取复核），与 vals.ai 统一脚手架口径的 97.0%（本次已抓取复核）。两者相差约 16 个百分点，无法在本报告中归一：OpenAI 未说明其 SOTA 数字使用的脚手架与口径，vals.ai 使用统一 mini-SWE-agent harness 且分数带统计口径说明。两条线在一点上完全一致：该基准已饱和（80.9% 亦近饱和，97% 彻底饱和）。更重要的是，这个口径差本身就是第二部分反复出现的主题——「同基准不同测量线、分数不可横向比较」——的最直接标本。纵轴稿检索中出现的「GLM 5.3 95.4%、Grok 4.6 95.6%、GPT-5.6 96.2%」等具体数字与 vals.ai 直接核实值（92%、93% 一档）不符，继续弃用（见附录 A）。

2.4 Terminal-Bench 家族：把基准做成「持续运营的基础设施」

测出了什么：终端是 agent 工作的最低公共界面——编译、部署、修环境、跑数据。Terminal-Bench 补上了 SWE-bench 没测的「环境工程能力」，其 2.0（89 个人工验证任务——题数为二手梳理口径，见附录 A）已成为 2025 年底至 2026 年初发布稿的标配引用。

截面上的新事实：

1. 版本滚动加速：官方站（tbench.ai）已主打 Terminal-Bench 4.0（66 任务——题数为二手梳理口径，见附录 A；2026-08-28 发布，官方榜单 10 月下旬切换为主展示口径），榜首 GPT-6 Astra(max) 58.2%，带 95% 置信区间；页脚署名 Stanford / Harbor / Laude Institute，并声明「基准数据绝不应出现在训练语料中」【官方】。从 1.0（2025-05）到 4.0（2026-08）十五个月迭代五个大版本（1.0→2.0→2.1→3.0→4.0），等于官方承认「每个版本的区分度寿命不到半年」。
2. 官方榜单内嵌成本列：4.0 榜单同时记录 Resolution Rate、Cost、Tokens；相同分数的条目成本可差 3 倍以上——「成本必须一等公民化」的官方实践【官方】。
3. Harbor 是真正的护城河：tbench 背后的 Harbor 框架把「沙箱化 agent 任务」标准化，其他基准正向其迁移。横轴结构性差异明显：SWE-bench 在卖「分数」，Terminal-Bench 在卖「评测操作系统」——前者的护城河正被审计侵蚀，后者在把基础设施变成公共品。

没测什么 + 自身最大的噪声源：不测 GUI、不测长时程经济价值；更严重的是 harness（脚手架）方差（见 2.7 节专题）。这使 TB 榜单测的其实是「模型×harness 对」，名次不能单独归因给模型。

2.5 其余六家速览：GUI、助手、协作、职场、经济、安全

OSWorld 系：人类基线被越过之后，靠「2.0」续命。 测真实 Ubuntu 虚拟机中的 GUI 办公操作，原论文人类基线 72.36%；OSWorld-Verified（2025-07，xlang.ai 官方博客）引入人工核验机制。截面上第三方追踪显示 GPT-5.4 报 75.0%，成为首个越过人类基线的模型（ai2027-tracker【第三方聚合】）；聚合站甚至列出 85% 上下的更高分数（llmlearner【第三方聚合，未核实】）。回应饱和的动作是 OSWorld 2.0（2026 年中）：新任务集重置难度，头部 agent 再度落到人类之下【论文】。另有 C-World（2026-04，arXiv）探索「按需生成计算机使用环境」以对抗污染与时效衰减【第三方聚合】。没测：跨 OS/移动端、数小时以上的任务记忆，以及「操作对了但用户其实想要别的」的意图错配。

GAIA 与 τ²-bench：通用助手饱和了，协作还没。 GAIA（2023-11，466 题）定义了 2024 年的「通用 agent」叙事，但静态公开题库使其污染风险被公认，聚合站已把它标为「接近饱和/仅可作历史基线」（benchlm.ai【第三方聚合】），角色从「前沿指标」退为「入门体检」。τ-bench/τ²-bench（Sierra）代表正交方向：对话式工具调用与策略遵守。τ-bench 本身近饱和（GPT-5 电信域 96.7%【一手媒体】），但 τ² 的「双控」设定（agent 与用户都能操作环境，agent 必须引导对方排障，论文）仍是横轴上唯一认真测「人机协作沟通」的主流基准。没测：真实人类用户、情绪对抗、多轮长会话。

TheAgentCompany 与 SWE-Lancer：两个「诚实坐标系」。 TheAgentCompany（CMU，175 个模拟职场任务，官网）是对「agent 能不能上班」回答得最诚实的基准：发布时最好 agent 完成率 ~24%，2026-09 截面最高约 42.9%，长期平台期【官方+第三方聚合】。它的价值恰恰在于低分——证明 SWE-bench 上的 95 分兑换不成「交付一整段职场工作」。代价是任务重、判定靠 checkpoint、厂商不愿刷它，生态热度远低于编码基准。SWE-Lancer（OpenAI，2025-02，ICML 2025）用 1,400+ 个真实 Upwork 任务给 agent 定价（总奖池 $100 万），测出了所有 pass@1 基准回避的问题：同样是「解决问题」，市场愿意付的钱差几个数量级。没测：管理类任务判定主观、「中标」不等于「交付」、任务库静态。

AgentDojo：安全盲区的标准化补丁。 主流能力基准集体不测安全。这个空位由 ETH Zurich 的 AgentDojo（629 个间接提示注入测试用例，NeurIPS 2024）填补，2025-10 获得 NIST 官方维护的 Inspect 兼容分支，2026 年已成为代理安全评测的事实标准【官方】。它的崛起说明：能力基准不测的维度，最终会由专门基准补位，而不是由能力基准自己进化。

2.6 第二层横轴：评测范式之争

METR 动态（横轴稿直接抓取 metr.org/time-horizons 核实）：Time Horizon 1.1 于 2026-01-29 发布，任务套件从 170 扩到 228 个（8 小时以上长任务从 14 个增至 31 个）；GPT-5 的 50% 时间视界约 2 小时 17 分；模型追踪覆盖到 2026 年 4-5 月发布的 GPT-5.4、Gemini 3.1 Pro、Claude Mythos Preview；但该页面于 2026-09-08 声明不再主动更新，官方同时坦承 99% 可靠度的时间视界需要每档约 300 个任务才能测准（方法局限说明）【官方】。METR 的纵向起点是 2025-03 的「每七个月翻一倍」曲线（arXiv:2503.14499），横截面的现状是：连这条曲线的维护者自己都停更了。

HAL 动态（横轴稿抓取 hal.cs.princeton.edu 核实）：这个「标准化、成本感知、第三方」的 ICLR 2026 榜单（论文）有三项独门设计——加密 agent 运行轨迹防止基准数据被抓取训练、用日志分析自动暴露 reward hacking 与污染、把可靠性（一致性/可预测性/鲁棒性/安全性/自我认知）做成仪表盘【官方】。其后续研究（arXiv:2610.00651）发现「按可靠性分配任务预算」可以把评测成本砍掉 83%【论文】。值得注意的是 HAL 已暂停收录新模型，转向可靠性研究——又一个「排行榜退出前沿」的信号。

2.7 专题：harness 方差——2026 年最大的评测丑闻

这条专题是纵轴「ACI 暗线」（1.2 节）在 2026 年截面上的放大版。先声明证据分档：本节有两条经独立复核的量化证据（末条的 2.8 个百分点、2.3 节的 50 倍成本差），其余均为第三方声称，按声称保留。

• 有第三方分析称，Terminal-Bench 2.0 榜单上 Claude Opus 4.6 仅因换了脚手架就波动 18.4 个百分点（blog.graphers.io 分析【第三方聚合——本节标题级数字中唯一未经复核的大数，只作「声称」保留；本节的量化锚点应以末条复核值 2.8 个百分点与 2.3 节的 50 倍成本差为准】）；
• LangChain 官方记录自家 agent 不改模型、只改 harness，从 52.8% 提到 66.5%、排名从 30 名开外进前 5（2026-03，"Harness Engineering: From Top 30 to Top 5"【一手案例，经 LinkedIn 等转述】）；
• 有分析称同一模型跨 9 个 harness 成本差 17 倍；NTU 团队的论文用 63 个 harness 复测，得出「榜单测的是 harness 与模型的匹配度而非模型本身」（两则均转引自 eigenform.ai 的「固定模型、只变 harness」分析，即参考来源 #46；原始论文与数据未逐一核实，按第三方聚合处理）；
• 本稿独立复核的干净数据点（本节唯一达到【官方】档的量化证据）：vals.ai 归档榜上同一模型 Claude Opus 4.8 用 mini-SWE-agent 得 88.6%、用 Claude Code 得 85.8%——同一模型、同一基准，只换 harness 差 2.8 个百分点，而榜首与第五名之间总共才差 2 个百分点【官方】。

结论：2026 年的 agent 榜单名次，测量的是「模型×脚手架×预算」三元组，任何只引用模型名的排行榜新闻都在误导。证据分档提示：经本稿复核的只有 2.8 个百分点（上条，vals.ai）与 2.3 节的 50 倍成本差；18.4 个百分点、17 倍成本差、63-harness 结论均为第三方声称——方向一致，数字未复核，引用时应注明来源等级。

2.8 第三层横轴：解读权的竞争，与「排行榜集体退出前沿」

把 2.6 与 2.8 两节放在一起，能看到一个横轴独有的结构性现象：2026 年，每一层的头部独立评测者都在退出或收缩——vals.ai 归档了 Verified 榜、METR 停更了时间视界页、HAL 暂停收录新模型、Artificial Analysis 一年两次更换核心基准。这个现象与纵轴的「金标之死」互为表里，是第三部分交叉洞察的起点。

第三部分 交叉洞察：两轴结合说明了什么

3.1 两轴互证：横轴的范式多样性是纵轴腐烂史的镜像

单看横截面，2026 年的评测生态像一座巴别塔：七种范式、十大家族、三层解读权之争，令人无所适从。但把纵轴叠上来，混乱立即显出秩序——每一种范式都是对纵轴上某一次具体死亡的反应：

• 静态公开基准死于污染（SWE-Bench Illusion、gold patch 复述实验）→ 于是有了滚动基准（SWE-bench-Live、TB 季度滚动、OSWorld 2.0）与私有 held-out（Pro 私有集、GDPVal）；
• 单次通过率死于「靠运气的通关」与「坏测试拒正确答案」→ 于是有了 pass^k、ImpossibleBench、以及 OpenAI 审计中「AI 细查+人工平行复核」的判分流程；
• 分数死于「不报成本」的过拟合刷分 → 于是有了 TB 官方成本列、HAL 成本控制、vals.ai 每任务成本；
• 「解出多少题」死于「题越刷越熟」→ 于是有了 METR 时间视界这种「把难度翻译成人类时长」的元指标。

换句话说：范式之争的每一方，都是腐烂史的一个补丁。这不是生态碎片化，而是免疫系统在多个方向上同时产生抗体。判断某个新基准有没有前途，就看它对准的是纵轴上哪一次死亡——对准了具体死因的，能活；只对准「我想当新金标」的，会重复同样的命运。

3.2 分数与能力脱钩的三层机制（两轴共同解剖）

「到底测出了什么」的否定面，可以解剖为三层脱钩机制，每一层都有纵轴时间线与横轴截面证据的双重确认：

1. 记忆层：模型见过答案。 纵轴：从 2024-10 SWE-Bench+ 的 32.67% 解法泄漏，到 2025-06 Illusion 论文的记忆实证，再到 2026-10 OpenAI 红队的 gold patch 逐字复述；横轴：超过 94% 的 Verified issue 早于知识截止、94%+ 的分数增量可用记忆解释的部分争议、Pro 公开集「分数翻三倍」的污染疑点。机制：公开题库 + 公开解题过程，在训练数据管道里必然相遇。
2. 判分层：判分器本身坏了。 纵轴：2024 年 Verified 过滤（原版多数题不合格）→ 2025-11 swebench 反作弊（10.6% 泄漏）→ 2026 年的连环审计（Verified 59.4% 有实质缺陷，经原文复核；Pro 审计 27.4%-34.1%，口径见 2.3）；横轴：35.5% 过窄测试 + 18.8% 过宽测试的分布，意味着「正确但不过」与「错误但通过」同时存在。机制：自动化判分（跑测试）看似客观，实则把「测试质量」这个未验证假设埋在了每一分里。
3. 测量层：测的不是模型。 纵轴：ACI 概念 2024 年就已指出 harness 是独立变量；横轴：同模型换 harness 的扰动——本稿复核值 2.8 个百分点、第三方声称最大 18.4 个百分点（见 2.7）——大于榜首与第五名 2 个百分点的差距，再叠加 50 倍的同准确率成本差。机制：分数是「模型×脚手架×预算」三元组的输出，而发布稿只报其中一个维度。

三层机制叠加的净效果：2026 年读一份 agent 分数，默认假设应该是「它不可比、可能虚高、且不知道虚高多少」，直到三要素（脚手架、口径、成本）齐全。

3.3 真进步与假繁荣的分界线

消解矛盾不等于宣布一切分数无效。两轴结合后，可以划出一条比「全盘怀疑」更精确的分界线：

真实存在的能力进步（有交叉证据支撑）：

• 单发窄任务：从 GPT-4 的 2% 到今日 80-97%（口径取其一）的爬坡，大部分是真本事——SWE-bench Pro 商业闭源集上仍有约 23%，ProMax 上头部 agent 41.2%，都不是零；HLE（Humanity's Last Exam，超难专家问答基准，曾曝出题目泄漏与记忆争议）上那种「背过答案」的成绩，解释不了从未公开的商业集表现；
• 环境工程能力：Terminal-Bench 测出的编译、部署、修环境能力是 SWE-bench 时代的模型不具备的，2025-2026 年间 TB 榜首从 1.0 时期的 43.2%（2025-05 Claude 4 模型卡口径）爬到 2.0 时代的 75-82%，对应了真实产品（Claude Code、Codex 类工具）的可用性跃迁；4.0 于 2026-08 重置难度后榜首回落至 58.2%——是难度上移，不是能力倒退；
• 时间视界的扩张：METR 曲线（每七个月翻倍）虽有口径局限，但方向上有独立证据（模型能完成的连续工具调用长度、上下文管理能力的进步）；
• harness 工程本身：LangChain 52.8%→66.5% 的提升不是作弊，是真实的工程能力——只是它属于「脚手架」而非「模型」。

已被证伪的繁荣：

• Verified/Pro 上的边际分数竞赛：88 个条目挤在 92-97%、榜首与第五名差 2 个百分点、SOTA 六个月爬 6 个点——在判分层缺陷（Verified 59.4% 实锤、Pro 审计 27.4%-34.1%，见 2.3）与记忆层污染（gold patch 复述）面前，这些名次不再携带信息；
• 「通过率=能干活」的等式：TheAgentCompany 卡在 42.9% 平台期、METR 50% 视界仅约 2 小时 17 分、SWE-Lancer 揭示的经济价值差几个数量级——三者交叉验证了同一个事实：高分基准测出的是「被驯化的窄任务」，不是「能上班」；
• 无成本的分数比较：$0.04 与 $2.05 的每任务成本差 50 倍，任何不报成本的准确率排名都是半张答卷。

3.4 总账：到底测出了什么、没测什么

已测出（且有专门基准在测）：单仓 Python 补丁能力（Verified，已饱和归档）；更长时程商业仓库修复（Pro，待 V2 后重建信任）；终端环境工程（TB 4.0）；GUI 计算机操作（OSWorld 2.0，难度已重置）；对话式工具调用与策略遵守（τ/τ²）；人机双控协作沟通（τ²，唯一）；间接提示注入防护（AgentDojo，事实标准）；单发窄任务可靠度与一致性（pass^k、HAL 可靠性仪表盘）；任务难度的人类可比单位（METR 时间视界，已停更但存量有效）。

仍属空区（2026 年截面上没有可信答案）：

1. 长程多日任务：METR 官方承认 16 小时以上不可测，8 小时以上任务样本刚从 14 个增至 31 个；
2. 真实经济交付：SWE-Lancer 孤军，且「中标」不等于「交付」；
3. 真实职场全流程：TheAgentCompany 42.9% 平台期，厂商不愿刷、生态热度低；
4. 跨仓库、跨生态、非 Python：Multi-SWE-bench 之外仍是空白；
5. 意图对齐：「操作对了但用户想要别的」没有任何主流基准在测；
6. 判分器自身的可信度：Verified 59.4%（经原文复核）与 Pro 审计 27.4%-34.1%（口径见 2.3）说明，最基础的「测试对不对」问题在每个基准内部都未解决；
7. 安全之外的鲁棒性：AgentDojo 只补了安全一格。

3.5 对读者的判断与建议

给所有引用分数的人：

1. 三元组检查：任何 agent 分数，先问三件事——哪个脚手架、哪个口径与日期、报没报成本；缺一即不可比，缺二即误导，三者皆无即营销材料。
2. 弃用过期标尺：SWE-bench Verified 已归档+被官方弃用，SWE-bench Pro 公开集被审计撤回（2026-07-08；V2 修复后 OpenAI 自 2026 年秋改报其成绩，时间链见 1.5、审计口径见 2.3）——引用这两者做决策应被视为过时行为；如果要引用，必须注明「归档口径」与日期。
3. 选型看成本列与一致性：同样的分数，$0.04/任务与 $2.05/任务是两种商业方案；pass^k 高的模型才适合无人值守场景。同 harness 榜（vals.ai 类）适合比模型，产品形态评估要看真实 harness 的表现。
4. 用三个诚实坐标系校准预期：METR 时间视界回答「能替人类干多久的活」（GPT-5 级别约 2 小时 17 分）、TheAgentCompany 回答「能不能上班」（约 43%）、SWE-Lancer 回答「值多少钱」（数量级差距）。任何「AI 工程师取代工程师」的判断都应该过这三个坐标系。

给需要选基准的团队（场景→基准映射）：

• 单仓 bug 修复的回归测试 → 滚动系（SWE-bench-Live/SWE-rebench）或 Pro V2；
• 部署与运维自动化评估 → Terminal-Bench 4.0（含 Challenges）；
• 桌面/RPA 场景 → OSWorld 2.0；
• 客服/对话流程 → τ²-bench（双控设定最接近真实协作）；
• 内部「能不能交付项目」的年度体检 → TheAgentCompany；
• 商业价值估算 → SWE-Lancer；
• 上线前安全评估 → AgentDojo；
• 自有场景的终极方案 → 私有 held-out 集（参考 OpenAI GDPVal 路线——GDPVal 即 1.5 节所释的 OpenAI 私有命题基准：真实职业任务+人类专家评审+题库不公开），但要知道它放弃外部审计的代价。

给观察这个行业的人：两个正在形成的真空值得盯住——其一，独立评测方集体退出前沿（vals 归档、METR 停更、HAL 暂停、聚合站换轴）之后的「解读权真空」：谁能在不依赖厂商自报的情况下持续测量新模型？其二，出题权向少数机构集中（OpenAI 私有命题、Scale 私有集、Laude 基础设施化）之后的「信任单点」：当基准不可开源、不可复现，公信力就从「可验证」退化成「机构背书」。这两件事的走向，比任何单一分数都更能决定这个领域的下一章。

3.6 两章节数据矛盾的处理说明（供修订参考）

重复内容的合并：SWE-bench+ 数据、SWE-bench Pro 审计、Terminal-Bench 版本史（1.4 讲 2025 年段、1.5 讲 2026 年段，各一处）、harness 主题（纵轴稿的 ACI 暗线 + 横轴稿的方差专题）均只在一处讲透，其余位置以交叉引用代替；GAIA/τ²/TheAgentCompany/SWE-Lancer/AgentDojo 的「发布信息」归纵轴（时间线），「当日状态与评价」归横轴（截面），不再重复。

附录 A：存疑与未采用的数字（承纵轴稿）

• 「SWE-bench Pro 公开集约 30% 的 731 个任务损坏」与初稿括注「6 名工程师复核 GPT-5.2 解不出的 138 个任务，59% 是坏测试」：前者口径已补全——The Decoder 原文为自动化初筛标记 286 个可疑任务，经 Codex 系 agent 细查、人类研究员终审判 200 题（27.4%），5 名工程师平行人工复核判 249 题（34.1%），两流程一致率 74%，「约 30%」为两者之间的标题口径（终稿修订时抓取原文核实，见 2.3 口径说明）；后者在可见报道中不存在，且与 Verified 审计的「138 道 / 59.4%」完全重合，判定为初稿把两组审计数字串用的笔误，弃用（Investing.com 抓取返回 403 无法排除该数字出自彼处，但即便如此也与 The Decoder 口径冲突，不采用）。
• 「SWE-bench Verified 于 2026 年 2 月被停报」：见于 acingai.com 等二手来源，与官方页时间戳（2026-10-15）冲突，弃用；官方文中「in the last months we've chosen to report results from the public split of SWE-Bench Pro」表明实际转向发生在 2026 年夏秋之际。
• 「GLM 5.3 95.4%、Grok 4.6 95.6%、GPT-5.6 96.2%」「Opus 4.7 87.6%」等 Verified 分数：无一手来源，且与 vals.ai 直接核实值（GLM 5.3 Flash 92%、GPT-5.6 Luna 93%）不符，弃用。
• Terminal-Bench 2.0 的 89 题、2.1 修复约 28 题、TB 3.0 约 74 题等数字来自 GitHub issue 与 MarginLab、Scale AI 等二手梳理，官方公告未给出题数，采用时保留二手属性标注（正文 1.4、1.5、2.2、2.4 各处的 89/66 题均按此口径带注）。
• OSWorld-Verified 的「85% 上下的更高分数」（llmlearner）：第三方聚合且未核实，仅注明存在、不作为事实采用。
• 纵轴稿中 Devin 打假的 yourstory.com 与 Laude Institute 的 techcrunch.com 仅为域名级弱链接，本稿改以完整的 Substack 批评文与 generativeai.pub 综述为主来源。

附录 B：来源可信度与方法说明

• 两份章节稿各自在 2026-10-29 做了联网检索（横轴稿十余轮，含 WebSearch/WebFetch/webReader 直接抓取），关键事实按【官方/论文/一手媒体/第三方聚合】四档标注。
• 本综合稿成稿时新做的独立复核共两项：(1) OpenAI《Why we no longer evaluate SWE-bench Verified》全文抓取——确认发布时间 2026-10-15、SOTA 74.9%→80.9%、138 题审计 59.4%（35.5% 过窄/18.8% 过宽/5.1% 其他）、gold patch 复述实验（GPT-5.2-Chat/Claude Opus 4.5/Gemini 3 Flash Preview）、对 SWE-bench Pro 公开集的推荐与 GDPVal 私有命题路线；(2) vals.ai SWE-bench Verified 榜单抓取——确认榜首 Claude Opus 5（mini-SWE-agent）97.00%、更新日期 2026-09-01、「Archived Benchmark」与「saturated、for posterity」表述。除这两项外，其余数字均转引自章节稿，未逐一重访。
• 终稿修订时（2026-10-29）新做的第二轮复核共四处：(1) The Decoder 对 Pro 审计的报道——确认「约 30%」的口径（AI 复核 200/731=27.4%，5 名工程师人工复核 249/731=34.1%，一致率 74%）与审计流程（自动初筛 286 题→Codex 系 agent 细查→人类研究员终审），并确认该报道不含「138 题/59%/6 名工程师」字样；(2) The Stack 报道（付费墙，可见段落）——确认 OpenAI 曾于 2026-02 推荐 Pro（非初稿时间链所缺的 2025-09）、2026-07-08 博文撤回（"We retract our earlier recommendation to adopt SWE-Bench Pro"）；(3) SWE-bench Pro V2 变更页（tessary.ai）——确认 V2 为 2026-09 发布、公开集 731→642（剔除 89 个无效任务）、另切 51 题 Hard 子集、23 名工程师 1,897 小时重写校验；(4) Investing.com 报道——抓取返回 HTTP 403，未能核对。前一轮已做的 OpenAI 博客与 vals.ai 复核不变。
• 本报告自身是「解读权之争」（2.8 节）的参与者：它依赖上游来源，数字时效衰减快，引用时请以文内标注的口径与日期为准。

参考来源

以下链接均保留自两份章节稿；标注「纵轴稿核实」/「横轴稿核实」表示该稿在其写作过程中直接访问过对应页面，两稿均为 2026-10-29 访问。

官方页面与榜单

1. OpenAI《Why we no longer evaluate SWE-bench Verified》（2026-10-15，本综合稿复核全文）：https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
2. OpenAI《Introducing SWE-bench Verified》（2024-08）：https://openai.com/index/introducing-swe-bench-verified/
3. swebench.com 官方站与时间线（含 2025-11-19 反作弊公告、Bash Only 口径）：https://www.swebench.com/
4. SWE-bench 仓库：https://github.com/SWE-bench/SWE-bench
5. vals.ai SWE-bench Verified 归档榜单（2026-09-01，含成本列，本综合稿复核）：https://www.vals.ai/benchmarks/swebench
6. Terminal-Bench 官网（含反训练条款声明）/榜单/博客索引：https://www.tbench.ai/ 、https://www.tbench.ai/leaderboard 、https://www.tbench.ai/blog
7. Terminal-Bench 发布公告（2025-05-19）：https://www.tbench.ai/news/announcement ；Claude 4 模型卡报道：https://www.tbench.ai/news/claude-4 ；2.0 与 Harbor 公告（2025-11-07）：https://www.tbench.ai/news/announcement-2-0 ；2.0 榜单：https://www.tbench.ai/leaderboard/terminal-bench/2.0
8. Harbor 框架：https://harborframework.com
9. METR 时间视界（含 2026-09-08 停更声明、Time Horizon 1.1）：https://metr.org/time-horizons ；方法局限：https://metr.org/notes/2026-01-22-time-horizon-limitations
10. HAL（Princeton）：https://hal.cs.princeton.edu
11. TheAgentCompany：https://the-agent-company.com ；CMU 新闻：https://www.cs.cmu.edu/news/2025/agent-company
12. OSWorld-Verified 官方博客：https://xlang.ai/blog/osworld-verified
13. AgentDojo：https://github.com/ethz-spylab/agentdojo ；NIST Inspect 分支：https://github.com/usnistgov/agentdojo-inspect
14. Scale AI SWE-bench Pro 公告与榜单：https://x.com/scale_AI/status/2024628456244322486 、https://openreward.ai/ScaleAI/SWE-BenchPro
15. Simon Willison 对 SWE-bench 同 harness 评测的评论（2026-02-19）：https://simonwillison.net/2026/Feb/19/swe-bench
16. Artificial Analysis Coding Agent Index v2.0 变更声明：https://x.com/ArtificialAnlys/status/2113424559684870621

论文

1. SWE-bench（2023-10）：https://arxiv.org/abs/2310.06770
2. SWE-agent / ACI（2024-05）：https://arxiv.org/abs/2405.15793
3. SWE-Bench+（2024-10-09）：https://arxiv.org/abs/2410.06992
4. SWE-bench Multimodal（2024-10）：https://arxiv.org/abs/2410.03859
5. The SWE-Bench Illusion（2025-06-14）：https://arxiv.org/abs/2506.12286
6. SWE-bench-Live（2025-05-29）：https://arxiv.org/abs/2505.23419
7. Multi-SWE-bench（2025-04-03）：https://arxiv.org/abs/2504.02605
8. SWE-rebench（2025-05）：https://arxiv.org/abs/2505.20411
9. SWE-Lancer（2025-02-17）：https://arxiv.org/abs/2502.12115 ；ICML 2025 页面：https://icml.cc/virtual/2025/poster/43573
10. METR《Measuring AI Ability to Complete Long (Software) Tasks》（2025-03-18）：https://arxiv.org/abs/2503.14499
11. RE-Bench（2024-11）：https://arxiv.org/abs/2411.15114
12. Terminal-Bench 论文（2026-01-17）：https://arxiv.org/abs/2601.11868
13. HAL 论文：https://arxiv.org/pdf/2510.11977 ；可靠性后续研究：https://arxiv.org/abs/2610.00651
14. ImpossibleBench（2025-10）：https://arxiv.org/abs/2510.20270
15. HumanEval（2021-07）：https://arxiv.org/abs/2107.03374 ；MBPP（2021-08）：https://arxiv.org/abs/2108.07732
16. WebArena（2023-07）：https://arxiv.org/abs/2307.13854 ；AgentBench（2023-08）：https://arxiv.org/abs/2308.03688 ；GAIA（2023-11）：https://arxiv.org/abs/2311.12983
17. OSWorld（2024-04）：https://arxiv.org/abs/2404.07972 ；OSWorld 2.0（2026）：https://arxiv.org/html/2606.29537v1
18. tau-bench（2024-06）：https://arxiv.org/abs/2406.12045 ；τ²-bench（2025-06）：https://arxiv.org/html/2506.07982v1
19. TheAgentCompany（2024-12）：https://arxiv.org/abs/2412.14161
20. AI Agents That Matter（2024-07）：https://arxiv.org/abs/2407.01502

媒体与分析

1. The Decoder：OpenAI 审计 SWE-bench Pro（终稿修订时抓取原文复核）：https://the-decoder.com/openai-finds-roughly-30-percent-of-popular-ai-coding-test-is-broken
2. Investing.com：OpenAI 撤回 SWE-bench Pro 推荐（2026-07-08；终稿修订时抓取返回 403，未核对）：https://www.investing.com/news/stock-market-news/openai-retracts-swebench-pro-coding-benchmark-recommendation-93CH-4782526
3. The Stack：OpenAI 审计 SWE-bench Pro（2026-07；付费墙，可见段落确认 2026-02 推荐、2026-07-08 撤回博文）：https://www.thestack.technology/openai-wants-new-ai-benchmarks-to-replace-scales-broken-tests
4. SWE-bench Pro V2 变更梳理（终稿修订时抓取复核，确认 2026-09 发布、731→642）：https://tessary.ai/answers/swe-bench/what-changed-in-swe-bench-pros-v2-release
5. MarginLab 深度梳理（SWE-bench / Terminal-Bench）：https://marginlab.ai/blog/swe-bench-deep-dive 、https://marginlab.ai/blog/terminal-bench-deep-dive
6. Scale AI：Terminal-Bench 解读：https://labs.scale.com/blog/terminal-bench-harder-tasks-for-better-agents
7. Devin 发布与争议综述：https://generativeai.pub/the-first-ai-software-engineer-is-here-dfa0d562bace ；Jurgen Gravestein《We Need To Talk About Devin》：https://jurgengravestein.substack.com/p/we-need-to-talk-about-devin
8. swebench 反作弊公告第三方转述：https://bsp.fyi/
9. Hugging Face：评测成本瓶颈博客：https://huggingface.co/blog/evaleval/eval-costs-bottleneck
10. harness 方差：https://www.eigenform.ai/insights/benchmarking-an-agent-harness-with-the-model-held-fixed 、https://blog.graphers.io
11. OSWorld-Verified 第三方追踪（GPT-5.4 越过人类基线）：https://ai2027-tracker.com/predictions/osworld-benchmark ；llmlearner 排名页（未核实）：https://llmlearner.com/rankings/osworld-verified
12. benchlm.ai：GAIA 饱和标注：https://benchlm.ai/benchmarks/gaia
13. acingai.com（「2026-02 停报」说，未采用）：https://acingai.com/articles/swe-bench-verified-what-it-hides

方法论说明：本报告为横纵分析法（由数字生命卡兹克提出）的综合稿——纵轴负责时间维度的完整叙事，横轴负责当日截面的系统对比，交叉洞察负责两轴交汇处的判断。本文自身处于其所描述的「解读权之争」第三层，终稿已按独立审读意见修订交付。