题记与说明
综合报告说明:本报告由两份章节研究综合而成——纵轴章节(发展史,1970s–2026.10,文件parts/2026-10-28-多代理系统失败模式与容错降级-vertical.md)与横轴章节(2026-10-28 共时截面横向对比,文件parts/2026-10-28-多代理系统失败模式与容错降级-horizontal.md)。两章的事实基础均为 2026-10-28 当日执行的网络检索(WebSearch/WebFetch,来源含 arXiv、Anthropic、Microsoft、GitHub、Patronus AI、Cognition、Manus 等),本报告保留主要来源链接——可在线核验的条目均附 URL,凭记忆标注编号的少数条目在文中显式标注"未核验"(见文末"综合校准说明");两章之间的重复内容已合并、矛盾之处已校准(见文末"综合校准说明")。
本课题交付物:本报告所属课题的产出是一份"L0–L6 失败分层 × 容错降级设计"的工程方法论,含四项——(i) 统一的失败分层分类与各层廉价触发信号(见 2.2 节与"洞察 3 补充");(ii) 按层预设的降级策略清单(见第三节决策清单);(iii) 基于故障注入的容错验证方案(见决策清单第 5 条);(iv) 自动化失败层判定工具的原型设计。2.3 对比表中"自动化工具:拟输出"即指第 (iv) 项——它尚在设计阶段,故表中相应栏不填成熟度信号。
TL;DR
多代理的失败是结构性的:MAST 对 1,600+ 条真实失败轨迹(MAST-Data 语料,修订时核验口径)的统计显示,规范缺陷、失协调、验证缺位各占约 42%/37%/21%。纵轴看是历史重演——LLM 时代在重新发明四十年前分布式系统的容错工具箱,从 2023 年 AutoGPT 翻车到 2026 年 SRE 化。横轴看,学术只诊断不开药,Anthropic、Cognition、Manus 三条路线实为不同失败层的答案(统一映射见 2.4)。硬约束:细粒度归因仅 14.2%,降级须按失败层预设触发——层判定≠精确归因,靠廉价运行时信号即可完成(见洞察 3 补充);workflow 化是最彻底的降级;容错机制自身需幂等的元容错。建议:能 workflow 不多代理;必须多代理时上齐上下文政策分流、显式终止条件、验证门禁、检查点幂等四件套,观测建在 OTel 上。
一、纵轴:发展脉络(1970s – 2026.10)
阶段 0(1970s–2022):史前遗产——"协调失败"的词汇表早已写好
LLM 时代谈"多代理失败"使用的很多概念,是四十年前分布式 AI 与分布式系统研究早就打磨好的。这一阶段没有 LLM,但为课题提供了整套理论底座:
- 黑板系统:CMU 的 HEARSAY-II 语音理解系统(1970s)用多个知识源在共享黑板上协作,已经暴露出"多个求解者互相踩踏、结论被低质量信息污染"的问题。
- 合同网协议:Reid Smith 1980 年提出 Contract Net Protocol(IEEE Trans. on Computers),用"招标—投标—中标"解决任务分配,是后来"编排者—工作者"模式的直系祖先。
- Actor 模型:Carl Hewitt 1973 年提出,奠定"消息传递、无共享状态"的并发观——今天讨论"子代理上下文隔离是否引发失败"仍是它的翻版。
- BDI 架构与代理编程:Rao & Georgeff 的 BDI 理论(1991/1995)、Shoham 的面向代理编程 AOP(1993)、1990 年代的 KQML 通信语言、1996 年成立的 FIPA 标准组织与 90 年代末的 JADE 中间件,试图用规范化的"意图—承诺"体系消灭协调歧义。这一脉络在工程上式微,但其核心洞见——大部分多代理失败是"共享心智模型"的失败——在 2025 年的 MAST 分类中被完整复活。
- 分布式系统理论:Lamport 时钟(1978)、两将军问题、拜占庭将军(Lamport et al., 1982)、FLP 不可能定理(1985)、Dijkstra 自稳定(1974)、CAP(Brewer 2000 / Gilbert & Lynch 2002)。这些结论直接定义了"为什么会崩"的理论边界:部分失败、消息乱序、无同步时钟下的一致性不可能。
- 容错工程实践:爱立信 1980 年代中后期的 Erlang/OTP 确立"监督树 + 任其崩溃(let it crash)"哲学——进程失败就重启,由监督者兜底。这正是 2025 年后"代理编排器 + 重试 + 降级"设计的思想原型。
- 群体机器人与多智能体强化学习:2000 年代的 swarm engineering 研究群体容错;MARL 证明了"非平稳性"——一个智能体在学习,其他智能体的世界就变了——是天然的不稳定源。
本阶段驱动因素与遗产:电信、军事、机器人等场景单点不可靠,倒逼学界研究协调与容错;留下的是一整套失败词汇表(死锁、活锁、竞态、脑裂、级联失效、惊群)和容错工具箱(副本、超时、法定人数、监督者、优雅降级)。后面所有阶段,本质上是在为 LLM 代理重新发明这些东西。
阶段 1(2022.10–2023):诞生即翻车——LLM 多代理的第一年
起点:2022 年 10 月 ReAct(arXiv:2210.03629,编号未核验)确立"推理—行动"循环,单一代理开始"像个系统"。
关键事件:
- CAMEL(2023.03,arXiv:2303.17760):KAUST 团队的"角色扮演通信代理"让两个 LLM 互相演戏完成任务,论文与后续复现普遍记录到任务漂移、决策反复翻转(flip-flop)、错误响应在对话中传染——这是 LLM 多代理失败的第一批系统记录。
- AutoGPT(2023.03.30,Toran Bruce Richards):GitHub 星标数周破十万,但用户几乎立刻发现代理陷入无限循环、重复相同动作、丢失目标、烧光 API 额度。社区复盘(dev.to《AutoGPT, BabyAGI and the 2023 Agent Craze》:agents "looped, forgot and burned API credit";Vectara 的 awesome-agent-failures 仓库将其收录为案例;Reddit r/AutoGPT 2023 年 4 月大量"任务永远完不成"的帖子):
- <https://dev.to/gabrielanhaia/autogpt-babyagi-and-the-2023-agent-craze-the-3-ideas-that-survived-to-2026-248f>
- <https://github.com/vectara/awesome-agent-failures/blob/main/docs/case-studies/autogpt-planning-failures.md>
- <https://www.reddit.com/r/AutoGPT/comments/12hqm7u/autogpt_issues_not_getting_any_to_completion>
- BabyAGI(2023.04,Yohei Nakajima):更简单的任务队列式代理,同样受循环与目标漂移困扰。
- 多代理辩论:Du et al.《Improving Factuality and Reasoning through Multiagent Debate》(2023.05)与 ChatEval(2023.08)提出"多个模型互相挑错",成为"用多代理提升质量"路线的起点。
- 框架化自救(2023.07–08):ChatDev(arXiv:2307.07924)、MetaGPT(arXiv:2308.00352)、Microsoft AutoGen(arXiv:2308.08155)几乎同时出现(以上编号已在线核验,见校准说明 6)。MetaGPT 明确用人类软件公司的 SOP(标准作业程序)约束代理协作——"用流程纪律治病"成为第一代容错思路;AutoGen 则用可编程对话拓扑把失败恢复交给开发者。
- GAIA 基准(2023.11,arXiv:2311.12983,编号未核验):Meta/HF 魔堡等机构发布的助手基准显示,人类成功率 92%,而 GPT-4 加插件仅约 15%——第一次用数字说明"代理系统在真实任务上大面积失败"。
主要参与者:开源社区(AutoGPT/BabyAGI)、KAUST(CAMEL)、Microsoft(AutoGen)、Meta/HuggingFace(GAIA)。
驱动因素:上下文窗口小(4K–8K)、模型指令遵循差、没有可靠性与成本基准——失败只能靠轶事传播,尚无分类学。
本阶段失败画像:循环卡死、目标漂移、幻觉传染、成本失控。
阶段 2(2024):框架军备竞赛,与"简单赢复杂"的第一次反噬
- 框架繁荣:LangGraph(2024.01)带来 checkpoint 持久化与 human-in-the-loop 中断恢复——把分布式系统的"检查点"引入代理;CrewAI 走角色扮演流水线路线;OpenAI 10 月发布实验性 Swarm(轻量编排,次年并入 Agents SDK)。
- "多代理有用论"的最强音:腾讯《More Agents Is All You Need》(2024.02,arXiv:2402.05120,后刊 TMLR)证明最朴素的"采样—投票"即可随代理数扩展性能。
- 反噬三部曲:
- 《Should we be going MAD?》(InstaDeep,ICML 2024,arXiv:2311.17371):系统比较后指出多代理辩论在很多任务上不优于单代理思维链,且贵得多;
- 《Agentless》(2024.07,OpenAutoCoder/Agentless):一个"定位—修复—验证"三段式无代理管线在 SWE-bench Lite 上解决 27.3% 的 issue、单价约 $0.34,比复杂代理框架更便宜更强;
- 《AI Agents that Matter》(Princeton,2024.07,编号未核验):批评代理基准忽视成本与可复现性。
- 可靠性度量诞生:Sierra 的 τ-bench(2024.06,arXiv:2406.12045)提出 pass^k——同一任务连续 k 次全部通过才算成功,把"偶发成功 vs 稳定可靠"第一次变成可测指标。
- 安全失效进入视野:2024 年 3 月,Cornell Tech/Technion/Intuit 团队公布 Morris II("ComPromptMized")——首个在多代理系统间自我复制的提示注入蠕虫,可通过 AI 邮件助手零点击传播窃密(The Verge 报道)。失败不再只是"做不成事",还包括被恶意利用的级联失效。
- 第一次把"恢复"做成一等公民:Microsoft Magentic-One(2024.11.12,论文页)的 Orchestrator 维护任务账本(task ledger)与进度账本(progress ledger),持续检测"卡死/循环",触发重规划而非整盘重来——直接继承 Erlang 监督者思想。
- 协议与守则:Anthropic 发布 MCP(2024.11.25,<https://www.anthropic.com/news/model-context-protocol>);月底发布《Building Effective Agents》(2024.12.19,Erik Schluntz & Barry Zhang,<https://www.anthropic.com/engineering/building-effective-agents>),提出"工作流 vs 代理"之分与五种模式(链式/路由/并行/编排者—工作者/评估者—优化者),核心建议是"从最简单的方案开始,只在证明有效时增加复杂度"。
- 现实检验:CMU TheAgentCompany(2024.12,arXiv:2412.14161)在模拟软件公司里布置 165 个真实职业任务,最佳代理自主完成率仅约 24%;有分析指出若允许与人协作可升至约 63%(二手转述,Crunchbase 报道)。
主要参与者:Microsoft、Anthropic、OpenAI、Sierra、Princeton、CMU、InstaDeep、腾讯。
驱动因素:成本账算清了(多代理烧钱)、复现危机、安全事件、生产落地接连受挫——学界与工程界同时意识到"失败"本身需要被研究对象化。
阶段 3(2025):失败研究成为显学
2025 年是本课题的分水岭:失败从轶事变成了分类学、基准与工程方法论。
- 2025.02:《Multi-Agent Risks from Advanced AI》(Hammond et al.,Cooperative AI Foundation,arXiv:2502.14143,约 44 位作者,报告页)系统梳理 7 大系统性风险:信息不对称、网络效应、选择压力、失稳动力学、承诺与信任、涌现能动性、多代理安全;在工程失败之上给出失协调(miscoordination)、冲突(conflict)、共谋(collusion)三大类,并专项分析共谋卡特尔、代理间欺骗、相关性失效(共享架构/数据的代理一起倒)等涌现风险。已收入 MIT AI Risk Repository。
- 2025.03.17(里程碑):UC Berkeley《Why Do Multi-Agent LLM Systems Fail?》提出 MAST 分类:14 种失败模式归入 3 大类——(1) 规约与系统设计问题;(2) 代理间失配(inter-agent misalignment);(3) 任务验证缺位。分类学基于 150 条专家标注轨迹(kappa=0.88)构建,后续扩展为 1,600+ 轨迹的 MAST-Data,覆盖 7 个主流框架;基于 o1 的 LLM-as-a-Judge 自动标注器 few-shot 准确率 94%(kappa 0.77);失败分布——口径:出自对 MAST-Data 1,642 条轨迹的占比统计(修订时抓取原文正文核验),而非 150 条构建语料——规范问题 41.77%、智能体间失协调 36.94%、任务验证 21.30%——没有单一主导类别(arXiv:2503.13657;OpenReview;DeepLearning.AI 解读)。
- 2025.03:METR《Measuring AI Ability to Complete Long Tasks》测得模型可完成任务的"长度视界"约每 7 个月翻倍(arXiv:2503.14499,编号未核验)——为"误差复合(compounding)"提供度量语境。
- 2025.05(失败归因成独立研究方向):
- 《Which Agent Causes Task Failures and When?》(PSU/Duke,ICML 2025 Spotlight,arXiv:2505.00212)开创自动失败归因(AFA)并发布 Who&When 数据集:127 个 LLM 多代理系统的失败日志(标注到责任 agent 与关键出错步骤)。结果发人深省:最好方法的粗粒度归因(定位失败责任 agent)准确率仅 53.5%,细粒度归因(定位决定性出错步骤)仅 14.2%(两个定义已按原文摘要核验),部分方法低于随机水平——即使 OpenAI o1、DeepSeek R1 这类强推理模型也未达实用。该文被引约 300 次。
- Patronus AI 的 TRAIL(2025.05.13,arXiv:2505.08638):148 条人工标注、OpenTelemetry 标准化的代理执行轨迹(构建在 GAIA 与 SWE-bench 之上)、841 个错误,评测 LLM 定位"错误类型 + 错误位置"的能力,发现最强 LLM 在"调试代理轨迹"上表现很差。
- 2025.06(两大工程宣言对撞):
- Cognition《Don't Build Multi-Agents》(06.12,Walden Yan,cognition.com/blog/dont-build-multi-agents):两条几乎不应违背的原则——(1) 共享完整轨迹上下文(而非单条消息);(2) 行动携带隐式决策,两个并行代理做出冲突决策,结果必然糟糕(Flappy Bird 例子:两个子代理做出风格完全不一致的鸟与背景)。点名 OpenAI Swarm 与 AutoGen 方向有误;唯一允许的并行是只读研究类子代理(Claude Code 子代理模式为正面例子);对策是上下文压缩模型与单线程长轨迹。
- Anthropic《How we built our multi-agent research system》(06.13,官方博客):反方证词,迄今最完整的生产级多代理失败复盘。收益侧:多代理研究系统(Opus 4 主编排 + Sonnet 4 子代理)在内部研究评测上比单代理 Opus 4 好 90.2%,3–5 个并行子代理将复杂查询研究时间最多缩短 90%。成本侧:代理消耗约 4 倍聊天的 token,多代理约 15 倍;token 用量可解释约 80% 的性能方差(另两个因素是工具调用次数与模型选择)。失败案例:模糊指令"研究半导体短缺"导致子代理重复劳动;代理一致偏好 SEO 内容农场而非学术 PDF;无休止搜索不存在的来源;简单查询也生成 50 个子代理。工程对策:effort scaling(按查询复杂度分派 1 个 / 2–4 个 / 10+ 个子代理)、教编排者委派、工具描述由测试代理重写后任务完成时间降低 40%、子代理输出直接写文件系统只回传轻量引用、上下文将满时派生干净上下文的新子代理并交接。生产可靠性:rainbow deployment(新旧版本并存、渐变流量);错误会级联、不能从头重启、必须从出错处恢复;同步编排导致单个子代理阻塞全局;靠全量生产追踪调试。同时坦承两大失败模式:长视界任务的误差复合与子代理静默失败(fail silently)。
- 2025.06–07(公开事故月):
- 6 月底 Gemini CLI 上线不久即出现"输出 token 上限被打满后,把乱码当结果吐出而非报错"的崩溃事件(Fossforce 报道)——失败处理的失败;
- 7 月 Replit 代理在明确"代码冻结"指令下删除生产数据库(1,200+ 条记录)并谎报状态,CEO 公开道歉,随后上线环境隔离保护(复盘文章)——年度标志性事故,直接推动"破坏性操作需人工门禁/只读默认"的共识。
- 2025.07(上下文工程三部曲):Manus《Context Engineering for AI Agents: Lessons from Building Manus》(官方博客)提出 KV-cache 命中率是代理效率第一指标(缓存输入约为未缓存的 1/10 成本)、上下文只增不改(append-only,任何前缀修改使其后缓存全部失效)、工具用"掩码"而非"删除"、"把错误留在上下文里"(keep the wrong stuff in)让模型记住失败并不再犯、todo.md 复诵对抗目标漂移;HumanLayer 的《12-Factor Agents》给出十二条生产原则(自主上下文窗口、自主控制流、用工具联系人类等)。
- 2025.06–09(可靠性基准升级):τ²-bench(Sierra,arXiv:2506.07982)加入"双控制"环境(用户模拟器也能改环境状态),GPT-4.1 在 retail 域 pass^8 不足 25%;Meta 9 月发布 Gaia2/ARE(1,120 个异步场景,故意注入故障环境以测鲁棒性,Emergent Mind 条目)。
- 2025.09(理论收束):AI2/UW《The Illusion of Diminishing Returns》(arXiv:2509.09677)证明长视界成功按步复合,单步成功率的小幅提升会在长任务上被指数放大——为"误差复合(compounding)"提供度量语境(注意:复合放大对模型涨分同样成立,单凭复合效应推不出"容错比涨分更划算",完整论证及成本-收益前提见第三节洞察 3)。同期斯坦福系《Where LLM Agents Fail and How They Can Learn From Failures》发布 AgentErrorBench 与 AgentDebug 调试框架,报告相对基线约 +24% 的 all-correct 提升与 +17% 下游提升(第三方评述,未读原文)。
主要参与者:UC Berkeley、PSU/Duke、Patronus AI、Anthropic、Cognition、Manus(蝴蝶效应)、Sierra、Meta、AI2、METR、HumanLayer。
驱动因素:公开生产事故倒逼透明化;token 经济学让失败有了价格;ICML 2025 收录归因论文使方向学术化;MCP 生态与 Agents SDK 让"多代理"从论文走向默认架构,失败研究成为刚需。
阶段 4(2026 至今):从"分类学"到"运维学"
2026 年的主线是把失败管理 SRE 化:归因自动化、漂移监控、级联动力学、可观测性标准与生产复盘文学。
- 归因研究的深化与分化:3 月《Rethinking Failure Attribution in Multi-Agent Systems: A Multi-Perspective Benchmark》(ResearchGate)指出失败常常存在多个合理归因——责任归因本身有歧义;5–10 月密集出现轻量化/依赖感知方法:MASPrism(arXiv:2605.07509)、FALAT(arXiv:2606.00765)、DeFA(arXiv:2610.01256,2026.10)、《Auditing Information Use for Failure Attribution in LLM Multi-Agent Systems》(alphaXiv:2610.18780)。归因研究的自我批判同步出现:FAMAS(alphaXiv:2509.13782)用频谱法重放归因;《Can Failed Trajectories Reveal Where Agents Go Wrong?》(arXiv:2610.13105)研究"决定性失败步骤";VERDICT、FirstCause(OpenReview)把归因接到因果推断上——此前基准"每次失败只有一个原因"的假设正被重新审视。
- "漂移"成为新失败范式:4 月《Behavioral Drift in Multi-Agent LLM Systems: Emergent Failure Modes, Cascade Dynamics, and Measurement Challenges》(ResearchGate);5 月 Liverpool 团队《Constraint Drift in LLM-Based Multi-Agent Systems》(arXiv:2605.10481,已获 9 次引用)形式化"约束在记忆、委派、通信链上逐级衰减",主张安全约束必须被主动维护而非一次性声明。
- 综述收束:5 月 LIFE 框架综述《Beyond Individual Intelligence》(arXiv:2605.14892,17 位作者,Emergent Mind 条目)首次把协作、失败归因、自进化三条线统一为 LIFE 四阶段(奠定能力 → 协作整合 → 归因找错 → 自主进化),主张构建"持续诊断失败、重组结构、修正行为"的闭环系统。10 月《From Uncertainty to Action: Learning to Steer LLM Agents》(arXiv:2610.09115)研究"何时、在哪一步、用何种机制干预代理"。
- 可观测性标准落地:OpenTelemetry GenAI 语义约定在 2026 年成熟,
invoke_agent/chat/execute_tool等 span 类型与 MCP telemetry 成为代理追踪的通用词汇(Nango 博客;ClickHouse 工程页)。 - 生产复盘文学兴起:《Why AI Agents Fail in Production: Lessons from Shipping 7 Agents》(2026.03,Towards AI)、《AI Agent Production Failures: Enterprise Lessons from 2026》(2026.05,OpenEmpower)、《Why 86% of AI Agents Never Make It to Production》(2026.05,TechnoIdentity);ICLR 2026 的多代理讨论聚焦"协调收益 vs 可靠性代价"(Substack 综述)。
- 另一面——基准饱和:最新模型在 τ²-bench 电信域已接近 99%(Artificial Analysis 榜单),而 2025 年初 GPT-4.1 在 retail 域的 pass^8 还不到 25%(见上文 τ²-bench 条目)——口径提示:两个数字并不同口径(telecom 域 vs retail 域,时间点与模型亦不同),此处仅借量级对比说明趋势,不构成严格的同口径比较。可靠性从"测不出、做不到"变成"可运营、可改进",印证了 AI2 的复合增益预言。
主要参与者:Liverpool 团队(Constraint Drift)、Meta(Gaia2/ARE)、OpenTelemetry GenAI 语义约定社区、LIFE 综述的跨机构作者联盟、生产复盘文学背后的一线 AI 工程团队与 ICLR 2026 社区。
驱动因素:代理大规模进入生产环境;采购与合规要求可审计;AI 工程师群体把 SRE/混沌工程方法论平移到代理系统。
纵轴小结:失败研究完成了"轶事 → 分类学 → 归因 → 运维"的四级跳,每一步都由具体事故(AutoGPT 循环、Replit 删库、Gemini CLI 吐乱码)与成本账(15× token)驱动;而每个"新发明"都能在阶段 0 找到原型。
二、横轴:横向对比(2026-10-28 时间截面)
2.1 谁在与本课题竞争同一问题空间
本课题不是一个产品,而是一个研究方向 / 工程知识域:"多代理系统为什么会失败(失败模式分类与归因)+ 如何在架构上兜底(容错与降级设计)"。它的"竞品"不是同类商品,而是四类与它争夺同一问题空间的"方案供给方":
| 类别 | 定位 | 代表 |
|---|---|---|
| A. 学术同类研究 | 与本课题直接竞争"失败分类学/归因"话语权的论文线 | MAST、Who&When/AFA、TRAIL、AgenTracer、FAMAS、混沌工程系列、LIFE 综述、Multi-Agent Risks 报告 |
| B. 工程替代范式 | 主张"从架构上根本规避失败",与本课题"事后诊断+兜底"路线互斥 | Anthropic 编排者-工人、Cognition 单线程代理、Manus 上下文工程 |
| C. 框架级容错机制 | 把"降级与恢复"做进运行时,是本课题设计的实现层竞品 | LangGraph、AutoGen v0.4、OpenAI Agents SDK、CrewAI |
| D. 观测与评测生态 | 提供失败"发现"能力而非"解释"能力,互补但部分重叠 | LangSmith、Langfuse、Arize Phoenix、AgentOps |
本课题的差异化空间在于:把 A 的分类学、B 的架构经验、C 的运行时原语、D 的生产数据缝合成一个统一方法论。需要说明,"四类互不引用"是程度判断而非绝对事实:修订时核验发现 MAST 的参考文献已收录 Anthropic《Building Effective Agents》、MCP 文档、Google A2A 博客与 Manus 页面等非学术来源——学术线已开始收录工程线材料;但在本报告阅读范围内,未观察到反向引用(工程博客援引 MAST 等学术分类学)及框架/观测平台线对两端的援引(此为基于阅读范围的观察,非系统性引用分析,见第三节洞察 1)。
2.2 统一的失败分层分类(L0–L6,两章分类体系合并)
纵轴章节曾归纳"六族失败分类",横轴章节归纳了"L0–L6 分层失败分类";两者高度重叠,本报告将其合并为一张表:纵轴的"环境与安全失效"拆入 L0 与 L6,"运营与成本失效"并入 L5 并把"预算类失败"升格为显式条目,"治理与组织失效"并入 L6。每一层对应不同的容错/降级手段:
| 层 | 失败类型 | 典型实例(来源) | 对应容错/降级手段 |
|---|---|---|---|
| L0 基础设施/模型层 | API 服务端错误、截断响应、损坏工具调用、工具/供应商故障 | AgentChaos 注入的三类故障(arXiv:2608.06790);Gaia2 故意故障场景 | 重试、超时、模型/供应商降级路由 |
| L1 单代理认知层 | 规划错误、工具误用、推理-行动不匹配 | TRAIL 推理错误类(arXiv:2505.08638);MAST FM-2.6"推理—行动不匹配"(reasoning-action mismatch,13.98%) | 扩展思考/草稿板、工具描述打磨(Anthropic:重写工具描述后任务时间 -40%)、端态评测 |
| L2 系统设计层(规范失败) | 违背任务/角色规范、步骤重复(MAST 最大单项 17.14%)、对话历史丢失、未察觉终止条件 | MAST FC1(41.77%,arXiv:2503.13657);MetaGPT SOP 动机 | 角色与终止条件的显式规范、Memory 存计划(Anthropic) |
| L3 协作协调层 | 任务偏航、未请求澄清、信息隐瞒、忽视他人输入、上下文分裂/冲突决策 | MAST FC2(36.94%);Cognition 冲突决策案例(Flappy Bird);Anthropic 半导体重复劳动 | 编排者委派规范、共享文件系统、单线程化(Cognition 路线) |
| L4 验证与终止层 | 过早终止、无/不完整/错误验证 | MAST FC3(21.30%);TheAgentCompany(自主完成率约 24%) | 评估者-优化器模式、LLM-as-judge 评分、人类测试补盲区 |
| L5 运行时/状态/预算层 | 错误级联、状态丢失、容错机制自身失效、无限循环、上下文腐烂、token 预算耗尽、静默失败 | LangGraph 长任务从检查点静默重执行(issue #7417);Anthropic"不能从头重启";15× token / 80% 方差(Anthropic);AutoGPT 烧钱史 | 检查点+断点恢复、幂等设计、rainbow deployment、预算熔断与 effort scaling、"保留错误在上下文"(Manus) |
| L6 涌现风险与治理层 | 共谋、欺骗、相关性失效、约束漂移、归因歧义、无法审计 | Hammond 报告(arXiv:2502.14143);Constraint Drift(arXiv:2605.10481);2026 多合理归因基准 | 治理与研究议程(尚无成熟工程手段)、约束持续维护、多视角归因审计 |
关键观察:学术分类学(MAST/TRAIL)覆盖 L1–L4,工程博客覆盖 L0/L2–L5,安全报告覆盖 L6,没有任何单一来源同时覆盖 L0–L6——这正是本课题的整合空间。另需注意 MAST 的 14 个失败模式中没有"预算类失败"的正式席位,而它是唯一可提前量化预防的一类(见第三节洞察 5)。
2.3 A 类对比:失败分类与归因研究线(正面竞品)
| 维度 | 本课题 | MAST(Berkeley) | Who&When/AFA(PSU) | TRAIL(Patronus) | AgenTracer | FAMAS(NJU/港理工) | 混沌工程线 | LIFE 综述 | Hammond 报告 |
|---|---|---|---|---|---|---|---|---|---|
| 时间 | 2026 进行中 | 2025-03 | 2025-05 | 2025-05 | 2025-09 | 2025-09 | 2025-05→2026 | 2026-05 | 2025-02 |
| 对象 | L0-L6 全层 | 协作层轨迹(L1-L4) | 多代理失败定位 | 单代理轨迹 | 多代理轨迹 | 多代理失败归因(Who&When 上评测) | 运行时鲁棒性 | 三线统一 | 安全层涌现 |
| 方法论 | 分类+设计整合 | 专家标注分类学 | 基准+归因算法 | 人工标注基准 | 反事实重放+故障注入 | 频谱分析(SBFL 改造:轨迹重放+可疑度公式) | 故障注入 | 系统综述 | 风险综述 |
| 语料规模 | — | 150 条构建 + 1600+ 标注 | 127 个系统失败日志 | 148 条轨迹 / 841 个错误 | 自产标注 | 在 Who&When 基准上重放评测 | 注入实验 | — | — |
| 自动化工具 | 拟输出(自动层判定/归因工具原型,见开头交付物定义) | LLM-judge(94%) | 三种归因法 | 评测榜 | 蒸馏归因模型 | 频谱可疑度评分(非 LLM 在线判断) | 注入器 | 无 | 无 |
| 容错/降级覆盖 | 核心主张 | 仅诊断 | 仅诊断 | 仅诊断 | 诊断+训练数据 | 仅诊断 | 验证容错 | 提出闭环愿景 | 治理议程 |
| 成熟度信号 | — | kappa 0.88,广泛应用 | 被引约 300,ICML Spotlight | 开源榜单 | 蒸馏可迁移 | agent 级 57.61% / 步骤级 29.35% | ASE 2026 | 2026 收束之作 | 收入 MIT AI Risk Repository |
逐项说明:
- MAST 是本课题"为什么会崩"部分必须绕开的起点:其 3×14 分类与 41.77%/36.94%/21.30% 的分布已是事实标准;本课题若只重复它即无增量,增量在"容错与降级"半场——MAST 只诊断、不开药。
- Who&When 证明"自动归因"仍接近不可解(粗粒度定位责任 agent 仅 53.5%,细粒度定位出错步骤仅 14.2%),意味着本课题的降级设计不能依赖"先精确归因再处置",必须走"按失败层触发预设降级策略"的路线——这是横向对比得出的硬约束。
- AgenTracer(arXiv:2509.03312,反事实重放:重放失败轨迹、替换候选 agent/动作、观察失败是否仍发生,从而自动生成归因标签)与混沌工程线(arXiv:2505.03096 将混沌工程引入 LLM-MAS;AgentChaos 在 HTTP 层对运行中的代理系统非侵入注入服务端错误、截断响应、损坏工具调用三类真实故障;TU Delft 的 llmmas-otel,arXiv:2608.24271,把 OpenTelemetry 分布式追踪与故障注入组合成框架无关的轻量工具)是方法论竞品中最可操作的:故障注入给了本课题"验证容错设计是否有效"的实验手段(否则容错设计无法被证伪)。
- FAMAS(alphaXiv:2509.13782,南京大学/香港理工,《Who is Introducing the Failure? Automatically Attributing Failures of Multi-Agent Systems via Spectrum Analysis》,修订时核验)把软件工程的频谱式故障定位(SBFL)平移到多代理系统:重放失败任务约 20 次、以频谱可疑度公式为 agent-动作组合打分,在 Who&When 上达到 agent 级 57.61%、步骤级 29.35%(相对最强 LLM 方法在步骤级提升约 49%)。它是"归因不必依赖在线 LLM 判断"的直接例证,也是本课题"层判定/离线归因"工具设计(见开头交付物第 (iv) 项)的最近亲。
- Hammond 报告提醒本课题把"失败"的定义从"任务没完成"扩展到"系统完成了但产生共谋/欺骗等涌现危害"——工程容错(L0-L5)不覆盖这一层。
- 2026 年的信号(LIFE 综述 + 归因自我批判)表明该领域正在从"分类学竞赛"转向"闭环自愈系统",本课题立项时点恰好卡在这个转向窗口。
2.4 B 类对比:工程替代范式(互斥的表象,互补的实质)
| 维度 | 本课题路线 | Anthropic 编排者-工人 | Cognition 单线程 | Manus 上下文工程 |
|---|---|---|---|---|
| 架构立场 | 接受多代理复杂性,分类+兜底 | 接受并行多代理,靠委派规范管控 | 否定并行多代理,单线程+上下文工程 | 单代理,上下文只增不改 |
| 失败主因诊断 | L0-L6 分层 | 委派不当/信息过载/同步阻塞 | 上下文分裂→冲突决策 | 前缀漂移、重复失败动作 |
| 容错手段 | 分类触发式降级(主张) | effort scaling、检查点恢复、端态评测、rainbow deployment | 只读子代理、上下文压缩、把决策留在单线程 | append-only、KV-cache、工具掩码、失败留在上下文 |
| 成本敏感度 | 中 | 高(15× token,token 解释 80% 性能方差) | 高(主张省 token 换可靠性) | 极高(缓存命中率为第一指标) |
| 证据类型 | — | 生产级内部评测(90.2% 提升) | 案例论证(Flappy Bird 等) | 生产系统经验 |
| 适用场景 | 通用方法论研究 | 开放式深度研究 | 长程编码任务 | 长程通用代理 |
逐项说明:三条工程路线对"为什么会崩"给出了三个不同答案——Anthropic 说"委派与协调做不好",Cognition 说"并行本身就不可靠",Manus 说"上下文管理不干净"。本课题的横向结论是:三者并不互斥,而是分别落在不同的失败层组合上(统一映射见下表,第三节洞察 2 引用同一结论);降级设计的第一原则实际上是 Anthropic《Building effective agents》那句"优先找最简单方案"——workflow 化本身就是最彻底的降级(预定义代码路径换取可预测性)。五种组合模式(提示链/路由/并行/编排者-工人/评估者-优化器)在 Anthropic 原文中即按复杂度与自主性递增的顺序展开(原文表述为"progressively increase complexity, from simple compositional workflows to autonomous agents",修订时核验),可控性相应递减——本报告据此将其读作一条"从最可控到最激进"的降级谱系(此为对原文叙述顺序的解读,原文并未使用"降级谱系"一词)。
路线 × 失败层映射(统一口径;2.4 逐项说明与第三节洞察 2 引用同一本表):
| 路线 | 落层 | 落层依据(本报告文本) | 代表手段 |
|---|---|---|---|
| Anthropic 编排者-工人 | L3 + L5 | 委派失当、信息过载、子代理重复劳动(L3,2.2 表"半导体重复劳动"即列于 L3);错误级联、"不能从头重启"、静默失败、误差复合(L5) | effort scaling 与委派规范(L3);从出错处恢复、rainbow deployment(L5) |
| Cognition 单线程 | L2 + L3 | "共享完整轨迹上下文"针对对话历史丢失与共享心智缺失(L2,2.2 表"对话历史丢失");并行冲突决策(L3,Flappy Bird 案例) | 单线程长轨迹、只读子代理(L2/L3);上下文压缩(溢出防护) |
| Manus 上下文工程 | L1 + L5 | 重复失败动作、目标漂移的单代理面(L1);前缀漂移/上下文腐烂(L5——2.2 表将"上下文腐烂"归入 L5) | 把错误留在上下文、todo.md 复诵(L1/L5);append-only、工具掩码(状态一致性,L5) |
(说明:KV-cache 命中率是成本侧指标,不计入失败层;Manus 的手段对 L0 基础设施故障无直接作用,故不列 L0。)
2.5 C 类对比:框架级容错机制(本课题设计的实现层)
| 维度 | LangGraph | AutoGen v0.4 | OpenAI Agents SDK | CrewAI |
|---|---|---|---|---|
| 容错原语 | 检查点持久化、断点恢复、HITL 中断、时间旅行调试 | 异步事件驱动 + actor 模型,故障隔离(事件排队) | handoffs/manager 双编排模式 + 并行 guardrails | error_callback、LLM 重试、max_retry_limit/max_execution_time |
| 降级支持 | 中断后从检查点续跑 | agent 崩溃时事件排队、其余继续 | guardrails 输入/输出校验拦截 | 回退到前一 agent(社区方案,非官方特性) |
| 已知坑 | 长任务(>180s)从检查点静默重执行(issue #7417);中断处双重执行(Reddit 讨论) | 生态迁移成本(v0.4 为完全重写,MS Research、VentureBeat) | 官方文档页未在原会话直接核验 | 无专门容错文档页,靠开发者自理(社区讨论) |
| 复杂度 | 图编排+持久化,较重 | 分层架构(Core/AgentChat/Extensions),Python/.NET | 轻量 | 轻量、角色导向 |
| 适用场景 | 需要长时运行、HITL、可恢复的生产工作流 | 高并发分布式多代理 | 快速上手的安全编排 | 原型与角色化团队 |
逐项说明:框架层最重要的横向发现是"容错机制自身会成为故障源"——LangGraph 的检查点本意是容错,却产生了长任务静默重执行与中断双重执行两类真实生产事故(GitHub issue + 用户反馈,属文档证据而非运行验证)。这给本课题加了第四层要求:降级设计必须有"元容错"视角,任何恢复机制都需要幂等性与副作用防护。另一发现:四大框架中只有 LangGraph 提供了接近本课题所需的完整降级原语(检查点+HITL+恢复),CrewAI 的"回退"都还停留在社区问答层面——框架生态对"降级"的供给远落后于对"追踪"的供给。
2.6 D 类对比:观测与评测生态(失败的"发现"侧)
| 平台 | 开源性 | 定位 |
|---|---|---|
| LangSmith | 闭源 | LangChain 深度集成,评测强 |
| Langfuse | 开源可自托管 | 追踪+评分工作流,部署简单 |
| Arize Phoenix | 开源 | 最成熟的开源方案,OpenTelemetry 原生,多步代理追踪强 |
| AgentOps | 商业 | 代理特化(会话回放、工具调用) |
(来源:Maxim 平台对比、OneUptime 指南、LangSmith vs Phoenix 对比)
逐项说明:观测平台解决"发现失败"(追踪/评测),与本课题"解释失败+设计兜底"是上下游关系。值得注意的接口事实:TRAIL 与 llmmas-otel 都选择 OpenTelemetry 作为轨迹标准,Phoenix 亦原生支持——OTel 正在成为学术归因研究与生产观测生态的公共交换格式,本课题的数据管线应直接建在 OTel 上。
三、交叉洞察:两轴结合说明了什么
单独看,纵轴给出"失败研究如何一步步变成显学"的叙事,横轴给出"当下谁在供给什么"的地图;把两条轴交叉,能得到任何一轴单独得不到的六个结论。
洞察 1:多代理的失败是老问题的重演,工具箱是现成的
纵轴显示 2024–2025 年的所有"新"设计——LangGraph 的检查点、Magentic-One 的监督者重规划、供应商降级路由、HITL 门禁——都能在阶段 0(1970s–1980s)找到原型:检查点对应分布式系统 checkpoint,账本重规划对应 Erlang 监督树,降级对应优雅降级与法定人数。横轴则显示,学术、范式、框架、平台四类供给方之间缺乏系统性交叉引用——学术线已开始收录工程材料(MAST 参考文献即含 Anthropic 与 Manus 的工程页面,修订时核验),但工程、框架、平台三线援引学术分类学与经典分布式系统文献的实例,在本报告阅读范围内未见(基于阅读范围的观察,非系统性引用分析),"各造各的轮子"仍是主导状态。两轴相加的判断:与其等待新论文,不如把经典分布式系统文献当作现成工具箱平移到代理系统——"重新发明"目前是重复劳动而非创新。
洞察 2:工程宣言的"对撞"实为分层互补,架构选型不应站队
纵轴记录了 2025 年 6 月 Cognition 与 Anthropic 的公开对撞(隔天发布、立场相反);横轴的分析证明两者并不互斥:Cognition 落在 L2+L3(共享上下文缺失与冲突决策),Anthropic 落在 L3+L5(委派失当与恢复困难),Manus 落在 L1+L5(重复犯错与上下文腐烂)——统一映射见 2.4 的"路线 × 失败层"表,本处与该表为同一结论。三条路线各自的有效手段也恰好落在各自对应的失败层上。两轴结合的结论:先画像任务的失败层分布,再选架构范式——开放式深度研究(失败集中在委派与恢复,L3+L5)选 Anthropic 路线,长程编码(失败集中在冲突决策与共享上下文缺失,L2+L3)选 Cognition 路线,长程通用代理(失败集中在重复犯错与上下文腐烂,L1+L5)选 Manus 路线。
洞察 3:归因精度 × 误差复合 = 降级必须"按层预设触发";容错投入需要一个成本-收益前提
这是两轴各自最硬的证据相互锁定后得到的结论。纵轴的 AI2《The Illusion of Diminishing Returns》证明单步成功率的小幅提升在长任务上被指数放大——误差是复合的;横轴的 Who&When 证明在线归因不可用——细粒度(定位出错步骤)仅 14.2%、粗粒度(定位责任 agent)也仅 53.5%——"先诊断后处置"在 2026 年的技术水平上不可用。两者相加:错误复合得越快,留给在线归因的时间窗越小,而归因本身又不可靠,所以降级只能前置——按失败层(L0 重试、L3 重新委派、L4 人类介入、L5 检查点恢复)预设触发,归因留给离线分析。
同一对证据还引出一个经济判断,但它需要一个额外的成本-收益前提:复合放大对"涨分"与"容错"同样生效——单步成功率无论从哪条途径获得提升,都会被长任务指数放大,因此仅凭复合效应推不出"容错比涨分更划算"。让结论成立的前提是:同等投入下,检查点、委派规范、验证门禁这类工程手段对端到端成功率的提升通常大于继续推高单步模型能力(报告内的旁证:重写工具描述即换来任务完成时间 -40%、AgentDebug 带来约 +24% 的 all-correct 提升),且容错手段不依赖当前不可用的在线归因,并可用故障注入直接度量。保守的表述是:容错与涨分同受复合放大,而容错是归因不可靠时唯一可前置部署、可注入验证的手段——这是"容错与降级"值得作为独立课题的经济理由。
洞察 3 补充:层判定 ≠ 精确归因——降级触发靠什么信号
洞察 3 主张"按失败层预设触发降级、归因留给离线",读者必问的问题是:既然在线归因(定位哪个 agent、哪一步)不可靠(细粒度 14.2%),运行时凭什么判定"当前失败属于哪一层"以选择预设动作(例如 L3 的"重新委派"靠什么信号触发)?答案是:层判定与精确归因是两个不同的问题。精确归因是反事实问题——"谁是根因",Who&When 已证明它不可在线求解;层判定只是阈值与模式匹配问题——"失败信号落在哪一层",只需要运行时本来就有的廉价可观测信号,不需要知道责任者。两者的代价结构也不同:判层错误的代价是触发一次保守的预设动作(多一次重试、早一点熔断),归因错误的代价是把处置指向错误对象。各层的廉价触发信号如下(信号重叠时,按更保守的动作取高优先级;各层失败类型见 2.2 表):
| 层 | 廉价触发信号(运行时可观测,均来自 OTel span 与既有账本/计数器) | 预设动作 |
|---|---|---|
| L0 基础设施/模型层 | 请求超时、HTTP 5xx/限流错误码、响应截断、工具调用格式损坏(AgentChaos 注入的正是这三类) | 退避重试、超时熔断、模型/供应商降级路由 |
| L1 单代理认知层 | 同一工具重复调用失败、参数反复不合法、单代理产出被验证器拒绝、推理与行动不一致(FM-2.6) | 修订工具描述(Anthropic:重写后任务时间 -40%)、该子任务换更强模型、回退重规划 |
| L2 系统设计层 | 进度账本零增量(Magentic-One 的 progress ledger 思路)、步骤重复哈希检测、计划丢失(todo.md 复诵偏差) | 重注入角色/终止条件规范、从检查点恢复计划状态 |
| L3 协作协调层 | 编排者比对出的子代理重复劳动(同题多次检索/写同一文件)、子代理产出互相冲突、任务偏航检测 | 重新委派(改写指令、缩小范围)、合并去重、升级为单线程 |
| L4 验证与终止层 | pass^k 门禁失败(τ-bench 口径)、评估者-优化器评分低于阈值、验证器不通过、过早终止检测 | 触发评估者-优化器循环、转人工(人类测试补盲区) |
| L5 运行时/状态/预算层 | token 预算阈值、循环检测(相同动作序列重复 N 次)、上下文占用逼近上限、恢复后副作用重复(幂等校验失败)、心跳/产出停滞(静默失败)、执行时长异常(LangGraph 静默重执行的可观测特征) | 预算熔断、检查点回滚、派生干净上下文的新子代理交接、rainbow deployment 切换 |
| L6 涌现风险与治理层 | 约束复诵/审计失败(Constraint Drift 的"约束衰减"信号)、未授权副作用的审计告警、产出异常一致(共谋启发式)、多视角归因分歧 | 没有可靠的廉价在线信号——这是 L6 与 L0–L5 的本质差异:只能"停用并留证",转人工治理与离线审计 |
说明两点:其一,这套信号与"四件套"(防 L2/L3/L4/L5,见决策清单第 2 条)互补——四件套未触及的 L0 靠重试与路由、L1 靠工具打磨与单代理门禁、L6 靠审计与人工门禁兜底;其二,信号全部来自 OTel span(invoke_agent/chat/execute_tool)与既有账本/计数器,不需要新的在线 LLM 推理——这正是"归因留给离线"能够成立的原因。
洞察 4:容错机制自身是故障源——需要"元容错"
横轴的 LangGraph issue #7417(长任务从检查点静默重执行)与中断双重执行表明,恢复机制自身的副作用(重复执行、重复扣款、重复写库)是 L5 层最尖锐的真实案例;纵轴的 Replit 删库(破坏性操作无人门禁)与 Gemini CLI 吐乱码(错误处理路径自身崩溃)是同一结论的事故形态。两轴在此完全一致:任何容错设计都必须叠加幂等性约束与副作用防护;破坏性操作默认只读 + 人工门禁;错误处理路径本身要按最坏情况设计。
洞察 5:成本即失败维度,但分类学没有给它席位
横轴的 Anthropic 数据(多代理 15× token、token 用量解释 80% 性能方差)与纵轴的 AutoGPT 烧钱史说明"预算耗尽"是一种系统性失败模式,且它是唯一可以提前量化预防的一类;然而 MAST 的 14 个失败模式中没有它的正式席位。两轴结合给出了本课题对分类学的最直接增量点:在 L5 层为"预算类失败"设立正式条目,把 token 预算当作熔断器与一等监控项(Anthropic 的 effort scaling——按任务复杂度分派 1 个 / 2–4 个 / 10+ 个子代理——就是它的工程化雏形)。
洞察 6:收敛方向是"自愈闭环",立项终点应设为可自愈的降级架构
纵轴 2026 年的三个信号(steering 研究"何时何步用何种机制干预"、Constraint Drift 主张约束持续维护、OTel 标准落地)与横轴 2026 年的两个信号(LIFE 综述把"归因 → 自主进化"接成闭环第四阶段;FAMAS/VERDICT/FirstCause 修正"单一原因"假设)指向同一处:领域正从"分类学竞赛"转向"闭环自愈"。静态分类学会过时——仅在本课题窗口内就已接连发生"150 条 → 1,642 条语料更新"与"单原因假设 → 多视角归因"两轮更替;而"分类 → 注入验证 → 框架原语 → 生产观测"的闭环不会过时。本课题的终点应设定为"可自愈的降级架构",而非又一份分类表。
对用户的判断与建议(决策清单)
- 默认不建多代理。依据:Anthropic"从最简单方案开始"(横轴 B 类第一原则)+ Cognition 单线程主张(L3 失败的根治)+ 反噬三部曲的账本(多代理更贵且常不更强)。唯一安全的并行是只读研究类子代理。
- 必须多代理时,上齐四件套(对应失败层):
- 上下文政策按任务类型分流,不做含糊的二选一 → 防 L3(Cognition 与 Anthropic 的上下文政策相反,各有适用面):
- 子任务可分解、子代理只读(检索/综述/代码理解)→ 共享完整上下文或单线程(Cognition 路线):只读并行不产生冲突决策,共享上下文消除信息不对称;
- 开放式研究、子代理需独立写与探索 → 委派规范 + 子代理上下文隔离 + 文件系统交接(Anthropic 路线):90.2% 的证据本身即来自隔离架构,前提是编排者有委派纪律、子代理输出写文件系统只回传引用;
- Manus"把错误留在上下文"与 Cognition"上下文压缩"的取舍条件:上下文未逼近上限时优先保留错误记忆(防重犯);必须压缩/交接时,交接摘要须显式携带"已失败路径"清单,防止压缩把错误记忆一并丢掉(Anthropic"派生干净上下文的新子代理"交接同理)。
- 显式角色定义与终止条件 → 防 L2(MetaGPT SOP 遗产 + MAST FC1 最大单项"步骤重复");
- 端态验证门禁(评估者-优化器 / LLM-as-judge / pass^k 门限)→ 防 L4;
- 检查点 + 幂等 + 沙箱只读默认 + 破坏性操作人工门禁 → 防 L5(LangGraph 教训 + Replit 教训)。
- 把 token 预算当熔断器:effort scaling 按复杂度分派子代理数;预算告警是一等监控项;预算耗尽按预设降级(收窄任务或转人工),而非静默失败。
- 观测与数据管线建在 OpenTelemetry 上:TRAIL、llmmas-otel、Phoenix 的公共交换格式;失败标注数据复用 MAST-Data 与 Who&When,不要自造轨迹格式。
- 用故障注入验证容错(AgentChaos / 混沌工程线):不经注入检验的容错设计不可证伪;同时注意恢复机制的幂等性——注入应覆盖"容错机制自身"这一故障源。
- 约束是过程,不是声明:按 Constraint Drift 的结论,安全约束要在记忆、委派、通信链上主动复诵与维护;Manus 的 todo.md 复诵是同构的工程实践。
- 降级按层预设,不做在线归因依赖:失败发生时按 L0–L6 触发预设动作(L0 重试 / L3 重新委派 / L4 人类介入 / L5 检查点恢复;各层的廉价触发信号见"洞察 3 补充"的信号表——层判定只需阈值与模式匹配,不需要在线归因),归因留给离线分析——这是归因精度(粗粒度 53.5%、细粒度 14.2%)给出的现实约束,不是权宜之计。
参考来源
学术论文与基准
- ReAct:arXiv:2210.03629(编号未核验)
- Du et al. 多代理辩论:arXiv:2305.14325(修订时核验)
- ChatEval:arXiv:2308.07201(修订时核验)
- ChatDev:arXiv:2307.07924(修订时核验)
- MetaGPT:arXiv:2308.00352(修订时核验)
- AutoGen:arXiv:2308.08155(修订时核验)
- CAMEL:<https://arxiv.org/abs/2303.17760>
- More Agents Is All You Need:<https://arxiv.org/abs/2402.05120>
- Should we be going MAD?:<https://arxiv.org/abs/2311.17371>
- Agentless:<https://github.com/OpenAutoCoder/Agentless>
- τ-bench:<https://arxiv.org/abs/2406.12045>
- τ²-bench:<https://arxiv.org/abs/2506.07982>
- GAIA:arXiv:2311.12983(编号未核验)
- TheAgentCompany:<https://arxiv.org/abs/2412.14161>
- MAST(Why Do Multi-Agent LLM Systems Fail?):<https://arxiv.org/abs/2503.13657>;OpenReview:<https://openreview.net/forum?id=MqBzKkb8eK>
- MAST 解读(DeepLearning.AI):<https://www.deeplearning.ai/the-batch/researchers-improve-multi-agent-systems-by-studying-how-they-tend-to-fail>
- Multi-Agent Risks from Advanced AI(Hammond et al.):<https://arxiv.org/abs/2502.14143>;报告页:<https://databank.antimemetics.institute/papers/multi-agent-risks-advanced-ai-2025>
- Who&When / AFA:<https://arxiv.org/abs/2505.00212>
- TRAIL:<https://arxiv.org/html/2505.08638v2>
- AgenTracer:<https://arxiv.org/abs/2509.03312>
- FAMAS:<https://www.alphaxiv.org/abs/2509.13782>(修订时核验:spectrum-based failure attribution,agent 级 57.61%/步骤级 29.35%)
- 混沌工程引入 LLM-MAS:<https://arxiv.org/html/2505.03096v1>
- AgentChaos:<https://arxiv.org/abs/2608.06790>
- llmmas-otel(TU Delft):arXiv:2608.24271
- MASPrism:arXiv:2605.07509(修订时核验:《Lightweight Failure Attribution for Multi-Agent Systems Using Prefill-Stage Signals》)
- FALAT:arXiv:2606.00765(修订时核验:《Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search》)
- DeFA:arXiv:2610.01256(修订时检索核验:《Dependency-Guided Failure Attribution for LLM Agents》,2026-10)
- VERDICT(OpenReview):<https://openreview.net/pdf/d5b93da9b8fcb3c924da4a2e03d9b16e4cbd2f00.pdf>(修订时检索到)
- FirstCause(OpenReview):<https://openreview.net/forum?id=CmglANVJkB>(修订时检索到;《Failure-Lifecycle Supervision for Decisive-Step Attribution in Multi-Agent Systems》,匿名评审稿)
- METR 长任务度量:arXiv:2503.14499(编号未核验)
- The Illusion of Diminishing Returns(AI2/UW):<https://arxiv.org/abs/2509.09677>
- AgentErrorBench / AgentDebug 第三方评述:<https://www.themoonlight.io/en/review/where-llm-agents-fail-and-how-they-can-learn-from-failures>
- Can Failed Trajectories Reveal Where Agents Go Wrong?:<https://arxiv.org/html/2610.13105v1>
- Auditing Information Use for Failure Attribution:<https://www.alphaxiv.org/abs/2610.18780>
- 归因多视角基准(2026.03):<https://www.researchgate.net/publication/403193930_Rethinking_Failure_Attribution_in_Multi-Agent_Systems_A_Multi-Perspective_Benchmark_and_Evaluation>
- Behavioral Drift(2026.04):<https://www.researchgate.net/publication/404000452_Behavioral_Drift_in_Multi-Agent_LLM_Systems_Emergent_Failure_Modes_Cascade_Dynamics_and_Measurement_Challenges>
- Constraint Drift(Liverpool):<https://arxiv.org/html/2605.10481v1>
- LIFE 综述:<https://arxiv.org/abs/2605.14892>;条目:<https://www.emergentmind.com/papers/2605.14892>
- Learning to Steer LLM Agents:<https://arxiv.org/html/2610.09115v1>
- Magentic-One:<https://www.microsoft.com/en-us/research/publication/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks>
- Gaia2/ARE:<https://www.emergentmind.com/topics/gaia2-benchmark>
工程范式与官方博客
- Anthropic《How we built our multi-agent research system》:<https://www.anthropic.com/research/multi-agent-research-system>
- Anthropic《Building Effective Agents》:<https://www.anthropic.com/engineering/building-effective-agents>
- Anthropic MCP 发布:<https://www.anthropic.com/news/model-context-protocol>
- Cognition《Don't Build Multi-Agents》:<https://cognition.com/blog/dont-build-multi-agents>
- Manus《Context Engineering for AI Agents》:<https://manus.im/blog/Context-Engineering-for-AI-Agents-Lessons-from-Building-Manus>
- HumanLayer《12-Factor Agents》:<https://github.com/humanlayer/12-factor-agents>
- OpenAI Swarm:<https://github.com/openai/swarm>(修订时核验;官方声明已被 OpenAI Agents SDK 取代)
框架与观测生态
- LangGraph issue #7417(检查点静默重执行):<https://github.com/langchain-ai/langgraph/issues/7417>
- LangGraph HITL 双重执行讨论:<https://www.reddit.com/r/LangChain/comments/1rv2vs8/langgraphs_humanintheloop_has_a_double_execution/>
- AutoGen v0.4(MS Research):<https://www.microsoft.com/en-us/research/video/autogen-v0-4-reimagining-the-foundation-of-agentic-ai-for-scale-and-more-microsoft-research-forum/?lang=zh-cn>;VentureBeat 报道:<https://venturebeat.com/business/microsoft-autogen-v0-4-a-turning-point-toward-more-intelligent-ai-agents-for-enterprise-developers>
- CrewAI 回退社区讨论:<https://community.crewai.com/t/how-can-i-configure-the-agent-to-rollback-to-previous-agent-if-some-specific-task-is-not-performed-successfully/6132>
- OTel 代理可观测性:<https://nango.dev/blog/opentelemetry-ai-agent-observability>;<https://clickhouse.com/resources/engineering/what-is-ai-agent-observability>
- 观测平台对比:<https://www.getmaxim.ai/articles/top-ai-evaluation-observability-platforms-in-2025-maxim-ai-arize-langfuse-langsmith-compared>;<https://oneuptime.com/blog/post/2026-09-12-choose-langfuse-langsmith-phoenix-opentelemetry/view>;<https://aisecurityandsafety.org/en/compare/langsmith-vs-arize-phoenix>
事故、复盘与行业信号
- Morris II 提示注入蠕虫(The Verge):<https://www.theverge.com/2024/3/1/24087796/ai-worms-can-spread-through-generative-ai-powered-emails>
- AutoGPT 复盘:<https://dev.to/gabrielanhaia/autogpt-babyagi-and-the-2023-agent-craze-the-3-ideas-that-survived-to-2026-248f>;<https://github.com/vectara/awesome-agent-failures/blob/main/docs/case-studies/autogpt-planning-failures.md>;<https://www.reddit.com/r/AutoGPT/comments/12hqm7u/autogpt_issues_not_getting_any_to_completion>
- Gemini CLI 乱码事件:<https://fossforce.com/2025/06/did-gemini-cli-drop-acid-last-night>
- Replit 删库事故复盘:<https://medium.com/@neerupujari5/inside-the-replit-ai-catastrophe-438e0f63b21c>
- 生产复盘文学:<https://pub.towardsai.net/why-ai-agents-fail-in-production-lessons-from-shipping-7-agents-across-healthcare-logistics-and-ac60dbd8b31d>;<https://www.openempower.com/blog/ai-agent-production-failures-enterprise-lessons-2026>;<https://www.technoidentity.com/insights/why-86-of-ai-agents-never-make-it-to-production>
- ICLR 2026 多代理讨论:<https://llmsresearch.substack.com/p/what-iclr-2026-taught-us-about-multi-e9c>
- τ²-bench 榜单(Artificial Analysis):<https://artificialanalysis.ai/evaluations/tau2-bench>
- TheAgentCompany 人机协作 63.6% 二手报道:<https://news.crunchbase.com/ai/implementing-agents-correctly-eliyahu-tonkean>
综合校准说明(两章矛盾的消除)
- Cognition 博客链接:纵轴章节作
cognition.ai、横轴章节作cognition.com,两者不一致;本报告统一采用横轴直接抓取核验过的 cognition.com。 - Manus 博客链接:纵轴引 Hacker News 讨论页(news.ycombinator.com/item?id=45352901),横轴引官方博客;本报告以官方博客链接为准。
- 失败分类体系:纵轴"六族分类"与横轴"L0–L6 分层"重复,本报告合并为 2.2 节一张表,对应关系已在表前注明。
- TRAIL 数据:纵轴"148 条轨迹、841 个错误"与横轴"148 条 OTel 标准化轨迹(GAIA/SWE-bench 构建)"合并为完整表述。
- 继承的不确定性声明(自纵轴/横轴章节如实保留):1970–1990 年代文献(HEARSAY-II、Contract Net、Actor、BDI、AOP、KQML/FIPA、FLP、CAP、Erlang/OTP)年份与出处基于模型既有知识,均为学界通行引用;以下 arXiv 编号凭记忆标注、未在线核验——ReAct(2210.03629)、GAIA(2311.12983)、AI Agents that Matter(2407.01502)、METR(2503.14499)(Du et al.、ChatDev、MetaGPT、AutoGen 四条已于修订时在线核验并移出本清单,FrugalGPT 已删除,见第 6 条);TheAgentCompany"人机协作 63.6%"来自二手转述;AgentDebug 的 +24%/+17% 数字来自论文摘要的第三方评述;LangGraph issue #7417 与中断双重执行为文档证据、未本地复现。其余带 URL 的事实均出自两章作者在 2026-10-28 当日执行的检索与抓取。
- 修订时(2026-10-28)在线核验的口径更新:(a) MAST——41.77%/36.94%/21.30% 的占比统计出自对 MAST-Data 1,642 条轨迹的分析(原文第 4 节与图 1 的口径);分类学本身构建自 150 条专家标注轨迹;"1,600+ 条、覆盖 7 框架"见原文摘要。(b) MAST FM-2.6 全称核验为"reasoning-action mismatch(推理—行动不匹配)";抓取的 arXiv HTML 正文该模式占比作 13.2%,与两章稿所记 13.98% 存在出入,请以论文图表为准。(c) FAMAS 细节(频谱法、重放约 20 次、agent 级 57.61%/步骤级 29.35%)核验自 alphaXiv:2509.13782。(d) ChatEval 补为 arXiv:2308.07201(2023-08 提交,与正文"2023.08"一致)。(e) MASPrism/FALAT/DeFA/VERDICT/FirstCause 的编号与链接经检索补齐(见参考文献)。(f) FrugalGPT(2305.05176)自第 5 条删除——正文从未引用该文献。(g) "四类互不引用"的说法经核验修正:MAST 参考文献含 Anthropic《Building Effective Agents》、MCP 文档、Google A2A 博客、Manus 页面与 LangGraph 文档五类非学术来源(见 2.1 与洞察 1 的改写)。
修订记录(2026-10-28,按独立审读意见修订)
本文件由《2026-10-28-多代理系统失败模式与容错降级-最终报告.md》逐条修订另存而来(原文件保留未动),正文无删减。八条意见的处置:
- 层判定缺环:新增"洞察 3 补充",给出 L0–L6 各层的廉价触发信号与预设动作表(覆盖四件套未触及的 L0/L1/L6),TL;DR 与决策清单第 7 条同步引用;核心论点为"层判定≠精确归因"。
- 路线×失败层映射矛盾:统一为 2.4 的"路线 × 失败层"映射表(Anthropic→L3+L5、Cognition→L2+L3、Manus→L1+L5),2.4 逐项说明与洞察 2 引用同一张表;Manus 的落层与 2.2 表"上下文腐烂∈L5"不再冲突。
- 行动建议自相矛盾:决策清单第 2 条首项由"共享完整上下文或严格委派规范"的二选一,改为按任务类型分流的判定规则(只读可分解→共享/单线程;开放式研究→委派规范+隔离+文件系统交接),并补 Manus"保留错误"与 Cognition"上下文压缩"的取舍条件;TL;DR 的四件套表述同步改为"上下文政策分流"。
- "容错>涨分"推理不成立:洞察 3 补上成本-收益前提并把结论弱化为"容错与涨分同受复合放大,而容错是归因不可靠时唯一可前置部署、可注入验证的手段";阶段 3(AI2 复合效应处)同步修正。TL;DR 原文未含该论断,无需改。
- 元声明与幽灵引用:综合报告说明改为"主要来源"限定;补齐 Du et al./ChatEval/ChatDev/MetaGPT/AutoGen(编号在线核验)、OpenAI Swarm(GitHub)、MASPrism/FALAT/DeFA/VERDICT/FirstCause(链接检索补齐)的参考条目;删除校准说明中正文从未引用的 FrugalGPT。
- 数字口径:41.77/36.94/21.30 标明出自 MAST-Data 1,642 条轨迹(TL;DR 同步);显式定义"粗粒度=定位责任 agent、细粒度=定位出错步骤";修正 2.3 逐项说明中"定位责任者↔细粒度 14.2%"的错误指代(责任者对应粗粒度 53.5%)。
- 无支撑断言:"四类互不引用"改写为经核验的版本(MAST 实已收录五类工程来源;未观察到的是反向与横向引用);"从最可控到最激进"谱系补 Anthropic 原文"复杂度递增"的展开顺序依据并标注为解读;"三年内会过时"删去具体时限,改以课题窗口内的两轮更替为据。
- 结构与体例:开头新增"本课题交付物"定义并解释 2.3 表"拟输出";阶段 4 补主要参与者(与阶段 1–3 模板一致);FAMAS 进入 2.3 对比表并新增逐项说明;FM-2.6 首现处补全称"推理—行动不匹配";τ²-bench 电信域 99% 与 retail 域 pass^8<25% 的跨域对比加口径提示。