研究报告 · 约 28,708 字 · 预计推送 3 部分

多代理系统的失败模式研究:为什么会崩、如何设计容错与降级 未开始

目录

题记与说明

综合报告说明:本报告由两份章节研究综合而成——纵轴章节(发展史,1970s–2026.10,文件 parts/2026-10-28-多代理系统失败模式与容错降级-vertical.md)与横轴章节(2026-10-28 共时截面横向对比,文件 parts/2026-10-28-多代理系统失败模式与容错降级-horizontal.md)。两章的事实基础均为 2026-10-28 当日执行的网络检索(WebSearch/WebFetch,来源含 arXiv、Anthropic、Microsoft、GitHub、Patronus AI、Cognition、Manus 等),本报告保留主要来源链接——可在线核验的条目均附 URL,凭记忆标注编号的少数条目在文中显式标注"未核验"(见文末"综合校准说明");两章之间的重复内容已合并、矛盾之处已校准(见文末"综合校准说明")。

本课题交付物:本报告所属课题的产出是一份"L0–L6 失败分层 × 容错降级设计"的工程方法论,含四项——(i) 统一的失败分层分类与各层廉价触发信号(见 2.2 节与"洞察 3 补充");(ii) 按层预设的降级策略清单(见第三节决策清单);(iii) 基于故障注入的容错验证方案(见决策清单第 5 条);(iv) 自动化失败层判定工具的原型设计。2.3 对比表中"自动化工具:拟输出"即指第 (iv) 项——它尚在设计阶段,故表中相应栏不填成熟度信号。

TL;DR

多代理的失败是结构性的:MAST 对 1,600+ 条真实失败轨迹(MAST-Data 语料,修订时核验口径)的统计显示,规范缺陷、失协调、验证缺位各占约 42%/37%/21%。纵轴看是历史重演——LLM 时代在重新发明四十年前分布式系统的容错工具箱,从 2023 年 AutoGPT 翻车到 2026 年 SRE 化。横轴看,学术只诊断不开药,Anthropic、Cognition、Manus 三条路线实为不同失败层的答案(统一映射见 2.4)。硬约束:细粒度归因仅 14.2%,降级须按失败层预设触发——层判定≠精确归因,靠廉价运行时信号即可完成(见洞察 3 补充);workflow 化是最彻底的降级;容错机制自身需幂等的元容错。建议:能 workflow 不多代理;必须多代理时上齐上下文政策分流、显式终止条件、验证门禁、检查点幂等四件套,观测建在 OTel 上。


一、纵轴:发展脉络(1970s – 2026.10)

阶段 0(1970s–2022):史前遗产——"协调失败"的词汇表早已写好

LLM 时代谈"多代理失败"使用的很多概念,是四十年前分布式 AI 与分布式系统研究早就打磨好的。这一阶段没有 LLM,但为课题提供了整套理论底座:

本阶段驱动因素与遗产:电信、军事、机器人等场景单点不可靠,倒逼学界研究协调与容错;留下的是一整套失败词汇表(死锁、活锁、竞态、脑裂、级联失效、惊群)和容错工具箱(副本、超时、法定人数、监督者、优雅降级)。后面所有阶段,本质上是在为 LLM 代理重新发明这些东西。

阶段 1(2022.10–2023):诞生即翻车——LLM 多代理的第一年

起点:2022 年 10 月 ReAct(arXiv:2210.03629,编号未核验)确立"推理—行动"循环,单一代理开始"像个系统"。

关键事件:

主要参与者:开源社区(AutoGPT/BabyAGI)、KAUST(CAMEL)、Microsoft(AutoGen)、Meta/HuggingFace(GAIA)。
驱动因素:上下文窗口小(4K–8K)、模型指令遵循差、没有可靠性与成本基准——失败只能靠轶事传播,尚无分类学。
本阶段失败画像:循环卡死、目标漂移、幻觉传染、成本失控。

阶段 2(2024):框架军备竞赛,与"简单赢复杂"的第一次反噬

主要参与者:Microsoft、Anthropic、OpenAI、Sierra、Princeton、CMU、InstaDeep、腾讯。
驱动因素:成本账算清了(多代理烧钱)、复现危机、安全事件、生产落地接连受挫——学界与工程界同时意识到"失败"本身需要被研究对象化。

阶段 3(2025):失败研究成为显学

2025 年是本课题的分水岭:失败从轶事变成了分类学、基准与工程方法论。

主要参与者:UC Berkeley、PSU/Duke、Patronus AI、Anthropic、Cognition、Manus(蝴蝶效应)、Sierra、Meta、AI2、METR、HumanLayer。
驱动因素:公开生产事故倒逼透明化;token 经济学让失败有了价格;ICML 2025 收录归因论文使方向学术化;MCP 生态与 Agents SDK 让"多代理"从论文走向默认架构,失败研究成为刚需。

阶段 4(2026 至今):从"分类学"到"运维学"

2026 年的主线是把失败管理 SRE 化:归因自动化、漂移监控、级联动力学、可观测性标准与生产复盘文学。

主要参与者:Liverpool 团队(Constraint Drift)、Meta(Gaia2/ARE)、OpenTelemetry GenAI 语义约定社区、LIFE 综述的跨机构作者联盟、生产复盘文学背后的一线 AI 工程团队与 ICLR 2026 社区。
驱动因素:代理大规模进入生产环境;采购与合规要求可审计;AI 工程师群体把 SRE/混沌工程方法论平移到代理系统。

纵轴小结:失败研究完成了"轶事 → 分类学 → 归因 → 运维"的四级跳,每一步都由具体事故(AutoGPT 循环、Replit 删库、Gemini CLI 吐乱码)与成本账(15× token)驱动;而每个"新发明"都能在阶段 0 找到原型。


二、横轴:横向对比(2026-10-28 时间截面)

2.1 谁在与本课题竞争同一问题空间

本课题不是一个产品,而是一个研究方向 / 工程知识域:"多代理系统为什么会失败(失败模式分类与归因)+ 如何在架构上兜底(容错与降级设计)"。它的"竞品"不是同类商品,而是四类与它争夺同一问题空间的"方案供给方":

类别定位代表
A. 学术同类研究与本课题直接竞争"失败分类学/归因"话语权的论文线MAST、Who&When/AFA、TRAIL、AgenTracer、FAMAS、混沌工程系列、LIFE 综述、Multi-Agent Risks 报告
B. 工程替代范式主张"从架构上根本规避失败",与本课题"事后诊断+兜底"路线互斥Anthropic 编排者-工人、Cognition 单线程代理、Manus 上下文工程
C. 框架级容错机制把"降级与恢复"做进运行时,是本课题设计的实现层竞品LangGraph、AutoGen v0.4、OpenAI Agents SDK、CrewAI
D. 观测与评测生态提供失败"发现"能力而非"解释"能力,互补但部分重叠LangSmith、Langfuse、Arize Phoenix、AgentOps

本课题的差异化空间在于:把 A 的分类学、B 的架构经验、C 的运行时原语、D 的生产数据缝合成一个统一方法论。需要说明,"四类互不引用"是程度判断而非绝对事实:修订时核验发现 MAST 的参考文献已收录 Anthropic《Building Effective Agents》、MCP 文档、Google A2A 博客与 Manus 页面等非学术来源——学术线已开始收录工程线材料;但在本报告阅读范围内,未观察到反向引用(工程博客援引 MAST 等学术分类学)及框架/观测平台线对两端的援引(此为基于阅读范围的观察,非系统性引用分析,见第三节洞察 1)。

2.2 统一的失败分层分类(L0–L6,两章分类体系合并)

纵轴章节曾归纳"六族失败分类",横轴章节归纳了"L0–L6 分层失败分类";两者高度重叠,本报告将其合并为一张表:纵轴的"环境与安全失效"拆入 L0 与 L6,"运营与成本失效"并入 L5 并把"预算类失败"升格为显式条目,"治理与组织失效"并入 L6。每一层对应不同的容错/降级手段:

层失败类型典型实例(来源)对应容错/降级手段
L0 基础设施/模型层API 服务端错误、截断响应、损坏工具调用、工具/供应商故障AgentChaos 注入的三类故障(arXiv:2608.06790);Gaia2 故意故障场景重试、超时、模型/供应商降级路由
L1 单代理认知层规划错误、工具误用、推理-行动不匹配TRAIL 推理错误类(arXiv:2505.08638);MAST FM-2.6"推理—行动不匹配"(reasoning-action mismatch,13.98%)扩展思考/草稿板、工具描述打磨(Anthropic:重写工具描述后任务时间 -40%)、端态评测
L2 系统设计层(规范失败)违背任务/角色规范、步骤重复(MAST 最大单项 17.14%)、对话历史丢失、未察觉终止条件MAST FC1(41.77%,arXiv:2503.13657);MetaGPT SOP 动机角色与终止条件的显式规范、Memory 存计划(Anthropic)
L3 协作协调层任务偏航、未请求澄清、信息隐瞒、忽视他人输入、上下文分裂/冲突决策MAST FC2(36.94%);Cognition 冲突决策案例(Flappy Bird);Anthropic 半导体重复劳动编排者委派规范、共享文件系统、单线程化(Cognition 路线)
L4 验证与终止层过早终止、无/不完整/错误验证MAST FC3(21.30%);TheAgentCompany(自主完成率约 24%)评估者-优化器模式、LLM-as-judge 评分、人类测试补盲区
L5 运行时/状态/预算层错误级联、状态丢失、容错机制自身失效、无限循环、上下文腐烂、token 预算耗尽、静默失败LangGraph 长任务从检查点静默重执行(issue #7417);Anthropic"不能从头重启";15× token / 80% 方差(Anthropic);AutoGPT 烧钱史检查点+断点恢复、幂等设计、rainbow deployment、预算熔断与 effort scaling、"保留错误在上下文"(Manus)
L6 涌现风险与治理层共谋、欺骗、相关性失效、约束漂移、归因歧义、无法审计Hammond 报告(arXiv:2502.14143);Constraint Drift(arXiv:2605.10481);2026 多合理归因基准治理与研究议程(尚无成熟工程手段)、约束持续维护、多视角归因审计

关键观察:学术分类学(MAST/TRAIL)覆盖 L1–L4,工程博客覆盖 L0/L2–L5,安全报告覆盖 L6,没有任何单一来源同时覆盖 L0–L6——这正是本课题的整合空间。另需注意 MAST 的 14 个失败模式中没有"预算类失败"的正式席位,而它是唯一可提前量化预防的一类(见第三节洞察 5)。

2.3 A 类对比:失败分类与归因研究线(正面竞品)

维度本课题MAST(Berkeley)Who&When/AFA(PSU)TRAIL(Patronus)AgenTracerFAMAS(NJU/港理工)混沌工程线LIFE 综述Hammond 报告
时间2026 进行中2025-032025-052025-052025-092025-092025-05→20262026-052025-02
对象L0-L6 全层协作层轨迹(L1-L4)多代理失败定位单代理轨迹多代理轨迹多代理失败归因(Who&When 上评测)运行时鲁棒性三线统一安全层涌现
方法论分类+设计整合专家标注分类学基准+归因算法人工标注基准反事实重放+故障注入频谱分析(SBFL 改造:轨迹重放+可疑度公式)故障注入系统综述风险综述
语料规模—150 条构建 + 1600+ 标注127 个系统失败日志148 条轨迹 / 841 个错误自产标注在 Who&When 基准上重放评测注入实验——
自动化工具拟输出(自动层判定/归因工具原型,见开头交付物定义)LLM-judge(94%)三种归因法评测榜蒸馏归因模型频谱可疑度评分(非 LLM 在线判断)注入器无无
容错/降级覆盖核心主张仅诊断仅诊断仅诊断诊断+训练数据仅诊断验证容错提出闭环愿景治理议程
成熟度信号—kappa 0.88,广泛应用被引约 300,ICML Spotlight开源榜单蒸馏可迁移agent 级 57.61% / 步骤级 29.35%ASE 20262026 收束之作收入 MIT AI Risk Repository

逐项说明:

2.4 B 类对比:工程替代范式(互斥的表象,互补的实质)

维度本课题路线Anthropic 编排者-工人Cognition 单线程Manus 上下文工程
架构立场接受多代理复杂性,分类+兜底接受并行多代理,靠委派规范管控否定并行多代理,单线程+上下文工程单代理,上下文只增不改
失败主因诊断L0-L6 分层委派不当/信息过载/同步阻塞上下文分裂→冲突决策前缀漂移、重复失败动作
容错手段分类触发式降级(主张)effort scaling、检查点恢复、端态评测、rainbow deployment只读子代理、上下文压缩、把决策留在单线程append-only、KV-cache、工具掩码、失败留在上下文
成本敏感度中高(15× token,token 解释 80% 性能方差)高(主张省 token 换可靠性)极高(缓存命中率为第一指标)
证据类型—生产级内部评测(90.2% 提升)案例论证(Flappy Bird 等)生产系统经验
适用场景通用方法论研究开放式深度研究长程编码任务长程通用代理

逐项说明:三条工程路线对"为什么会崩"给出了三个不同答案——Anthropic 说"委派与协调做不好",Cognition 说"并行本身就不可靠",Manus 说"上下文管理不干净"。本课题的横向结论是:三者并不互斥,而是分别落在不同的失败层组合上(统一映射见下表,第三节洞察 2 引用同一结论);降级设计的第一原则实际上是 Anthropic《Building effective agents》那句"优先找最简单方案"——workflow 化本身就是最彻底的降级(预定义代码路径换取可预测性)。五种组合模式(提示链/路由/并行/编排者-工人/评估者-优化器)在 Anthropic 原文中即按复杂度与自主性递增的顺序展开(原文表述为"progressively increase complexity, from simple compositional workflows to autonomous agents",修订时核验),可控性相应递减——本报告据此将其读作一条"从最可控到最激进"的降级谱系(此为对原文叙述顺序的解读,原文并未使用"降级谱系"一词)。

路线 × 失败层映射(统一口径;2.4 逐项说明与第三节洞察 2 引用同一本表):

路线落层落层依据(本报告文本)代表手段
Anthropic 编排者-工人L3 + L5委派失当、信息过载、子代理重复劳动(L3,2.2 表"半导体重复劳动"即列于 L3);错误级联、"不能从头重启"、静默失败、误差复合(L5)effort scaling 与委派规范(L3);从出错处恢复、rainbow deployment(L5)
Cognition 单线程L2 + L3"共享完整轨迹上下文"针对对话历史丢失与共享心智缺失(L2,2.2 表"对话历史丢失");并行冲突决策(L3,Flappy Bird 案例)单线程长轨迹、只读子代理(L2/L3);上下文压缩(溢出防护)
Manus 上下文工程L1 + L5重复失败动作、目标漂移的单代理面(L1);前缀漂移/上下文腐烂(L5——2.2 表将"上下文腐烂"归入 L5)把错误留在上下文、todo.md 复诵(L1/L5);append-only、工具掩码(状态一致性,L5)

(说明:KV-cache 命中率是成本侧指标,不计入失败层;Manus 的手段对 L0 基础设施故障无直接作用,故不列 L0。)

2.5 C 类对比:框架级容错机制(本课题设计的实现层)

维度LangGraphAutoGen v0.4OpenAI Agents SDKCrewAI
容错原语检查点持久化、断点恢复、HITL 中断、时间旅行调试异步事件驱动 + actor 模型,故障隔离(事件排队)handoffs/manager 双编排模式 + 并行 guardrailserror_callback、LLM 重试、max_retry_limit/max_execution_time
降级支持中断后从检查点续跑agent 崩溃时事件排队、其余继续guardrails 输入/输出校验拦截回退到前一 agent(社区方案,非官方特性)
已知坑长任务(>180s)从检查点静默重执行(issue #7417);中断处双重执行(Reddit 讨论)生态迁移成本(v0.4 为完全重写,MS Research、VentureBeat)官方文档页未在原会话直接核验无专门容错文档页,靠开发者自理(社区讨论)
复杂度图编排+持久化,较重分层架构(Core/AgentChat/Extensions),Python/.NET轻量轻量、角色导向
适用场景需要长时运行、HITL、可恢复的生产工作流高并发分布式多代理快速上手的安全编排原型与角色化团队

逐项说明:框架层最重要的横向发现是"容错机制自身会成为故障源"——LangGraph 的检查点本意是容错,却产生了长任务静默重执行与中断双重执行两类真实生产事故(GitHub issue + 用户反馈,属文档证据而非运行验证)。这给本课题加了第四层要求:降级设计必须有"元容错"视角,任何恢复机制都需要幂等性与副作用防护。另一发现:四大框架中只有 LangGraph 提供了接近本课题所需的完整降级原语(检查点+HITL+恢复),CrewAI 的"回退"都还停留在社区问答层面——框架生态对"降级"的供给远落后于对"追踪"的供给。

2.6 D 类对比:观测与评测生态(失败的"发现"侧)

平台开源性定位
LangSmith闭源LangChain 深度集成,评测强
Langfuse开源可自托管追踪+评分工作流,部署简单
Arize Phoenix开源最成熟的开源方案,OpenTelemetry 原生,多步代理追踪强
AgentOps商业代理特化(会话回放、工具调用)

(来源:Maxim 平台对比、OneUptime 指南、LangSmith vs Phoenix 对比)

逐项说明:观测平台解决"发现失败"(追踪/评测),与本课题"解释失败+设计兜底"是上下游关系。值得注意的接口事实:TRAIL 与 llmmas-otel 都选择 OpenTelemetry 作为轨迹标准,Phoenix 亦原生支持——OTel 正在成为学术归因研究与生产观测生态的公共交换格式,本课题的数据管线应直接建在 OTel 上。


三、交叉洞察:两轴结合说明了什么

单独看,纵轴给出"失败研究如何一步步变成显学"的叙事,横轴给出"当下谁在供给什么"的地图;把两条轴交叉,能得到任何一轴单独得不到的六个结论。

洞察 1:多代理的失败是老问题的重演,工具箱是现成的

纵轴显示 2024–2025 年的所有"新"设计——LangGraph 的检查点、Magentic-One 的监督者重规划、供应商降级路由、HITL 门禁——都能在阶段 0(1970s–1980s)找到原型:检查点对应分布式系统 checkpoint,账本重规划对应 Erlang 监督树,降级对应优雅降级与法定人数。横轴则显示,学术、范式、框架、平台四类供给方之间缺乏系统性交叉引用——学术线已开始收录工程材料(MAST 参考文献即含 Anthropic 与 Manus 的工程页面,修订时核验),但工程、框架、平台三线援引学术分类学与经典分布式系统文献的实例,在本报告阅读范围内未见(基于阅读范围的观察,非系统性引用分析),"各造各的轮子"仍是主导状态。两轴相加的判断:与其等待新论文,不如把经典分布式系统文献当作现成工具箱平移到代理系统——"重新发明"目前是重复劳动而非创新。

洞察 2:工程宣言的"对撞"实为分层互补,架构选型不应站队

纵轴记录了 2025 年 6 月 Cognition 与 Anthropic 的公开对撞(隔天发布、立场相反);横轴的分析证明两者并不互斥:Cognition 落在 L2+L3(共享上下文缺失与冲突决策),Anthropic 落在 L3+L5(委派失当与恢复困难),Manus 落在 L1+L5(重复犯错与上下文腐烂)——统一映射见 2.4 的"路线 × 失败层"表,本处与该表为同一结论。三条路线各自的有效手段也恰好落在各自对应的失败层上。两轴结合的结论:先画像任务的失败层分布,再选架构范式——开放式深度研究(失败集中在委派与恢复,L3+L5)选 Anthropic 路线,长程编码(失败集中在冲突决策与共享上下文缺失,L2+L3)选 Cognition 路线,长程通用代理(失败集中在重复犯错与上下文腐烂,L1+L5)选 Manus 路线。

洞察 3:归因精度 × 误差复合 = 降级必须"按层预设触发";容错投入需要一个成本-收益前提

这是两轴各自最硬的证据相互锁定后得到的结论。纵轴的 AI2《The Illusion of Diminishing Returns》证明单步成功率的小幅提升在长任务上被指数放大——误差是复合的;横轴的 Who&When 证明在线归因不可用——细粒度(定位出错步骤)仅 14.2%、粗粒度(定位责任 agent)也仅 53.5%——"先诊断后处置"在 2026 年的技术水平上不可用。两者相加:错误复合得越快,留给在线归因的时间窗越小,而归因本身又不可靠,所以降级只能前置——按失败层(L0 重试、L3 重新委派、L4 人类介入、L5 检查点恢复)预设触发,归因留给离线分析。

同一对证据还引出一个经济判断,但它需要一个额外的成本-收益前提:复合放大对"涨分"与"容错"同样生效——单步成功率无论从哪条途径获得提升,都会被长任务指数放大,因此仅凭复合效应推不出"容错比涨分更划算"。让结论成立的前提是:同等投入下,检查点、委派规范、验证门禁这类工程手段对端到端成功率的提升通常大于继续推高单步模型能力(报告内的旁证:重写工具描述即换来任务完成时间 -40%、AgentDebug 带来约 +24% 的 all-correct 提升),且容错手段不依赖当前不可用的在线归因,并可用故障注入直接度量。保守的表述是:容错与涨分同受复合放大,而容错是归因不可靠时唯一可前置部署、可注入验证的手段——这是"容错与降级"值得作为独立课题的经济理由。

洞察 3 补充:层判定 ≠ 精确归因——降级触发靠什么信号

洞察 3 主张"按失败层预设触发降级、归因留给离线",读者必问的问题是:既然在线归因(定位哪个 agent、哪一步)不可靠(细粒度 14.2%),运行时凭什么判定"当前失败属于哪一层"以选择预设动作(例如 L3 的"重新委派"靠什么信号触发)?答案是:层判定与精确归因是两个不同的问题。精确归因是反事实问题——"谁是根因",Who&When 已证明它不可在线求解;层判定只是阈值与模式匹配问题——"失败信号落在哪一层",只需要运行时本来就有的廉价可观测信号,不需要知道责任者。两者的代价结构也不同:判层错误的代价是触发一次保守的预设动作(多一次重试、早一点熔断),归因错误的代价是把处置指向错误对象。各层的廉价触发信号如下(信号重叠时,按更保守的动作取高优先级;各层失败类型见 2.2 表):

层廉价触发信号(运行时可观测,均来自 OTel span 与既有账本/计数器)预设动作
L0 基础设施/模型层请求超时、HTTP 5xx/限流错误码、响应截断、工具调用格式损坏(AgentChaos 注入的正是这三类)退避重试、超时熔断、模型/供应商降级路由
L1 单代理认知层同一工具重复调用失败、参数反复不合法、单代理产出被验证器拒绝、推理与行动不一致(FM-2.6)修订工具描述(Anthropic:重写后任务时间 -40%)、该子任务换更强模型、回退重规划
L2 系统设计层进度账本零增量(Magentic-One 的 progress ledger 思路)、步骤重复哈希检测、计划丢失(todo.md 复诵偏差)重注入角色/终止条件规范、从检查点恢复计划状态
L3 协作协调层编排者比对出的子代理重复劳动(同题多次检索/写同一文件)、子代理产出互相冲突、任务偏航检测重新委派(改写指令、缩小范围)、合并去重、升级为单线程
L4 验证与终止层pass^k 门禁失败(τ-bench 口径)、评估者-优化器评分低于阈值、验证器不通过、过早终止检测触发评估者-优化器循环、转人工(人类测试补盲区)
L5 运行时/状态/预算层token 预算阈值、循环检测(相同动作序列重复 N 次)、上下文占用逼近上限、恢复后副作用重复(幂等校验失败)、心跳/产出停滞(静默失败)、执行时长异常(LangGraph 静默重执行的可观测特征)预算熔断、检查点回滚、派生干净上下文的新子代理交接、rainbow deployment 切换
L6 涌现风险与治理层约束复诵/审计失败(Constraint Drift 的"约束衰减"信号)、未授权副作用的审计告警、产出异常一致(共谋启发式)、多视角归因分歧没有可靠的廉价在线信号——这是 L6 与 L0–L5 的本质差异:只能"停用并留证",转人工治理与离线审计

说明两点:其一,这套信号与"四件套"(防 L2/L3/L4/L5,见决策清单第 2 条)互补——四件套未触及的 L0 靠重试与路由、L1 靠工具打磨与单代理门禁、L6 靠审计与人工门禁兜底;其二,信号全部来自 OTel span(invoke_agent/chat/execute_tool)与既有账本/计数器,不需要新的在线 LLM 推理——这正是"归因留给离线"能够成立的原因。

洞察 4:容错机制自身是故障源——需要"元容错"

横轴的 LangGraph issue #7417(长任务从检查点静默重执行)与中断双重执行表明,恢复机制自身的副作用(重复执行、重复扣款、重复写库)是 L5 层最尖锐的真实案例;纵轴的 Replit 删库(破坏性操作无人门禁)与 Gemini CLI 吐乱码(错误处理路径自身崩溃)是同一结论的事故形态。两轴在此完全一致:任何容错设计都必须叠加幂等性约束与副作用防护;破坏性操作默认只读 + 人工门禁;错误处理路径本身要按最坏情况设计。

洞察 5:成本即失败维度,但分类学没有给它席位

横轴的 Anthropic 数据(多代理 15× token、token 用量解释 80% 性能方差)与纵轴的 AutoGPT 烧钱史说明"预算耗尽"是一种系统性失败模式,且它是唯一可以提前量化预防的一类;然而 MAST 的 14 个失败模式中没有它的正式席位。两轴结合给出了本课题对分类学的最直接增量点:在 L5 层为"预算类失败"设立正式条目,把 token 预算当作熔断器与一等监控项(Anthropic 的 effort scaling——按任务复杂度分派 1 个 / 2–4 个 / 10+ 个子代理——就是它的工程化雏形)。

洞察 6:收敛方向是"自愈闭环",立项终点应设为可自愈的降级架构

纵轴 2026 年的三个信号(steering 研究"何时何步用何种机制干预"、Constraint Drift 主张约束持续维护、OTel 标准落地)与横轴 2026 年的两个信号(LIFE 综述把"归因 → 自主进化"接成闭环第四阶段;FAMAS/VERDICT/FirstCause 修正"单一原因"假设)指向同一处:领域正从"分类学竞赛"转向"闭环自愈"。静态分类学会过时——仅在本课题窗口内就已接连发生"150 条 → 1,642 条语料更新"与"单原因假设 → 多视角归因"两轮更替;而"分类 → 注入验证 → 框架原语 → 生产观测"的闭环不会过时。本课题的终点应设定为"可自愈的降级架构",而非又一份分类表。

对用户的判断与建议(决策清单)

  1. 默认不建多代理。依据:Anthropic"从最简单方案开始"(横轴 B 类第一原则)+ Cognition 单线程主张(L3 失败的根治)+ 反噬三部曲的账本(多代理更贵且常不更强)。唯一安全的并行是只读研究类子代理。
  2. 必须多代理时,上齐四件套(对应失败层):
    • 上下文政策按任务类型分流,不做含糊的二选一 → 防 L3(Cognition 与 Anthropic 的上下文政策相反,各有适用面):
    • 子任务可分解、子代理只读(检索/综述/代码理解)→ 共享完整上下文或单线程(Cognition 路线):只读并行不产生冲突决策,共享上下文消除信息不对称;
    • 开放式研究、子代理需独立写与探索 → 委派规范 + 子代理上下文隔离 + 文件系统交接(Anthropic 路线):90.2% 的证据本身即来自隔离架构,前提是编排者有委派纪律、子代理输出写文件系统只回传引用;
    • Manus"把错误留在上下文"与 Cognition"上下文压缩"的取舍条件:上下文未逼近上限时优先保留错误记忆(防重犯);必须压缩/交接时,交接摘要须显式携带"已失败路径"清单,防止压缩把错误记忆一并丢掉(Anthropic"派生干净上下文的新子代理"交接同理)。
    • 显式角色定义与终止条件 → 防 L2(MetaGPT SOP 遗产 + MAST FC1 最大单项"步骤重复");
    • 端态验证门禁(评估者-优化器 / LLM-as-judge / pass^k 门限)→ 防 L4;
    • 检查点 + 幂等 + 沙箱只读默认 + 破坏性操作人工门禁 → 防 L5(LangGraph 教训 + Replit 教训)。
  3. 把 token 预算当熔断器:effort scaling 按复杂度分派子代理数;预算告警是一等监控项;预算耗尽按预设降级(收窄任务或转人工),而非静默失败。
  4. 观测与数据管线建在 OpenTelemetry 上:TRAIL、llmmas-otel、Phoenix 的公共交换格式;失败标注数据复用 MAST-Data 与 Who&When,不要自造轨迹格式。
  5. 用故障注入验证容错(AgentChaos / 混沌工程线):不经注入检验的容错设计不可证伪;同时注意恢复机制的幂等性——注入应覆盖"容错机制自身"这一故障源。
  6. 约束是过程,不是声明:按 Constraint Drift 的结论,安全约束要在记忆、委派、通信链上主动复诵与维护;Manus 的 todo.md 复诵是同构的工程实践。
  7. 降级按层预设,不做在线归因依赖:失败发生时按 L0–L6 触发预设动作(L0 重试 / L3 重新委派 / L4 人类介入 / L5 检查点恢复;各层的廉价触发信号见"洞察 3 补充"的信号表——层判定只需阈值与模式匹配,不需要在线归因),归因留给离线分析——这是归因精度(粗粒度 53.5%、细粒度 14.2%)给出的现实约束,不是权宜之计。

参考来源

学术论文与基准

工程范式与官方博客

框架与观测生态

事故、复盘与行业信号

综合校准说明(两章矛盾的消除)

  1. Cognition 博客链接:纵轴章节作 cognition.ai、横轴章节作 cognition.com,两者不一致;本报告统一采用横轴直接抓取核验过的 cognition.com。
  2. Manus 博客链接:纵轴引 Hacker News 讨论页(news.ycombinator.com/item?id=45352901),横轴引官方博客;本报告以官方博客链接为准。
  3. 失败分类体系:纵轴"六族分类"与横轴"L0–L6 分层"重复,本报告合并为 2.2 节一张表,对应关系已在表前注明。
  4. TRAIL 数据:纵轴"148 条轨迹、841 个错误"与横轴"148 条 OTel 标准化轨迹(GAIA/SWE-bench 构建)"合并为完整表述。
  5. 继承的不确定性声明(自纵轴/横轴章节如实保留):1970–1990 年代文献(HEARSAY-II、Contract Net、Actor、BDI、AOP、KQML/FIPA、FLP、CAP、Erlang/OTP)年份与出处基于模型既有知识,均为学界通行引用;以下 arXiv 编号凭记忆标注、未在线核验——ReAct(2210.03629)、GAIA(2311.12983)、AI Agents that Matter(2407.01502)、METR(2503.14499)(Du et al.、ChatDev、MetaGPT、AutoGen 四条已于修订时在线核验并移出本清单,FrugalGPT 已删除,见第 6 条);TheAgentCompany"人机协作 63.6%"来自二手转述;AgentDebug 的 +24%/+17% 数字来自论文摘要的第三方评述;LangGraph issue #7417 与中断双重执行为文档证据、未本地复现。其余带 URL 的事实均出自两章作者在 2026-10-28 当日执行的检索与抓取。
  6. 修订时(2026-10-28)在线核验的口径更新:(a) MAST——41.77%/36.94%/21.30% 的占比统计出自对 MAST-Data 1,642 条轨迹的分析(原文第 4 节与图 1 的口径);分类学本身构建自 150 条专家标注轨迹;"1,600+ 条、覆盖 7 框架"见原文摘要。(b) MAST FM-2.6 全称核验为"reasoning-action mismatch(推理—行动不匹配)";抓取的 arXiv HTML 正文该模式占比作 13.2%,与两章稿所记 13.98% 存在出入,请以论文图表为准。(c) FAMAS 细节(频谱法、重放约 20 次、agent 级 57.61%/步骤级 29.35%)核验自 alphaXiv:2509.13782。(d) ChatEval 补为 arXiv:2308.07201(2023-08 提交,与正文"2023.08"一致)。(e) MASPrism/FALAT/DeFA/VERDICT/FirstCause 的编号与链接经检索补齐(见参考文献)。(f) FrugalGPT(2305.05176)自第 5 条删除——正文从未引用该文献。(g) "四类互不引用"的说法经核验修正:MAST 参考文献含 Anthropic《Building Effective Agents》、MCP 文档、Google A2A 博客、Manus 页面与 LangGraph 文档五类非学术来源(见 2.1 与洞察 1 的改写)。

修订记录(2026-10-28,按独立审读意见修订)

本文件由《2026-10-28-多代理系统失败模式与容错降级-最终报告.md》逐条修订另存而来(原文件保留未动),正文无删减。八条意见的处置:

  1. 层判定缺环:新增"洞察 3 补充",给出 L0–L6 各层的廉价触发信号与预设动作表(覆盖四件套未触及的 L0/L1/L6),TL;DR 与决策清单第 7 条同步引用;核心论点为"层判定≠精确归因"。
  2. 路线×失败层映射矛盾:统一为 2.4 的"路线 × 失败层"映射表(Anthropic→L3+L5、Cognition→L2+L3、Manus→L1+L5),2.4 逐项说明与洞察 2 引用同一张表;Manus 的落层与 2.2 表"上下文腐烂∈L5"不再冲突。
  3. 行动建议自相矛盾:决策清单第 2 条首项由"共享完整上下文或严格委派规范"的二选一,改为按任务类型分流的判定规则(只读可分解→共享/单线程;开放式研究→委派规范+隔离+文件系统交接),并补 Manus"保留错误"与 Cognition"上下文压缩"的取舍条件;TL;DR 的四件套表述同步改为"上下文政策分流"。
  4. "容错>涨分"推理不成立:洞察 3 补上成本-收益前提并把结论弱化为"容错与涨分同受复合放大,而容错是归因不可靠时唯一可前置部署、可注入验证的手段";阶段 3(AI2 复合效应处)同步修正。TL;DR 原文未含该论断,无需改。
  5. 元声明与幽灵引用:综合报告说明改为"主要来源"限定;补齐 Du et al./ChatEval/ChatDev/MetaGPT/AutoGen(编号在线核验)、OpenAI Swarm(GitHub)、MASPrism/FALAT/DeFA/VERDICT/FirstCause(链接检索补齐)的参考条目;删除校准说明中正文从未引用的 FrugalGPT。
  6. 数字口径:41.77/36.94/21.30 标明出自 MAST-Data 1,642 条轨迹(TL;DR 同步);显式定义"粗粒度=定位责任 agent、细粒度=定位出错步骤";修正 2.3 逐项说明中"定位责任者↔细粒度 14.2%"的错误指代(责任者对应粗粒度 53.5%)。
  7. 无支撑断言:"四类互不引用"改写为经核验的版本(MAST 实已收录五类工程来源;未观察到的是反向与横向引用);"从最可控到最激进"谱系补 Anthropic 原文"复杂度递增"的展开顺序依据并标注为解读;"三年内会过时"删去具体时限,改以课题窗口内的两轮更替为据。
  8. 结构与体例:开头新增"本课题交付物"定义并解释 2.3 表"拟输出";阶段 4 补主要参与者(与阶段 1–3 模板一致);FAMAS 进入 2.3 对比表并新增逐项说明;FM-2.6 首现处补全称"推理—行动不匹配";τ²-bench 电信域 99% 与 retail 域 pass^8<25% 的跨域对比加口径提示。

思考题(读完后想一想,参考答案可展开)

  1. 报告的核心论点是什么?MAST 的统计数据揭示了怎样的失败结构?
    参考答案

    核心论点:多代理的失败是结构性的。MAST 对 1,642 条轨迹的统计显示,规范缺陷、智能体间失协调、任务验证缺位各占 41.77%/36.94%/21.30%,没有单一主导类别。纵轴看是历史重演——LLM 时代在重新发明四十年前分布式系统的容错工具箱;横轴看,学术只诊断不开药,Anthropic、Cognition、Manus 三条工程路线实为不同失败层的答案。

  2. Cognition 与 Anthropic 的工程宣言看似对立,报告如何消解这种对立?选型时应如何取舍?
    参考答案

    报告把三条路线映射到失败层:Cognition 单线程落在 L2+L3(对话历史丢失、并行冲突决策);Anthropic 编排者-工人落在 L3+L5(委派失当、错误级联、不能从头重启);Manus 上下文工程落在 L1+L5(重复犯错、上下文腐烂)。三者不互斥而是分层互补:开放式深度研究选 Anthropic 路线,长程编码选 Cognition 路线,长程通用代理选 Manus 路线。

  3. 为什么降级设计不能依赖“先精确归因再处置”?报告结论自身有哪些局限?
    参考答案

    Who&When 基准证明在线归因不可用:粗粒度(定位责任 agent)准确率仅 53.5%,细粒度(定位出错步骤)仅 14.2%;且 AI2 证明误差随步复合放大,留给在线归因的时间窗更小。故降级须按失败层预设触发——层判定只需廉价运行时信号,归因留给离线。报告局限:LangGraph 检查点事故为文档证据未本地复现,部分 arXiv 编号未核验,个别数字来自二手转述。

  4. 开发者构建 Agent 系统时的默认选择是什么?必须多代理时应上齐哪些措施?
    参考答案

    默认不建多代理:Anthropic 主张“从最简单方案开始”,Agentless 管线在 SWE-bench Lite 解决 27.3% 且单价约 $0.34,多代理更贵且常不更强;唯一安全的并行是只读研究类子代理。必须多代理时上齐四件套:上下文政策分流、显式角色与终止条件、端态验证门禁、检查点+幂等+破坏性操作人工门禁(防 L3/L2/L4/L5)。另把 token 预算当熔断器(多代理约 15 倍消耗)。

← 资料库今日播报 →