AI Agent 的记忆评估：事实保持、时间一致性、遗忘与可编辑性怎么测 —— 纵横综合报告 未开始

题记与说明

综合说明：本报告由同课题两份章节综合而成——纵轴章《AI Agent 记忆评估发展历程》（2026-10-31）与横轴章《事实保持·时序一致性·遗忘·可编辑性横向对比》（2026-10-31）。两章之间的三处事实矛盾（LoCoMo 数据规模、PrefEval 编号、LongMemEval M 档口径）已按 arXiv API 与官方仓库一手来源逐条核验消解，消解与增量核验记录（含两章原件路径）见附录 A；未能溯源到一手来源的信息保留"（据搜索）"标注并集中列于附录 B。本文件为最终稿：初稿经独立审读（8 条意见）逐条修订后定稿，修订涉及公式权重归一、滞后口径统一、超证据论断限界、溯源标注补齐、矩阵判定口径与阈值校准方法补充。

撰写日期：2026-10-31

TL;DR

Agent 记忆评估分两条支流：权重侧的知识编辑与机器遗忘（ROME、TOFU），系统侧的长对话基准（MemGPT、LoCoMo）。2022–2024 年四条轴成形：事实保持（RULER 打假、LongMemEval 立标）、时间一致性（TempLAMA→双时态图谱）、遗忘（TOFU→BEMULA：端到端遗忘通过率不足 1.5%）、可编辑性（连锁效应→Agent 侧缺考）。2025 年商业化引爆 LoCoMo 分数汤，文件系统基线 74% 戳破跑分基础，评测信度成为主战场。2026 年转向生命周期审计与判分协议重建。建议：别用单基准分数选型，用组合体检+防自欺判分，遗忘合规单独设 gate。

一、纵轴：发展脉络

阶段〇（2021–2023 上半年）：史前史——"记忆"还是权重里的事

在"Agent 记忆"这个词流行之前，学界关心的记忆是装在权重里的知识：怎么定位、怎么改、怎么删、会不会过时。这一阶段的评估对象是模型本体，四条评估轴的雏形都在这里埋下：

• 可编辑性轴：2022 年 2 月 Meng 等（Karlsruhe/Princeton）发布 ROME《Locating and Editing Factual Associations in GPT》（arXiv:2202.05262，NeurIPS 2022），首次定位事实知识在 Transformer 中的存储位置并直接改写权重，"知识编辑"自此成为独立研究方向；同年 10 月同团队的 MEMIT（arXiv:2210.07229，ICLR 2023）把单条编辑扩展为批量编辑。后续综述反复发现：locate-and-edit 方法连续编辑约 10 条后性能崩塌，MEMIT 能撑到约 40 条——"连续编辑脆弱性"至今仍是可编辑性评估的核心考题（据搜索的综述归纳）。
• 时间一致性轴：Dhingra 等 2022 年的 TempLAMA《Time-Aware Language Models as Temporal Knowledge Bases》（arXiv:2106.15110，TACL）构建"随时间改变答案"的完形填空诊断集，揭示持续训练会让旧事实发生"遗忘/平均化"——这是时间一致性最早的系统化评估。
• 遗忘轴：2022 年 6 月的 StreamingQA（arXiv:2205.11388）首次在"事件发生后持续问答"设定下评估模型对新知识的适应与旧知识的衰退（注意该论文常被误标为 2023 年，实际 2022-05-23 提交）。
• 连锁效应问题浮出：2023 年 5 月 MQuAKE（arXiv:2305.14795）提出多跳问答式编辑评测——改了"某人住在哪个城市"，"他的家人住在哪个国家"会不会跟着变。编辑评估从"单跳事实"升级为"下游一致性"。

阶段小结：评估对象=模型权重；四轴中以可编辑性发育最早。驱动力是探针研究（knowledge neurons、FFN 键值记忆）带来的"知识可定位"想象，以及 GPT-3 时代训练数据污染/知识过时的现实焦虑。此时"编辑"指改权重、"遗忘"指机器遗忘（unlearning）雏形，都与 Agent 系统无关。

阶段一（2023.10–2024.2）：诞生——记忆从"权重"变成"系统"

• 2023 年 10 月 MemGPT（arXiv:2310.08560，UC Berkeley）借操作系统"虚拟内存分页"思想，把有限上下文当主存、外部存储当磁盘，让 LLM 自己决定记忆的换入换出与自编辑；配套的 DMR（Deep Memory Retrieval）任务成为此后记忆系统论文的标准陪练。这一步完成了概念上的关键转移：记忆不再只是模型属性，而是一个可工程化、也必须被独立评估的系统组件。
• 2023 年 11 月 TimeToBench（arXiv:2311.08398）用带时间戳的新闻式语料构造时间锚定问答——时间一致性从"权重知识过时"延伸到"上下文内事件排序"。
• 2024 年 2 月 LoCoMo（Maharana 等，Snap Research + UNC，ACL 2024，arXiv:2402.17753；ACL Anthology）发布了第一个超长对话记忆基准：LLM+人工混合管线、以人格与时间事件图谱为地基生成 10 段人机协作对话，平均每段 300 轮、9K token，最多 35 个会话（此为 arXiv 摘要原文口径，本次经 API 核验；纵轴章原记"600 轮/16K token/32 会话"系误记，已弃用），任务覆盖问答（单跳/多跳/时序/开放域）、事件摘要与多模态对话。此后两年 LoCoMo 成为事实上的"记忆系统跑分场"，也因此成为最大的争议现场。
• 同期产品信号：2024 年 2 月 13 日 OpenAI 为 ChatGPT 上线 Memory 功能——记忆第一次成为消费级产品特性，产品侧需求自此反向牵引评测侧。

驱动力：上下文窗口从 4K 冲到 128K/1M，但大家很快发现"窗口大 ≠ 记得好"，为后续"有效上下文"批判埋下伏笔；评估对象从"模型"正式分裂出"系统/管道"一支。

阶段二（2024.3–2024.12）：四条评估轴成形

这一年，课题名义下的四条轴各自拿到标志性武器：

• 事实保持：2024 年 4 月 NVIDIA 的 RULER《What's the Real Context Size of Your Long-Context Language Models?》（arXiv:2404.06654）证明模型在简单"大海捞针"上接近满分、有效上下文却远小于宣称值——单一 NIAH 从此失去及格线地位，多针检索、聚合、变量追踪成为标配；同年的 HELMET 进一步把合成检索与真实任务打包。
• 遗忘：2024 年 1 月 CMU 的 TOFU（arXiv:2401.06121，COLM 2024）用 200 个虚构作者档案构造"可安全公开的遗忘测试集"，定义了沿用至今的 forget quality 指标；MUSE（arXiv:2407.06460，ICLR 2025）改用真实新闻与书籍、提出六维评估（知识移除、隐私/成员推理攻击、效用保持、抗重学习等）。2024 年 10 月《LLM Unlearning Benchmarks are Weak Measures of Progress》（arXiv:2410.02879；CMU ML blog）调查 72 篇论文后指出：只盯固定 forget set 的评测是"虚假进步"——遗忘评估的方法论自觉由此开始。
• 可编辑性：2024 年 1 月浙大 zjunlp 的 KnowEdit（arXiv:2401.01286）把编辑评测从合成 triple 扩展到真实语料多任务；同期 RippleEdits 等把连锁效应做成独立指标（未核验编号）。
• 时间一致性 + 交互记忆总纲：2024 年 5 月 HippoRAG（arXiv:2405.14831，NeurIPS 2024）把海马体索引理论搬进 RAG，"图谱化"路线与"分页操作系统"路线并行；2024 年 10 月 LongMemEval（Wu 等，ICLR 2025，arXiv:2410.10813）发布——本课题历史上最重要的框架性文件：把聊天助手长期记忆拆成信息抽取、多 session 推理、时间推理、知识更新、拒答五大能力，500 道精选题钉进时间戳完整的聊天史，并测出商业助手与长上下文模型在持续交互记忆上掉 30% 准确率（摘要原文，本次 API 核验）。规模分档：S 档拼全历史约 115K token（约 40 个会话，filler 上限 80）、M 档每条历史约 500 个会话（超出单窗口、专测检索式记忆；官方 README 口径，本次核验——纵轴章"500K token"系误记），另附 oracle 变体用于把"检索失败"与"推理失败"剥开判卷。其结构性贡献是把"时间一致性"与"知识更新"从泛泛的"记性好"里拆出来单列，今天的所有记忆评测表都长着这张表的影子。
• 商业化节点：2024 年 9 月前后 MemGPT 团队成立 Letta（letta.com），记忆中间件赛道正式开张。

阶段三（2025）：军备竞赛与"评测混战"——基准本身成为战场

2025 年是本课题戏剧性最强的一年：Mem0 / Zep / Letta / MemOS 等记忆中间件在同一批基准上互相打榜，同一个 LoCoMo 上出现从 66.9% 到 88.8% 的悬殊自报数字，评测方法学问题全面暴露。

• 2025.1：Zep 发布《A Temporal Knowledge Graph Architecture for Agent Memory》（arXiv:2501.13956），核心引擎 Graphiti 采用双时态知识图谱——每条事实同时带"事件发生时间"与"系统得知时间"两条时间线，天然支持"事实何时失效"；论文报告 DMR 上超 MemGPT 达 18.5%。这是时间一致性第一次被做成记忆引擎的第一性设计而非事后评测项。
• 2025.2：PrefEval《Do LLMs Recognize Your Preferences?》（arXiv:2502.09597，ICLR 2025；本次 API 核验编号）把"偏好记忆"变成可测对象：3000 对偏好-查询、显式+隐式偏好，核心发现是很多设置下模型对显式声明的偏好遵循率不到 20%。（横轴章误引的 2502.05589 实为另一篇《On Memory Construction and Retrieval for Personalized Conversational Agents》，见附录 A。）
• 2025.4：Mem0 发布论文（arXiv:2504.19413）自报 LoCoMo LLM-judge 口径约 66.9%、相对 OpenAI 记忆 +26%、p95 延迟 −91%、token 成本 −90%+。一个月内 Zep 发博客《Lies, Damn Lies, & Statistics — Is Mem0 Really SOTA in Agent Memory?》（getzep.com）反击，指出 LoCoMo 标注质量有硬伤、Mem0 对 Zep 的复现是"劣化实现"；争执打到 GitHub（zep-papers issue #5），Zep 自己 84% 的口径也回撤到 75.14%。这场架谁也没赢，但把一个事实钉死了：LoCoMo 上的自报分数不可比、不可信。
• 2025.6：MemBench（Findings of ACL 2025，arXiv:2506.21605）批评既有基准只测"读取"，补上记忆感知、写入、利用（含 memory revision）多面评测。
• 2025.7：MemOS（arXiv:2507.03724）把记忆抬为"一等资源"，自报 LoCoMo 88.83、时间推理较 OpenAI memory +159%、整体较基线 +38.98%；同月 MemoryAgentBench（arXiv:2507.05257）提出增量式多轮交互范式，考四能力：精确检索、测试时学习、长程理解、冲突解决（后被 ICLR 2026 接收为 poster，据搜索）。
• 2025.8：Letta 发文《Benchmarking AI Agent Memory: Is a Filesystem All You Need?》（letta.com/blog，2025-08-12）：只把对话历史存成文件再检索的 "Letta Filesystem" 在 LoCoMo 上拿 74.0%，打败一批专用记忆系统——质疑整场跑分的比较基础。
• 2025 下半年：个性化与流式评测爆发——11 月 Evo-Memory（arXiv:2511.20857）把评测搬进"自进化记忆+流式交互"设定；12 月 PersonaMem-v2（arXiv:2512.06688，本次 API 核验：1000 个模拟用户、2 万+偏好、300+ 场景；v1 见 GitHub）。同年 4 月起（官方公告口径 2025-04-10，本次经 OpenAI 公告页核验，见参考 #32 与附录 A 第 6 条）ChatGPT 把记忆升级为参考全量 "chat history"，"全量历史记忆"自此成为大众预期。

驱动力：记忆中间件成为独立商业赛道，融资与定价绑定跑分，厂商既是选手又是裁判；与此同时 LLM-as-a-Judge 的不稳定性、答案键缺陷、基线配置黑箱在混战中全部暴露——评测的信度问题第一次比模型能力问题更醒目。

阶段四（2026 至今）：反思与收敛——"评测的评测"

进入 2026 年，主导问题从"怎么跑分"转向"什么才算有效证据"：

• 对 LoCoMo 的系统性反噬：从业者公开批评其答案键质量与"对抗性问题"设计，出现 corrected LoCoMo 修正版与 LoCoMo-10/-5 难度区分；Letta 官方榜单与多家基础设施公司改用更严协议（据搜索）。
• 新基准继续挤压旧基准：EverMemOS 自报 LoCoMo 93.05%（2026-01，据搜索）；AgentMemBench（2026-06，据搜索）把公开 LoCoMo-10 作为长程记忆模块之一；BEAM 100K、"glasshouse"（2847 题，由对 LoCoMo 不满的记忆基础设施公司构建）等替代品出现（均为搜索摘要级证据，见附录 B）。
• 学术侧收敛：LongMemEval 于 2025-09 发布数据清洗版、2026-05 推出面向 agentic 场景的 LongMemEval-V2（官方仓库与更新日志，本次核验：GitHub、LongMemEval-V2）；STALE（2026-05-07，arXiv:2605.06527）用 400 个专家校验的冲突场景测"Agent 能否发现自己记忆已失效"；《Do Agents Truly Forget?》（2026-09，OpenReview 在审）提出记忆全生命周期基准与"记忆回执"机制；BEMULA《Can Agents Forget When Asked?》（2026-10-13，arXiv:2610.18052）成为第一个专门的 Agent 记忆遗忘基准；《Evaluating and Understanding Agent Memory》（OpenReview）批评既有基准依赖通用域对话或短时间跨度材料。
• 共识方向：①从静态问答对走向流式/在线/增量评测；②从检索准确率单指标走向记忆全生命周期——写入、更新、冲突消解、遗忘遵从、可编辑、隐私；③判分从裸 LLM-as-a-Judge 走向答案键审计 + 双通道判分 + 置信区间；④时间一致性从"考点"升级为"数据结构"（双时态图谱、MemCube 类抽象）。

纵轴时间线速览

二、横轴：横向对比（2026-10-31 截面）

2.1 谁在赛场上：三层参与者与两条替代谱系

"AI Agent 的记忆评估"不是一个产品，而是一个正在快速分层的评测赛道。截面上的参与者分三层：

1. 综合型学术基准：给长期记忆打总分，覆盖检索、跨会话推理、时间推理等子能力——LoCoMo、LongMemEval（含 V2）、MemoryAgentBench、MemBench。
2. 专项基准：只攻一个能力点但更深——遗忘线（BEMULA、"Do Agents Truly Forget?"）、时序有效性线（STALE）、偏好线（PrefEval、PersonaMem）、流式自进化线（Evo-Memory）、短期记忆工具管理线（MemTool，arXiv:2507.21428）。
3. 厂商自评生态：Mem0、Zep、Letta、MemOS/MemoryOS、LangMem、Memori 等自己搭台自己唱戏。这一层不是中立基准，但构成了赛道真实的舆论场和事实上的行业 scoreboard。

两条替代方案谱系研究的不是 Agent 外挂记忆，但回答同一批问题：参数化知识编辑（ROME/MEMIT/IKE 等，统一测试床浙大 EasyEdit，配 CounterFact、MQuAKE、TempLAMA 探针）与机器遗忘（TOFU、MUSE、BLUR）。

这个分层的含义很直接：同一个问题——"Agent 记住的东西到底对不对、旧不旧、删得掉删不掉、改得动改不动"——目前没有一个基准能同时回答。评测被打散在十几个基准里，每家只切一小块。

2.2 四能力 × 基准覆盖矩阵

（●原生覆盖 / ◐部分或间接覆盖 / ○不覆盖）

判定口径（非平凡 ●/◐ 逐格依据，均可在 2.3/2.4 的评点中找到对应展开）：事实保持列的 ● 要求基准原生含事实型问答且答案键可审计（LoCoMo、LongMemEval、MemoryAgentBench、MemBench）；◐ 表示只覆盖某一子形态——STALE 只考"记忆过时后是否照答"；BEMULA 只在孪生控制组上确认目标信息"确实写进去了"，这是遗忘计分的资格门槛，不构成对系统记忆保持能力的系统测验；PrefEval/PersonaMem 把"偏好/画像"当长期事实；Evo-Memory 与 MemTool 在流式/工具语境中附带事实考核；EasyEdit 线用事实三元组做权重侧探针。遗忘列的 ● 指有专门的遗忘请求协议与遵从判分（BEMULA、TOFU/MUSE、"Do Agents Truly Forget?"）；STALE 的 ◐ 指"发现记忆失效并停用"——遗忘的感知前提，但没有删除动作；Evo-Memory 的 ◐ 指"自进化含淘汰"（系统自行淘汰条目，非用户请求发起）；MemoryAgentBench 的 ◐ 指"需忽略过时/无关信息"。可编辑性列：BEMULA 的 ◐ 把删除视为最简单的编辑动作（不覆盖改写与更新）；"Do Agents Truly Forget?" 的 ◐ 是生命周期含修改与记忆回执、但无 EasyEdit 式四指标；MemTool 的 ◐ 是记忆作为工具可被调用替换，非条目级编辑。

读这张表的三层信息：

1. 遗忘是最弱的一格：综合型基准全部零覆盖，遗忘只存在于 2026 年才出现的专项基准里，第一个专门基准 BEMULA 到 2026-10-13 才挂出。以参数侧遗忘评估起点 TOFU（2024-01）为锚，系统侧遗忘评估滞后 33 个月（两年零九个月，与 3.3 同一口径）。
2. 可编辑性分裂成两个世界：参数化编辑有成熟的四指标方法学（可靠性/泛化/局部性/可移植性，见 EasyEdit），Agent 外挂记忆的编辑评估却几乎空白——MemBench 的 memory revision 与 BEMULA 的删除请求是仅有的两个落点。
3. 时间一致性正从"会做时序题"走向"知道记忆过期了"：LongMemEval/LoCoMo 把它当题型考，STALE 把它升级成"记忆与当下现实冲突时能否发现"的认知测试——这是过去一年该维度最实质的推进。

2.3 主力基准逐项评点

LoCoMo——生态最大，伤得也最深。 工业采用度最高，几乎每家记忆厂商首页都有它；但 2025 年的 Mem0/Zep 之争（见纵轴阶段三）把"自报分数不可比"钉死。更釜底抽薪的是 Letta 的文件系统实验（74.0%）：一个基准若让"把所有东西堆进文件"就能追平精心设计的记忆架构，它测的就不是记忆架构的价值，而是对话问答本身。Letta 2026 年的后续文章进一步指出：在 LoCoMo 上接近饱和的系统，放到"记忆驱动跨会话连续决策"的场景里依然表现很差（据搜索）。LoCoMo 的生态位事实上下沉为入门级事实保持冒烟测试——用它排名是自欺，用它回归是够用。

LongMemEval——学术界的默认标准，正在长出第二形态。 事实保持+时间一致性的双料学术标准，两个对个人助手特别有价值的设计：知识更新与弃答是原生题型（分别对应"用户换了住址助手还报旧地址"与"记忆里没有的要坦白不知道"）；S/M/oracle 三变体把检索失败与推理失败剥开判卷（GitHub）。局限：它是"题库"不是"生活"，不考记忆的动态生命周期——用户从不明确要求它忘掉什么，也不实地修改一条记忆；编辑和遗忘要靠专项基准补。2025-09 清洗版与 2026-05 的 LongMemEval-V2（agentic context）正在补这一课。

MemoryAgentBench——把记忆放进 Agent 的身体里。 把现成长文本数据集改造成增量多轮交互，记忆流式到来、边存边用，与真实个人助手的运行方式一致，直接回应 LoCoMo 式静态问答的失真；社区已把它当作四能力框架的原点。短板：冲突解决对时间一致性的覆盖仍是间接的，不改造就难以直接用于产品回归。

MemBench——唯一把"写入"和"修改"当一等公民的综合基准。 从记忆感知、写入、利用三个视角出题，memory revision 题型直接考"条目被要求修改后旧信息还残不残留"。局限是规模与生态：采用度明显低于 LoCoMo/LongMemEval，更偏研究探针而非产品回归工具。

PrefEval / PersonaMem——偏好也是记忆，而且是更难的那种。 PrefEval 显示显式声明的偏好遵循率可低至 20% 以下；PersonaMem 强调画像随交互演化，横轴章报告的最好成绩（RFT 训练的 agentic memory 模型 55.2% MCQ / 60.7% 开放题，据搜索）仍然难看。对个人助手：事实保持测"用户说了什么"，偏好保持测"用户是谁"——后者才是个人化产品的护城河，也最容易被事实保持分数掩盖。

STALE——时序维度的下一次进化。 关键发现：模型倾向于顺着用户问题里内嵌的过时假设往下聊，而不是发现冲突、标出冲突。时序题考"给定完整信息能不能算对时间"，STALE 考"记忆和当下现实冲突时谁赢"——后者才是真实事故形态。注意它不测主动删除："发现失效并停用"是遗忘的感知前提，但删除遵从与残留审计要靠 BEMULA 补——这是矩阵遗忘列给 STALE 标 ◐ 的原因。

BEMULA 与遗忘基准线——最新、最刺眼的红灯。 50 段多会话对话、135 条六类遗忘请求、1742 道测试题，每段对话配"无遗忘请求"的孪生控制版（保证只有真存了目标信息的系统才有资格得遗忘分）；评估五件套：存储、目标信息移除、无关记忆保全、相似事实重学习、抗提取攻击。六个主流记忆系统 × 三个骨干模型的结果只有一句话：端到端遗忘请求通过率没有任何系统超过 1.5%，多数为零——要么删了还能被简单攻击套出来，要么把没要求删的也一并删了。配合"Do Agents Truly Forget?"的记忆回执机制，遗忘正从一次删除动作变成可审计的过程。这条线是四个维度里最年轻、分数最惨、也最接近用户权利（GDPR 式删除权）的一条线。

流式与工具线（Evo-Memory / MemTool）。 MemTool 测"记忆作为工具使用"（多轮对话中的记忆工具/MCP 管理），与"记忆作为外挂数据库"的主流线互补；Evo-Memory 与 2026 年的 EvoMemBench（据搜索）把评估改造成流式自进化、考 test-time learning。目前学术热、工业冷，但方向正确——个人助手的记忆本来就不是静态题库。

2.4 替代谱系的方法学红利：参数化编辑与机器遗忘

参数化编辑（EasyEdit 生态）沉淀了目前编辑评估领域最好的公共财产——四指标：可靠性（改了没有）、泛化（换个问法还认不认）、局部性（没改的伤没伤到）、可移植性（多跳推理里传不传播）。但代价刺眼：MQuAKE-Remastered（OpenReview）复核后发现大量早期论文报告的编辑传播成绩虚高。机器遗忘（TOFU/MUSE）三年积累的最大教训是"分数上忘了"≠"攻击下忘了"（对释义选择敏感、需要成员推理攻击等六维检验）——这个教训在 BEMULA 的 Agent 结果里被原样重演：外挂记忆的厂商连参数遗忘界的及格线都没摸到。两条谱系的共同启示：评测的对象不是一个动作（删除/修改），而是动作之后整个系统的行为等价类——改述提问、多跳推理、相邻事实、成员推理攻击，全都要探。

2.5 厂商自评生态：一场没有裁判的比赛

同样的 LoCoMo，各家自报（"分数汤"）：

成因不神秘：同一基准、不同复现实现、不同判分 judge、不同清洗版本，甚至同一家的历史答案还会被社区重新打分（mem0ai/memory-benchmarks 的 re-scoring issues）。生态位判断：结果可被厂商复核验证的中立第三方记忆评测，在 2026 年 10 月仍然缺位。最接近中立裁判角色的反而是 LongMemEval（学术出身、判分脚本开源）和 Letta Leaderboard（厂商办的"顺便测别人"榜单）。这个空白就是严肃评测工作可以站的位置。

2.6 五维总表：能力、成本、生态、成熟度、适用场景

三、交叉洞察：两轴结合说明了什么

3.1 洞察一：每条评估轴都在重演同一个剧本

把纵轴的时序与横轴的截面叠在一起，能看到一个跨轴重复出现的元模式：每当一个评测被商业化或学术惯性绑定，它的下一阶段总是由一次"打假"开启——

• 事实保持：NIAH 满分的营销叙事 → RULER 打假（有效上下文远小于宣称值）；
• 遗忘：大量 unlearning 论文的"虚假进步" → 2410.02879 调查 72 篇打假；
• 参数化编辑：早期论文虚高的编辑传播成绩 → MQuAKE-Remastered 复核打假；
• 系统跑分：LoCoMo 分数汤 → Zep 质疑 + Letta 文件系统 74% 打假。

打假之后统一走向：能力分解（LongMemEval 五能力、MemoryAgentBench 四能力）、生命周期化（BEMULA 五套件、记忆回执）、判分协议化（控制组、显著性检验、judge 审计）。由此可做两个可检验的预测：其一，可编辑性将在 1–2 年内重演遗忘的剧本——EasyEdit 四指标被移植到外挂记忆（改向量库比改权重容易得多，移植成本很低），然后暴露"改了 ≠ 改干净"，成为下一波基准论文的低垂果实；其二，下一次被打假的将是判分 judge 本身——目前所有分数汤的最后一环都是不可审计的 LLM-as-a-Judge。

3.2 洞察二：瓶颈已从"模型能力"转移到"评测信度"

纵轴显示打假式转折点接连出现——RULER（2024-04）→ unlearning 方法论批判 2410.02879（2024-10）→ LoCoMo 反噬（2025 年中），间隔约各半年；横轴显示 2026 年截面上最高产出的研究类型已经不是"更高分"，而是"更可信的判分"（孪生控制组、改述攻击探针、McNemar 显著性、judge 校准）。两轴合起来的解释是：记忆系统的真实能力提升快于评测协议的防作弊能力，导致每一轮分数上涨中有多少是真能力、多少是判分套利，越来越不可分。文件系统 74% 是最直白的证据：当一个朴素基线就能追平专用架构，说明排行榜测量的主要是"对话问答 + 判分宽松度"，而不是记忆架构。对使用者的直接推论：2026 年读任何记忆评测数字，先问判分协议，再看分数本身。

3.3 洞察三：能力评估领先责任评估两年，空白即机会

横轴矩阵显示遗忘列几乎全零、可编辑性只有两个落点；纵轴解释了原因——这两轴的成熟方法学锁在参数侧（TOFU 2024-01 → BEMULA 2026-10-13，系统侧滞后 33 个月，即两年零九个月，与 2.2 同口径；EasyEdit 四指标至今未移植）。滞后的根源是市场：外挂记忆系统 2024 年才成为商品，评估自然滞后。但 GDPR 式删除权让遗忘不是论文摆设而是合规需求——BEMULA 的 <1.5% 意味着被测的六个主流记忆系统无一达到可辩护的合规水平，在售记忆系统普遍存在合规敞口风险（证据限于被测系统，不直接外推到全部在售产品）。第一个把遗忘合规做成公开、可复现、带第三方判分的产品，会拿到差异化叙事；同理，把编辑四指标搬进外挂记忆评测是成本最低的基准创新。反过来，事实保持已经测得最卷（分数汤）、时间一致性已进入数据结构化阶段（双时态图谱、MemCube）——这两轴的学术窗口正在关闭。

3.4 对用户的判断与建议

选型与读数五条：

1. 不要用单一基准分数选型。LoCoMo 自报分只当冒烟测试；正式体检用 LongMemEval（cleaned 版/或按场景上 V2）+ MemoryAgentBench；遗忘审计用 BEMULA 五套件。
2. 对照组必须含"文件系统基线"。任何记忆系统的增值只有在打败"把历史存文件再检索"的朴素基线时才成立（74% 教训）。
3. 厂商分数三件套才可采信：可复现包（探针集+judge prompt+种子+版本号）、显著性检验（如 McNemar，p<0.05）、judge 人工校准一致率；缺任何一件按"不可比"处理。
4. 遗忘与编辑单独设 gate，阈值应严于能力指标——它们是合规属性不是体验属性。
5. 把评测做成连续体温计：记忆系统普遍带衰减/重排逻辑，分数本身要被监控（周漂移、记忆膨胀率），一次性考试会漏掉回归。

PAM 合并指标集（综合两章各自设计的指标体系，去重合并；阈值为设计建议值，供按场景校准，非引用任何现有标准）：

判卷协议（防自欺条款）：①判分模型与 prompt 版本锁死写进报告，每题采样 3 次取多数；②judge 先在 100 题人工标注集上校准，一致率 <0.85 换判分协议——把 LoCoMo 争议制度化地挡在流程里；③系统对比用 McNemar 检验，p<0.05 才宣称差异；④探针题及其改述版打标隔离，禁止进入被测记忆库；真实日志评测与合成探针双轨并行（前者测生态效度，后者测可控性）；⑤遗忘与编辑一律端到端发起，不提供内部 API 捷径；⑥探针集、judge prompt、随机种子、系统版本号一起归档成可复现包；⑦抽 10% 样本人工比对；⑧任何单项 gate 不给"总分"——防止单指标优化，这是两年跑分混战最贵的学费。

落地路径两档：最小版（单机一天）——100 条种子事实（人口学 20/偏好 30/事件 30/关系 20）+ 50 次合法更新 + 20 条遗忘指令 + 30 组时间冲突对 + 600 轮无关闲聊干扰 + 约 350 个探测问题 + 双通道判分（确定性关键词/日期归一化先行，LLM-judge 只裁语义等价残差）；标准版（三至六周，关键路径是 M3）——M1+M2+M5 用一个 LongMemEval 式题库覆盖（约两周），M3 照 BEMULA 五套件搭（约三至四周，关键路径；其对话语料构建可与 M1/M2/M5 的题库并行推进），M4 用 EasyEdit 四指标模板改造外挂记忆（工作量最小、文献最全，穿插进行），M8 并入日常监控。全部串行约五至六周，语料与题库并行后可压至三至四周。指标口径对齐 LongMemEval 五能力、MemoryAgentBench 四能力、BEMULA 五套件与 EasyEdit 四指标，保证结果可与公开文献横向对照。任何 gate 不过，优先修系统而不是调阈值。

常见追问：PAM 的阈值怎么按我的场景校准？有没有现成执行脚本？ 上表 ≥85%、≥95%、≤300ms 等数值均为设计建议值，落地时按三类分别校准。体验类 gate（M1/M2/M5/M6/M7）：先用"最小版"在基线系统上取分布——至少跑 full-context 基线与"文件系统基线"（74% 教训的延伸）——把 gate 定在基线分布的 P75–P90 区间，让阈值"够得着但躺得过"；若基线本身退化严重（如 LongMemEval 上强模型也失分），则按相对改进幅度而非绝对值定线。合规类 gate（M3 的 FCR ≥95%/LK ≤2%/CF ≤2%，M4 的 EL ≤2%）不由基线分布定，由 GDPR 式删除权的可辩护标准倒推，基线分布只用来估计达标差距。运营类 gate（M8 的 ≤300ms、<80% token）对照现有 SLA 与 full-context 成本折算。目前没有官方统一执行脚本；可直接复用的开源组件是 LongMemEval 判分脚本、BEMULA 仓库与 EasyEdit 模板（参考 #16/#22/#7），其余探测与判卷逻辑需按上文判卷协议自建——"判分协议本身是主战场"（3.2）的另一面就是：协议要自己搭。

附录 A：两章矛盾消解与增量核验记录（本次实际执行的核验与修订增补）

两章原件路径：纵轴章《AI Agent 记忆评估发展历程》 D:/CodexData/nightshift/output/reports/parts/2026-10-31-AI-Agent记忆评估发展历程-vertical.md；横轴章《事实保持·时序一致性·遗忘·可编辑性横向对比》 D:/CodexData/nightshift/output/reports/parts/2026-10-31-AI-Agent记忆评估-事实保持-时序一致性-遗忘-可编辑性-horizontal.md。其中第 1–3 条为两章事实矛盾的消解，第 4–6 条为增量核验与差异处理（第 6 条为本次修订时增补）。

1. LoCoMo 数据规模：纵轴章记"平均约 600 轮、约 16K token、最多 32 个 session"，横轴章记"平均 300 轮、9K token、最多 35 会话"。核验命令 curl -s "https://export.arxiv.org/api/query?id_list=2402.17753"，摘要原文为 "each encompassing 300 turns and 9K tokens on avg., over up to 35 sessions"。采横轴数字；纵轴数字系误记，本文全篇已按 300 轮/9K token/最多 35 会话 统一。
2. PrefEval 编号：纵轴章记 arXiv:2502.09597，横轴章链接 2502.05589。核验命令 curl -s "https://export.arxiv.org/api/query?id_list=2502.09597,2502.05589"：2502.09597 = "Do LLMs Recognize Your Preferences? Evaluating Personalized Preference Following in LLMs"（2025-02-13，即 PrefEval 正主）；2502.05589 = "On Memory Construction and Retrieval for Personalized Conversational Agents"（2025-02-08，另一篇相关论文）。采 2502.09597，横轴章链接系误挂。
3. LongMemEval M 档口径：纵轴章记"M 约 500K token"，横轴章记"M 约 500 会话"。核验命令 curl -sL "https://raw.githubusercontent.com/xiaowu0162/LongMemEval/main/README.md"：S 档拼全历史约 115K token（约 40 个历史会话，filler 上限 80）；M 档"Each chat history contains roughly 500 sessions"（不以 token 上限约束）。500 是会话数不是 token 数，采横轴口径。
4. 2026 年新基准编号：curl -s "https://export.arxiv.org/api/query?id_list=2610.18052,2605.06527,2512.06688" 确认 BEMULA（2026-10-13）、STALE（2026-05-07）、PersonaMem-v2（2025-12-07）编号与日期无误；其余 2026 条目（EverMemOS、AgentMemBench 等）仍为搜索摘要级证据，见附录 B。
5. 其余差异处理：PersonaMem v1（GitHub，交互式数据集）与 v2（1000 模拟用户/2 万+偏好）为不同版本，两说并存；MemBench 发表地取横轴章更具体口径（Findings of ACL 2025）；MemoryAgentBench 机构归属两章不一致，本文不采信任何一方，仅给论文与仓库链接。
6. ChatGPT "reference chat history" 归期（本次修订增补）：初稿将其置于"2025 下半年"段且无溯源标注（审读意见指出违反"（据搜索）"约定）。本次核验 OpenAI 官方公告页 https://openai.com/index/memory-and-new-controls-for-chatgpt/ （即参考 #32，2024-02-13 发布 Memory 功能）：页面更新日志载明 2025-04-10 起记忆除 saved memories 外参考 chat history。本稿正文按官方口径改注日期；因已溯源一手来源，该项不再列入附录 B 未核实项。

附录 B：未核实项与置信度说明

• 搜索摘要级证据（未逐篇核对原文）：EverMemOS 自报 93.05%（2026-01）、AgentMemBench（2026-06）、EvoMemBench（2026-06，流式自进化统一考场）、BEAM 100K、glasshouse（2847 题）、StructMemEval、corrected LoCoMo/LoCoMo-10/-5 社区版本、MemoryAgentBench 入选 ICLR 2026、Letta 2026 后续文章、"连续编辑约 10 条崩塌/MEMIT 约 40 条"的综述归纳、PersonaMem-v2 论文报告的 RFT 训练 agentic memory 模型成绩（55.2% MCQ / 60.7% 开放题，见 2.3）。使用时请按中等置信度对待。
• 厂商自报数未核验一手：Memori 87.0%、LangMem 78.05%、Recallr "temporal 97.5% vs Mem0 65.4%"——仅作"分数汤"现象例证，不作事实引用。
• 已主动排除：DolphinBench（检索摘要出现但定向复检未找到一手来源）；FiFA、A-Mem、RippleEdits、BLUR、MEND、HELMET（仅提名称，未核验编号，文中一律不给编号）。
• LoCoMo 标注错误率的流传数字（如"~6.4% 答案键错误"）未能溯源到一手论文，本文只引用可确认的 Zep 博客批评、zep-papers issue 争执与 Letta 文件系统实验三个一手事实。

参考来源（两章合并去重）

参数侧谱系

1. ROME：https://arxiv.org/abs/2202.05262
2. MEMIT：https://arxiv.org/abs/2210.07229
3. TempLAMA：https://arxiv.org/abs/2106.15110
4. StreamingQA：https://arxiv.org/abs/2205.11388
5. MQuAKE：https://arxiv.org/abs/2305.14795 ；MQuAKE-Remastered：https://openreview.net/notes/edits/attachment?id=rDDtWFMSA7&name=pdf
6. KnowEdit：https://arxiv.org/abs/2401.01286
7. EasyEdit（ACL 2024）：https://github.com/zjunlp/EasyEdit
8. TOFU：https://arxiv.org/abs/2401.06121
9. MUSE：https://arxiv.org/abs/2407.06460 ；https://github.com/swj0419/muse_bench
10. 遗忘方法论批判：https://arxiv.org/abs/2410.02879 ；CMU ML blog：https://blog.ml.cmu.edu/2025/04/18/llm-unlearning-benchmarks-are-weak-measures-of-progress

系统侧综合基准

1. MemGPT：https://arxiv.org/abs/2310.08560
2. TimeToBench：https://arxiv.org/abs/2311.08398
3. LoCoMo：https://arxiv.org/abs/2402.17753 ；https://aclanthology.org/2024.acl-long.747 ；项目页 https://snap-research.github.io/locomo
4. RULER：https://arxiv.org/abs/2404.06654
5. HippoRAG：https://arxiv.org/abs/2405.14831
6. LongMemEval：https://arxiv.org/abs/2410.10813 ；仓库（S/M/oracle、判分脚本、2025-09 清洗版）：https://github.com/xiaowu0162/LongMemEval ；LongMemEval-V2：https://github.com/xiaowu0162/LongMemEval-V2 ；清洗数据：https://huggingface.co/datasets/xiaowu0162/longmemeval-cleaned
7. MemoryAgentBench：https://arxiv.org/abs/2507.05257 ；https://github.com/HUST-AI-HYZ/MemoryAgentBench
8. MemBench：https://arxiv.org/abs/2506.21605 ；https://aclanthology.org/2025.findings-acl.989
9. MemTool：https://arxiv.org/abs/2507.21428
10. Evo-Memory：https://arxiv.org/abs/2511.20857
11. STALE：https://arxiv.org/abs/2605.06527
12. BEMULA：https://arxiv.org/abs/2610.18052 ；https://github.com/Nboxff/bemula-benchmark
13. Do Agents Truly Forget?（在审）：https://openreview.net/pdf/0c635bf74b89da3ec9dcc7527e82dc7eaf97c5be.pdf
14. Evaluating and Understanding Agent Memory：https://openreview.net/pdf?id=yzUGcu9Zit

偏好与个性化

1. PrefEval（注意编号，见附录 A）：https://arxiv.org/abs/2502.09597
2. PersonaMem：v1 https://github.com/bowen-upenn/PersonaMem-v1 ；v2 https://arxiv.org/abs/2512.06688

厂商生态与社区

1. Mem0：https://arxiv.org/abs/2504.19413
2. Zep/Graphiti：https://arxiv.org/abs/2501.13956 ；Zep 质疑文：https://www.getzep.com/blog/lies-damn-lies-statistics-is-mem0-really-sota-in-agent-memory ；GitHub 争执：https://github.com/getzep/zep-papers/issues/5
3. Letta：https://www.letta.com ；跑分质疑：https://www.letta.com/blog/benchmarking-ai-agent-memory ；榜单：https://www.letta.com/blog/letta-leaderboard
4. MemOS：https://arxiv.org/abs/2507.03724 ；https://github.com/MemTensor/MemOS ；MemoryOS（EMNLP 2025 Oral）：https://arxiv.org/abs/2506.06326
5. 社区 re-scoring：https://github.com/mem0ai/memory-benchmarks
6. ChatGPT Memory 公告（2024-02-13 发布；页面更新日志载 2025-04-10 起记忆参考 chat history，附录 A 第 6 条）：https://openai.com/index/memory-and-new-controls-for-chatgpt/

综述与清单

1. 《Memory in the Age of AI Agents》：https://arxiv.org/abs/2512.13564 ；论文清单：https://github.com/Shichun-Liu/Agent-Memory-Paper-List ；https://github.com/TeleAI-UAGI/Awesome-Agent-Memory

方法论说明：本报告采用横纵分析法（Horizontal-Vertical Analysis）：纵轴追"从诞生到当下"的完整脉络，横轴在 2026-10-31 截面上做同类横向对比，交叉两轴产出判断与建议。纵轴章的 11 次 WebSearch 与 arXiv 批量核验、横轴章的联网检索为其证据基座；本综合稿另行执行的增量核验命令与结果见附录 A（含本次修订时增补的第 6 条 OpenAI 公告页核验）。