平均之路：从Attention到TTT —— 存档导读 未开始

题记与说明

这篇讲什么

这是苏剑林继《将Softmax Attention线性化为Gated DeltaNet》（archives/11823）之后的续作。上一篇演示了"从 Softmax Attention 逐步引入近似，最后得到一个线性模型"的参考过程；本文换一条新路线：从分布推广出发，把 V 改写成条件分布的期望，再引入三步平均操作，建立起 Attention 与 TTT（Test-Time Training）之间的近似联系——DeltaNet、MesaNet 在这个大框架下自然地成为特例。出发点始终是那件事：压缩 KV Cache。

核心观点

推导链的每一步都是一次"平均"，也各付一次代价：

1. 第一步（分布平均）：不硬存 (k_i, v_i)，改用参数模型 μ_W(k_i) 预测 V，把 (k_i, v_i) 当作流式到达的训练数据，用 SGD 最大化似然来更新 W——这正是 TTT 的递归形式，收益是省掉 V Cache，W 本质是个以参数为状态的 RNN。
2. 第二步（平均场近似）：Σa_i·μ_W(k_i) ≈ μ_W(Σa_i·k_i)，把 Attention 从输出端挪到输入端；对线性模型 μ_W(k)=Wk，这一步从近似变成精确恒等式。
3. 第三步（加权平均）：Σa_i·k_i ≈ λq，输入彻底换成 q，Attention 变成线性复杂度 RNN。作者直言这是过于理想的简化——实践中难以完全吻合其假设，需要定时补回 Softmax Attention，而这正是当前主流的 Hybrid 架构做法。

线性版本里：μ_W(k)=Wk + SGD 流式更新就得到 DeltaNet；改用解析解（G=Σvkᵀ, H=Σkkᵀ）加 Decay 得到 MesaNet，其状态变量要多 50%。

最值得记住的金句与数据

• "大多数线性化Attention本质上都可以归结为用不同的思路压缩KV Cache。" —— 一句话统一了整个线性化家族的视角。
• "这条'平均之路'最大的问题可能在输入换成 q 这一步……需要定时补回 Softmax Attention 才能弥补这一差距，这正相当于当前主流的 Hybrid 做法。" —— 给 Hybrid 架构的流行给出了理论解释。
• VaLA 只有加大状态变量（约 +50%）才有机会赶超 Delta 系列模型 —— MesaNet vs DeltaNet 的具体 trade-off 数据。
• 作者对前两步近似的定性判断都是"半斤八两"——损失拟合能力，换来交互与架构收益。

对我的启发

• Agent 系统：以 W 为状态变量、把"V 相对 K 的增量信息压缩进有限维参数"的 RNN 视角，与 Agent 的记忆压缩/上下文管理思想同构——理解 Gated DeltaNet、TTT 这类新架构，也是在理解"有限状态如何存住无限历史"这个问题。
• 读论文的方法：面对 MLA、DSV4、GDN2 等纷杂模型，与其逐个追新，不如掌握一条能把它们串成特例的推导主线；MLA/DSV4 本质是 K=V 的 MQA、不可能退化成 λq 这个反例，正是用主线检验模型的好示范。
• 写作：全文以"每一步以怎样的代价换取怎样的收益"为纲，诚实的 trade-off 分析（不吹不黑，直言哪步"过于理想"）是技术写作最值得抄的范式。

适合谁读

做 LLM 架构、长上下文与推理优化的工程师和研究者；想理清 Attention/TTT/DeltaNet/MesaNet/线性注意力族谱关系的人。需要线性代数和概率功底，不适合零基础入门；但用一条数学主线把一族模型讲透的功夫，正是科学空间十五年如一日的风格。