Transformer 架构演进史：从 Attention Is All You Need 到 Mamba/线性注意力 — 深度精读笔记 未开始

题记与说明

精读日期：2026-10-29
类型：主题研究（网络检索挑选来源 → 逐一精读）
主题问题：Transformer 八年演进中，每一代架构改进分别要解决什么问题？为什么每解决一个旧问题，就暴露或制造一个新问题？
方法：用 WebSearch 检索筛选，锁定 5 个主来源 + 1 个辅来源，全部抓取 arXiv 原文（ar5iv 全文渲染）做逐篇针对性精读提取（原文引述、复杂度表、实验数字），所有引述均来自本次会话实际抓取的内容。

一、来源清单与选择理由

选择逻辑：这条主题的主线是「每代改进要解决什么」，所以来源必须覆盖问题链的每一环——①起点（为何抛弃 RNN）→ ②第一代改进的谱系与失效（综述视角）→ ③线性注意力的数学本质 → ④SSM/Mamba 的选择性革命 → ⑤两条路线的理论统一 → ⑥统一之后暴露出的根本权衡。跳过的替代方案：各类博客科普（如 Illustrated Transformer）只讲机制不讲问题链；Mamba-360 等综述与 Tay 综述功能重叠；FlashAttention 原论文未列入主来源（见第七节「局限」）。

二、主线叙事：每一代改进要解决什么

第 0 代 · 前夜：RNN 的串行枷锁（2017 之前的背景）

RNN/LSTM 把计算沿着符号位置逐步分解，上一步的隐状态是下一步的输入——串行依赖使得训练样本内部无法并行，且任意两 token 之间的信息交互路径长度是 O(n)。这是 Transformer 要解决的第一个问题。

"This inherently sequential nature precludes parallelization within training examples."（Vaswani et al. 2017，引言）

第 1 代 · 起点：Attention Is All You Need（2017）——用并行换掉串行，代价是 O(n²)

要解决：训练无法并行 + 长距离依赖路径太长。

方案：完全抛弃循环和卷积，只用自注意力。自注意力一层内任意两位置路径长度 O(1)，序列操作数 O(1)，且整层计算可并行。

代价（为后续所有演进埋下伏笔）：每层复杂度 O(n²·d)。Vaswani et al. 论文 Table 1：

注意：表中最后一行「受限自注意力」正是八年后仍在用的思路——用局部窗口/固定模式把 O(n²) 降为 O(r·n)。起点论文里已经预言了第一代改进的方向。

战果：WMT 2014 英德翻译 28.4 BLEU（当时最优），英法 41.8 BLEU，"a new single-model state-of-the-art BLEU score of 41.8 after training for 3.5 days on eight GPUs"（8× NVIDIA P100，大模型训练 30 万步，2.3×10¹⁹ FLOPs）。

同场加映的两个伏笔：①正弦位置编码 vs 学习式位置编码"produced nearly identical results"，选正弦是因它"may allow the model to extrapolate to sequence lengths longer than the ones encountered during training"——外推性从此成为架构争论的持久议题；②作者已注意到自注意力的可解释性红利："As side benefit, self-attention could yield more interpretable models."

（背景补充，未逐字核验原文：2018–2020 年 BERT/GPT 系列证明「Transformer + 大数据 + 大参数」的规模化红利，长上下文需求随之而来，O(n²) 从理论问题变成工程痛点。）

第 1.5 代 · 百家争鸣：近似注意力运动（2019–2021）——解决 O(n²)，但多数没真正解决问题

要解决：n 大时注意力矩阵的 n×n 计算/显存爆炸。

方案谱系（依 Tay et al. 2020 综述的分类法，这是本代改进最权威的地图）：

这一代的整体教训（Tay et al. 的批判性结论，几乎全部命中后来历史）：

"We would like to emphasize that complexity does not always translate to real world throughput or latency."
"It is still a mystery to which fundamental efficient Transformer block one should consider using."
"It is commonly misunderstood that efficient attention models always imply that the Transformer is fast. The truth is that many of these efficient attention models, owing to their innovation constraints, may make the model much slower."

具体批判：①各家评测碎片化，"there is not an easy way to compare these models side by side"，才有了后来 LRA 基准；②"efficient"一词被严重过载；③不少模型需要定制 CUDA kernel、不能因果 mask、自回归训练时反而慢；④FFN 占了约一半算力，只优化注意力收益有限；⑤综述回顾部分直言：真实应用中原始二次方 Transformer 仍然占统治地位，没有一个变体成为事实标准，"local attention, when done right, can be a really tough baseline to beat"。

历史裁决（背景补充，未逐字核验）：这一代在学术上热闹、在工业上几乎全军覆没——真正被大规模采用的是工程路线 FlashAttention（2022，不改注意力的数学，改显存读写，exact attention）和 KV-cache 优化（MQA/GQA）。而学术遗产由两条线继承：核方法 → 线性注意力家族；固定模式 → 后来的滑动窗口（Mistral 等）。

第 2 代 · 线性注意力：把注意力真正变成 RNN（2020）——解决推理 O(n²)，代价是「记住一切」变成「忘记大部分」

要解决：自回归解码时每步都要重算注意力（softmax 的 max 归一化无法增量更新），推理代价 O(n²)。

方案（Katharopoulos et al. 2020）：把 softmax 换成任意非负相似度的核特征映射 φ，利用矩阵乘法结合律改写：

softmax 注意力:  (Q Kᵀ) V          → 需物化 N×N 矩阵
线性注意力:      φ(Q) (φ(K)ᵀ V)    → φ(K)ᵀV 只算一次，O(N)

φ(x) = elu(x) + 1（有限维正特征映射）。

关键洞察（这一步直接通向 Mamba）：因果 mask 下，运行和 Sᵢ = Σ_{j≤i} φ(Kⱼ)Vⱼᵀ 可以每步常数时间更新——

"any transformer layer with causal masking can be written as a model that, given an input, modifies an internal state and then predicts an output, namely a Recurrent Neural Network (RNN)."（Katharopoulos et al. 2020）

数据：CIFAR-10 图像生成吞吐 4,462× 于 softmax 注意力（17.85 vs 0.004 images/s）；摘要称自回归推理"up to 4000x faster"；线性注意力可在 11GB GPU 上拟合 16,384 长度（softmax 只有 4,096）；WSJ 语音识别 PER 8.08 胜 Reformer 9.33。

代价：固定的 φ 决定了「能记什么」由核函数而非内容决定——状态是所有历史 token 的（有损）求和，无法按内容选择性地记住/遗忘。这正是 Mamba 论文诊断的 "inability to perform content-based reasoning"。

（背景补充，未逐字核验：此路线演化出 RWKV、RetNet、Gated Linear Attention、DeltaNet 等，与 SSM 在「无 softmax 的循环形式」上逐渐合流。）

第 3 代 · SSM 与 Mamba：选择性解决「内容无关」的死穴（2021–2023）——解决线性模型的死记硬背，代价是固定小状态

前史（背景补充，未逐字核验）：S4（2021）用线性时不变（LTI）状态空间模型 + HiPPO 理论 + 卷积并行训练，在长序列基准（如 LRA）上称王，但 LTI 意味着参数与输入无关。

Mamba 要解决的两个问题：

1. 注意力：O(n²) + 窗口外的世界不可见；
2. LTI SSM（及线性注意力）：对内容不敏感——

"a key weakness of such models is their inability to perform content-based reasoning"（Gu & Dao 2023）

对注意力的诊断则一句话直指要害：

"an inability to model anything outside of a finite window, and quadratic scaling with respect to the window length"（Gu & Dao 2023）

方案：让参数依赖输入（选择机制）——Δ、B、C 由输入生成（s_B(x)=Linear_N(x)，s_C(x)=Linear_N(x)，s_Δ(x)=Broadcast_D(Linear_1(x))，τ_Δ=softplus）。论文给出一条漂亮的理论通道：选择机制就是门控——取 N=1, A=−1, B=1 时递推退化为经典 RNN 门 h_t = (1−g_t)h_{t−1} + g_t·x_t；"Δ in SSMs can be seen to play a generalized role of the RNN gating mechanism"（大 Δ 重置状态专注当前输入，小 Δ 保持状态忽略输入）。

根本张力（Mamba 的理论内核，我认为是整条演进史最深刻的一句）：

"efficient models must have a small state, while effective models must have a state that contains all necessary information."（Gu & Dao 2023）

选择机制 = 让小状态学会「装什么、扔什么」。

工程：硬件感知选择性扫描——kernel fusion + parallel scan + recomputation；扩展状态 (B,L,D,N) 从不物化到 HBM，参数在 SRAM 中做离散化和递推，显存占用与 FlashAttention 优化的 Transformer 相当；扫描比朴素 PyTorch 实现快 20–40×。

数据：

• Pile 上 Chinchilla 协议缩放律（125M–1.3B）：首个追平强 Transformer++ 配方的无注意力模型；
• Mamba-3B 胜同尺寸 Transformer、匹敌 2 倍大模型；常识推理超 Pythia-3B 约 4 分、超过 Pythia-7B；
• 推理吞吐 "5× higher throughput than Transformers"（4–5×）；
• 长度外推：归纳头测试外推到 100 万 token（训练长度的 4000 倍）；DNA 序列到 2²⁰；
• 注意（重要澄清）：LRA 是引用先前 SSM 工作"have dominated"，不是本文自己的结果。

作者自认的局限（难得的诚实）：选择机制对 LTI 擅长的数据（如音频）有损害——"No Free Lunch"；评测"limited to small model sizes, below the threshold of most strong open source LLMs"，7B+ 是否仍优"remains to assess"；微调、上下文学习、RLHF、量化等下游行为未验证。

注意：Mamba 论文并没有承认复制/联想召回缺陷（它反而展示 Mamba-2L 解决归纳头到 1M 长度、selective copying ~99.8%）。这个批评来自下一份文献。

第 4 代 · 统一与合流：SSD 对偶（2024）——证明两条路线是同一个数学对象

要解决：注意力派与 SSM 派相互对立、各造生态的局面；同时 Mamba-1 的 scan 难以用张量并行等成熟系统优化。

主张（Dao & Gu 2024）：SSM 与注意力变体是同一类结构化矩阵的不同分解方式：

"We show an equivalence between state space models and a well-studied family of structured matrices called semiseparable matrices."
"A central message of this paper is that different methods of computing state space models can be reframed as various matrix multiplication algorithms on structured matrices."

对偶的两面：线性形式 = SSM 递推（每 token O(1)）；二次形式 = 注意力式计算 Y = Mx（全序列一次算）。因果 mask 本身就是 1-semiseparable 矩阵；反过来（Theorem 5.2）：任何有快速递推形式的核注意力，其 mask 必然是 semiseparable 矩阵——想绕开 SSM 做线性注意力，数学上无路可走。

实践收益：

• 专用实现"2−8× faster than the optimized selective scan implementation of Mamba"，可支持 8 倍于 Mamba 的状态大小；
• 与 FlashAttention-2 相比：序列 2K 处交叉，16K 处快 6×；
• Mamba-2 架构改造（A 变标量×单位阵、头维 64–128、QKV 式并行投影、GVA 头模式等）"Pareto dominates Mamba and Transformer++ in both perplexity and wall-clock time"；2.7B/300B tokens 胜 Pythia-6.9B；
• 注意力派的全套系统武器（张量并行同步点减半、序列并行、变长打包）可平移给 SSM——为混合架构铺路。

第 5 幕 · 根本性批评：复制与联想召回暴露状态容量下界（2024）——「便宜」的极限在哪

要解决：Mamba/SSM 派的评测（缩放律、perplexity）掩盖了什么？有没有注意力能做而 SSM 原理上做不了的事？

理论结果（Jelassi et al. 2024）：

• 上界（Thm 2.3）：深 2 层、维数 O(n log D) 的 Transformer 可复制长度 Dⁿ（指数级）的序列——机制是"hash-based copying"（对 n-gram 哈希，注意力头查表回最近一次出现处）+ Hard-ALiBi；均匀分布序列下维数只需 O(log(L/ε)·log D)，参数量对序列长度只需对数级；
• 下界（Thm 2.7/Cor 2.8）：任何广义状态空间模型（GSSM）若状态 mem(𝒮) < L·log(D) − 1，复制误差 > 1/2——状态必须随序列长度线性增长，才能精确复制/任意检索。

实验证据：

• 从头训练（~160M 参数，训练字符串 ≤300）："the transformers need 100x less samples than the best GSSMs" 才能学会复制；LSTM（~40M）连字符级长度 300 都失败；
• 长度泛化（训练 ≤50，测试到 1000）：GSSM 精度"drops to zero almost immediately"，Hard-ALiBi Transformer 近乎完美泛化到 1000（超出训练窗口）；
• 机制验证：含重复 5-gram 的输入上精度骤降，与「完美 5-gram 查表模型」吻合——Transformer 真的在用哈希查表；前缀键（低内存需求）任务上 GSSM 不落下风，后缀键（需全上下文存储）任务惨败——印证"GSSMs seem to be memory limited"；
• 预训练模型对照（Pythia vs Mamba，重要细节：本文实际评测的只有 Mamba，RWKV/RetNet 只是被归入 GSSM 家族并未评测）：复制 C4 自然语言，"Even the smallest transformer model dramatically outperforms the largest GSSM"——尽管 Mamba 在 Pile 上 perplexity 更低；乱序单词字符串上最大 Mamba"zero accuracy on strings of length 300"；电话簿查询：电话簿够长（L≥70）时"even the smallest transformer (410M parameters) outperforms the largest GSSMs (2.8B parameters)"；SQuAD 上 Mamba 的 F1 随段落变长退化更快。

结论：perplexity 掩盖了架构差异——"results suggest a fundamental gap between transformers and GSSMs on tasks of practical interest"；两条路线不是替代关系：

"we believe that future work should focus on building hybrid architectures that endow state space models with an attention-like mechanism."（Jelassi et al. 2024）

（背景补充，未逐字核验：这一预言当年即被兑现——Jamba/Zamba/Samba/Griffin/RecurrentGemma 等混合架构成为 2024–2025 长上下文模型的主流配方：少数层放全注意力负责检索，多数层放线性/SSM 负责吞吐。）

三、逐篇精读卡片（七维度）

卡片 1 · Attention Is All You Need（Vaswani et al., 2017）

• 核心问题：RNN 的串行计算使训练无法并行、长依赖路径为 O(n)；序列转导模型能否完全抛开循环与卷积？
• 主要主张：仅用注意力机制的 Transformer 更可并行、训练显著更快、翻译质量刷新 SOTA。
• 方法：多头自注意力 + 位置编码 + FFN 的堆叠架构；编码器-解码器结构；sinusoidal 位置编码。
• 数据与证据：WMT 2014 英德 28.4 BLEU（超此前最好结果逾 2 BLEU）、英法 41.8 BLEU；8×P100 训练 3.5 天（大模型 2.3×10¹⁹ FLOPs）；Table 1 论证自注意力 O(n²d) 但路径长度/串行操作均为 O(1)。
• 结论：注意力即足够（"Attention Is All You Need"）；自注意力还有可解释性红利（"many appear to exhibit behavior related to the syntactic and semantic structure"）。
• 局限：每层 O(n²·d)（当时任务序列短，未暴露）；位置编码外推性问题只做了初步实验；没有注意力成本随长度的解决方案。
• 对我的启发：重大架构创新的完整配方是「指出旧范式的计算结构缺陷（串行/路径长）→ 给出可并行替代 → 用一个此前由大系统保持的 SOTA 证明质量不掉」。文中 Table 1 的「复杂度/串行操作/路径长度」三维分析框架，至今仍是评价任何序列架构的标准透镜——后来所有论文都在这张表上做文章。

卡片 2 · Efficient Transformers: A Survey（Tay et al., 2020）

• 核心问题：涌现的大量「高效 Transformer」变体是否有谱系？它们真的高效吗？
• 主要主张：可按注意力稀疏化/近似方式分为固定模式、组合模式、可学习模式、记忆、低秩、核、循环、下采样等家族；但复杂度≠实际速度，且评测碎片化使模型间无从比较。
• 方法：按算法机制分类综述 + 批判性分析；提出以 LRA（Long Range Arena）统一评测长程能力。
• 数据与证据：覆盖数十个模型的分类表；逐条指出的实践摩擦（定制 CUDA、不能因果 mask、自回归训练慢、FFN 占一半算力）。
• 结论：截至 2020，没有变体成为事实标准；原始二次方注意力仍是主力；局部注意力调好了很难被打败；领域缺统一基准。
• 局限：作者自认分类边界模糊、模型常跨类组合；综述早于 FlashAttention/Mamba，未覆盖「exact attention 工程优化」与「SSM 替代路线」两支后续主线；LRA 只测 encoder 模式、不含自回归任务。
• 对我的启发：①这是一张「用数学近似换真实效率」的失败案例地图——所有变体都在「保什么（精度/因果性/实现性）」与「舍什么」之间做选择；②评测碎片化是领域最便宜的伪进展来源，任何新架构叙事先问：它跟谁比、用什么基准、wall-clock 快不快；③"complexity does not always translate to real world throughput or latency" 是审稿和选型的第一问。

卡片 3 · Transformers are RNNs（Katharopoulos et al., 2020，辅来源）

• 核心问题：softmax 归一化使注意力必须先算完整 N×N 相似度矩阵，能否用 O(N) 完成自回归推理？
• 主要主张：把注意力推广为核特征映射下的双线性形式，用结合律重排乘法顺序即可 O(N)；因果版本就是一个 RNN。
• 方法：φ(Q)(φ(K)ᵀV) 重排（φ=elu+1）；因果掩码下维护运行和 S/Z，每步常数时间；~200 行 CUDA 实现。
• 数据与证据：CIFAR-10 生成吞吐 4,462×（17.85 vs 0.004 images/s）；MNIST 0.644 vs 0.621 bits/dim；WSJ PER 8.08 胜 Reformer；11GB GPU 可拟合 16,384 长度；copy 任务收敛稳定、同 softmax 最终性能。
• 结论：注意力可以既是 Transformer（并行训练）又是 RNN（O(1) 推理）——"any transformer layer with causal masking can be written as a model that…namely a Recurrent Neural Network (RNN)."
• 局限：φ 是对 softmax 的有损近似（指数核是无限维的）；特征映射固定 → 状态与内容无关，无法选择性记忆；WSJ 上仍输 softmax（5.12）约 3 分。
• 对我的启发：这是整条演进史中数学上最优雅的一步——不改任务定义、只改计算顺序/参数化就换来了复杂度等级跃迁。它同时是 Mamba 的直系祖先（线性递推状态）与「缺陷说明书」（状态无选择性）。理解一个模型，看它的等价形式和它在什么约束下推不出来，比看它赢了什么 benchmark 更有信息量。

卡片 4 · Mamba（Gu & Dao, 2023）

• 核心问题：注意力贵且窗口有限；LTI SSM/线性注意力便宜但对内容不敏感。能否兼得线性复杂度与内容感知？
• 主要主张：让 SSM 参数成为输入的函数（选择机制）即可让固定小状态「有选择地记忆」；配合硬件感知扫描实现训练并行 + 推理线性。
• 方法：Δ/B/C 输入依赖（softplus 门控式）；证明选择≡RNN 门控（h_t=(1−g_t)h_{t−1}+g_t·x_t）；端到端架构去掉 attention 也去掉 MLP；扫描算法用 kernel fusion + parallel scan + recomputation，扩展状态不落 HBM。
• 数据与证据：Pile 缩放律 125M–1.3B 首次追平 Transformer++；Mamba-3B≈Transformer 6B；吞吐 5×；归纳头外推 1M token（训练的 4000×）；DNA 到 2²⁰；扫描比朴素实现快 20–40×。
• 结论：效率与效果的张力可以靠「选择性」在模型内部化解，而不必外部加注意力。
• 局限（作者自认）：对 LTI 擅长的数据（音频）有反作用（No Free Lunch）；只验证到 ~3B 规模；微调/ICL/RLHF/量化未验证。论文未提及复制/联想召回缺陷（其 selective copying 99.8% 是逐 token 重复任务，与任意检索不同）。
• 对我的启发：①Mamba 的问题意识极其清晰——先给出一对矛盾（"efficient models must have a small state, while effective models must have a state that contains all necessary information"）再给机制，这是顶会论文的叙事模板；②「把一个离散设计决策（记什么/忘什么）变成一个连续可学参数（Δ）」是神经架构设计的通用手艺；③硬件感知（SRAM/HBM 层级的 IO 复杂度）从 FlashAttention 起已是架构论文的必修课——算法复杂度之外，存储层级复杂度决定真实速度。

卡片 5 · Transformers are SSMs / Mamba-2（Dao & Gu, 2024）

• 核心问题：注意力与 SSM 两派是敌是友？SSM 能否借用注意力生态的全部系统与理论？
• 主要主张：SSM 与带低秩修正的掩码注意力是同一类结构化（semiseparable）矩阵的不同分解；线性形式（递推）与二次形式（注意力）可按块混合计算。
• 方法：SSD 框架——把 SSM 写成分块半可分矩阵乘法，对角块用注意力式、块间用小递推；Mamba-2 简化 A 为标量×单位阵、加大头维、QKV 式并行投影、GVA 头模式；Theorem 5.2 证明任何有快速递推的核注意力其 mask 必为 semiseparable。
• 数据与证据：比 Mamba-1 scan 快 2–8×；状态可大 8×；与 FlashAttention-2 在 2K 长度交叉、16K 快 6×；Chinchilla 缩放律上困惑度与 wall-clock 双维度 Pareto 支配 Mamba 与 Transformer++；2.7B/300B tokens 胜 Pythia-6.9B。
• 结论：两派数学上统一（"different methods of computing state space models can be reframed as various matrix multiplication algorithms on structured matrices"）；架构选择从「信仰问题」变为「在同一家族内按算力/显存/任务选点」。
• 局限：统一有代价——Mamba-2 的 A 退化成标量×单位阵，表达力弱于 Mamba-1 的对角 A（论文以更大状态与更好系统性质交换）；提取内容未显示其对复制类任务的回应；混合架构在本文只是方向性讨论。
• 对我的启发：对偶/统一视角是领域成熟的标志——当两个学派被证明是同一数学对象的两种算法时，创新空间从「站队」变成「在连续谱上选点」（块大小、头模式、状态大小都可调）。做研究时，找到能同时解释对手方成果的框架，比击败对手更有杠杆。

卡片 6 · Repeat After Me（Jelassi et al., 2024）

• 核心问题：SSM 的固定小状态是否有原理性的能力边界，而非工程问题？
• 主要主张：是——Transformer 可用对数级参数复制指数长度序列（哈希查表机制）；GSSM 精确复制/任意检索需要线性增长的状态，否则误差必有下界。
• 方法：构造性证明（Thm 2.3 深度-2 Transformer + Hard-ALiBi；Cor 2.5 维数 O(log(L/ε)·log D)）+ GSSM 状态容量下界（Thm 2.7/Cor 2.8：mem(𝒮)<L·log D−1 ⇒ 误差>1/2）+ 三组实验（从头训练的合成任务、机制探针、预训练模型对照）。
• 数据与证据：从头训练复制任务 Transformer 样本效率高 100×；长度泛化 GSSM"drops to zero almost immediately"；5-gram 探针证实查表机制；预训练模型上最小 Transformer（410M）胜最大 GSSM（2.8B）于 C4 复制、乱序复制（长度 300 时 Mamba 零准确率）、长电话簿（L≥70）、SQuAD 长段落——尽管 Mamba 的 perplexity 更低。
• 结论：SSM 的差距是任务本质（需要内容寻址的任意检索）而非规模问题；混合架构（SSM + 注意力机制）是出路。
• 局限：理论针对的是精确复制/任意检索，实际任务多为「近似检索」，GSSM 的实际损失可能小于下界暗示；预训练对照只有 Mamba（RWKV/RetNet 未评）；只测到 ~2.8B 规模；未测试混合模型本身。
• 对我的启发：①perplexity/缩放律不是能力的充分统计量——两个 perplexity 相近的模型，在检索类任务上可以差一个数量级，架构仍然是活议题；②「下界证明 + 与下界吻合的探针实验」是把直觉变成定理的完整闭环，值得写技术文章时模仿其论证结构；③评测要覆盖「模型 cheap 的地方」和「模型 expensive 的地方」两端。

四、七维度综合提取（主题级）

五、关键原文引述汇集（均来自本次会话对原文的抓取）

Vaswani et al. 2017（arXiv:1706.03762）

1. "We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence… while being more parallelizable and requiring significantly less time to train."
2. "This inherently sequential nature precludes parallelization within training examples… The fundamental constraint of sequential computation, however, remains."
3. "As side benefit, self-attention could yield more interpretable models."
4. 正弦位置编码 "may allow the model to extrapolate to sequence lengths longer than the ones encountered during training."

Tay et al. 2020（arXiv:2009.06732）

1. "We would like to emphasize that complexity does not always translate to real world throughput or latency."
2. "It is still a mystery to which fundamental efficient Transformer block one should consider using."
3. "While the field is bustling with new Transformer models, there is not an easy way to compare these models side by side."
4. "It is commonly misunderstood that efficient attention models always imply that the Transformer is fast. The truth is that many of these efficient attention models, owing to their innovation constraints, may make the model much slower."

Katharopoulos et al. 2020（arXiv:2006.16236）

1. "any transformer layer with causal masking can be written as a model that, given an input, modifies an internal state and then predicts an output, namely a Recurrent Neural Network (RNN)."

Gu & Dao 2023（arXiv:2312.00752）

1. "an inability to model anything outside of a finite window, and quadratic scaling with respect to the window length"（论注意力）
2. "a key weakness of such models is their inability to perform content-based reasoning"（论既往亚二次方模型）
3. "efficient models must have a small state, while effective models must have a state that contains all necessary information."
4. "Δ in SSMs can be seen to play a generalized role of the RNN gating mechanism."

Dao & Gu 2024（arXiv:2405.21060）

1. "We show an equivalence between state space models and a well-studied family of structured matrices called semiseparable matrices."
2. "A central message of this paper is that different methods of computing state space models can be reframed as various matrix multiplication algorithms on structured matrices."

Jelassi et al. 2024（arXiv:2402.01032）

1. "the transformers need 100x less samples than the best GSSMs to learn the copy task."
2. "Even the smallest transformer model dramatically outperforms the largest GSSM."（预训练模型复制 C4 时）
3. "we believe that future work should focus on building hybrid architectures that endow state space models with an attention-like mechanism."

六、时间线总表

标注：★=本次精读的主/辅来源；○=来自精读文献内部的提及；△=背景知识补充（未逐字核验原文）

七、局限与不确定性（本笔记自身的）

1. FlashAttention 未精读：第 1.5 代的工程路线是按背景知识补写的（△ 标注），未抓取其原文验证；但「Mamba 显存占用与 FlashAttention 优化的 Transformer 相当」「SSD 与 FlashAttention-2 的 2K 交叉/16K 6×」等数字来自本次精读的 Mamba 与 Mamba-2 原文，可靠性较好。
2. 各代之间的背景事件（BERT/GPT、S4、混合架构现状）为背景知识补充，未逐字核验，均已用 △ 标注。
3. 引述精确度：所有带引号的句子来自本次会话对 ar5iv 全文渲染的抓取（由模型提取并压缩到 ≤125 字符级别），个别可能有标点级出入；复杂度表与数字以原文 Table 为准。
4. 时效性：2024 年后的发展（混合架构、线性注意力新变体）截至本笔记日期没有精读原始文献，只有背景性概述；如需继续深读，建议优先：Jamba（arXiv:2403.19844）、Gated Linear Attention（arXiv:2312.06635）、Griffin/RecurrentGemma（arXiv:2402.19427）。
5. 中文转述：叙事部分的因果判断（如「历史裁决」）是本人基于精读文献的推断，已尽量与 Tay et al. 的原文批判对齐。

八、这次学到什么

1. 架构史的组织骨架是矛盾链，不是论文列表：串行 vs 并行 → 全连接 vs 二次方 → 近似 vs 保真 → 小状态 vs 内容寻址 → 统一 vs 混合。任何「某架构已死」的断言都应还原为「它在三元权衡表（算力×状态×寻址）上移动了哪个坐标」。
2. 复杂度记号不是速度，速度不是能力，能力不是 perplexity：Tay 综述的批判（复杂度≠wall-clock）、FlashAttention 现象（exact 也能快）、Jelassi 实验（perplexity 更低 ≠ 检索更强）三层递进，构成评测任何新架构的三重过滤。
3. 统一视角的杠杆最大：SSD 证明注意力与 SSM 是同一矩阵的两种算法后，双方的系统优化与理论工具互通，创新从「站队」变为「连续谱上选点」。研究上，能解释对手的框架胜过击败对手的框架。
4. 最好的论文有共同的三件套：最小形式化的问题陈述（Mamba 的效率-有效性张力）、可证明的性质（Jelassi 的状态容量下界、SSD 的 Theorem 5.2）、实测 wall-clock 数字（Mamba 5×、SSD 2–8×）。只有复杂度记号的第一代近似注意力，就是缺后两件的反面教材。