慢思考与测试时计算（test-time compute）：o系列、思考模型的能力边界与成本模型 未开始

题记与说明

• 条目类型：主题研究（多来源精读综合）
• 日期：2026-10-31
• 精读来源（6 个，均于本次会话实际抓取阅读）：
  1. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters（Snell et al., UC Berkeley, 2024-08, ICLR 2025 Oral）——arXiv 摘要页精读
  2. Learning to reason with LLMs（OpenAI, 2024-09-12，o1 发布博文）——全文精读
  3. OpenAI o3 Breakthrough High Score on ARC-AGI-Pub（ARC Prize / François Chollet, 2024-12-20，含 2025-03/2025-12 两次成本修订注）——全文精读
  4. s1: Simple test-time scaling（Muennighoff et al., Stanford 等, 2025-01）——arXiv 摘要页精读
  5. The Illusion of Thinking（Shojaee, Mirzadeh, …, Samy Bengio, Mehrdad Farajtabar，Apple, 2025-06，v3 2025-11）——arXiv 摘要页精读
  6. Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs（Chen et al., Tencent AI Lab/SJTU 等, 2024-12, ICML 2025）——arXiv 摘要页精读
• 辅助检索来源（搜索聚合，未逐页精读，数字已交叉核对但需注意时效）：o 系列各档定价与 2025-06-10 降价（HN 讨论、Microsoft Learn/Azure 文档转述）、DeepSeek-R1 定价（api-docs.deepseek.com 及转述）、GPT-5 reasoning_effort 参数（developers.openai.com 文档转述）、test-time scaling 综述与方法学讨论（OpenReview 综述、Sebastian Raschka 分类文）、ARC-AGI-2 后续战况（arcprize.org/arc-agi/2、ARC Prize 2025 结果分析）、Apple 论文争议双方（The Decoder、Hacker News、The Algorithmic Bridge 反驳文）。

一、主题概述

2024 年 9 月 OpenAI 发布 o1，把"推理时多花计算"变成了继预训练、后训练之后的第三条 scaling 轴：模型先在隐藏的思维链里反复尝试、纠错、换思路，再给出答案。这条路线此后一年半迅速产业化：o3（2024-12 预览）、DeepSeek-R1（2025-01 开源复现）、s1 证明 1K 数据即可复现可控版本、各家用 reasoning_effort / thinking budget 把"想多久"做成 API 旋钮。与此同时，边界问题也接连暴露：Apple 的受控拼图实验显示高复杂度下推理模型"整体坍塌"，overthinking 研究显示简单题浪费数倍算力，ARC Prize 的成本核算则把"87.5% 的成绩单"翻译成"每题 4,560 美元"。本笔记按七维提取这条主线。

二、七维提取

1. 核心问题

• 范式问题：推理时算力（test-time compute）能否替代/补充参数规模，成为新的性能扩展轴？最优地分配这笔算力（按题目难度、按搜索策略）能买到多少性能？
• 能力边界问题：这种"慢思考"是真泛化还是模式匹配的延伸？在什么复杂度/任务类型上会失效？思维链本身可信吗？
• 成本问题：思考 token 如何计价？一个任务到底多少钱？性能/美元的曲线长什么样，多快在收敛？

2. 主要主张

1. 测试时计算是一条真实、平滑的 scaling 轴。OpenAI 原话："performance of o1 consistently improves with more reinforcement learning (train-time compute) and with more time spent thinking (test-time compute). The constraints on scaling this approach differ substantially from those of LLM pretraining."（来源 2）
2. 但它是"难度依赖"的：计算最优（compute-optimal）策略必须按题自适应分配；固定预算的 best-of-N 极其浪费，compute-optimal 分配可把效率提升 4 倍以上；FLOPs 对齐时，在小模型有非零成功率的题目上，测试时计算可以击败 14 倍大的模型。（来源 1）
3. 能力边界呈三区制：低复杂度任务上普通 LLM 反而更好；中等复杂度上推理模型有优势；高复杂度上两者全部坍塌——而且推理 effort 随复杂度先升后降，"尽管 token 预算还有剩"。（来源 5）
4. "会做"很大程度是"检索 + 组合"而非新算法：Chollet 判断 o3 的机制"appears to be natural language program search and execution within token space"——在思维链空间里做 AlphaZero 式搜索；这解释了为何单题要烧掉数千万 token，也解释了它为什么仍会在简单题上失败。（来源 3）
5. 效率必须与分数一起报告：ARC Prize 明确提出 "efficiency (e.g., compute cost) is now a required metric when reporting performance"——只报分数不报算力档位的基准结果从此被视为不完整。（来源 3）
6. 成本在快速坍缩，且"思考"是成本大头：o3 首发定价 $10/$40 每百万 token，2025-06-10 降到 $2/$8（-80%）后用量涨约 10 倍；DeepSeek-R1 以 $0.55/$2.19 把同级能力价格拉低一个数量级。思考 token 计入输出计价，输出侧价差被长思维链放大。（来源：辅助检索）

3. 方法

• Snell et al.（来源 1）：在 MATH 上系统比较两条测试时计算路线——(1) 针对密集过程奖励模型（PRM verifier）做树搜索；(2) 让模型在测试时自适应修订自己的回答分布（"second thoughts"）。用模型自估难度划分题目，拟合各难度下的 compute-optimal 缩放曲线，再与"直接用 14 倍大模型"做 FLOPs 对齐比较。
• OpenAI o1（来源 2）：大规模 RL 训练模型生成并打磨长思维链；评测上把"测试时算力档位"当作显式变量报告（单样本 pass@1 / cons@64 / 1000 样本重排序三档）。
• ARC Prize（来源 3）：在 Semi-Private(100 题)/Public(400 题) 两套任务上，按 OpenAI 指定以 6 次采样（高效档）vs 1024 次采样（172 倍算力档）两档测试 o3，并逐档核算 tokens、零售成本、每题成本与耗时；配套发布全部解题数据供社区分析。
• s1（来源 4）：按难度、多样性、质量三准则精选 1,000 题带推理轨迹（s1K），对 Qwen2.5-32B-Instruct 做普通 SFT（16 张 H100 上 26 分钟，约 $50 云算力，据 alphaXiv/ACL 版本转述）；发明 budget forcing——模型想结束时追加 "Wait" 强迫继续想（往往能自查纠错），或强制截断——实现推理时算力的连续外推控制。
• Apple（来源 5）：构造复杂度可精确调节、逻辑结构不变的拼图环境（河内塔、过河等），同时考察最终答案与推理轨迹本身；在同推理算力下对比推理模型与其底座 LLM，划分三区并分析轨迹中的探索/放弃模式。
• Overthinking（来源 6）：定义结果端与过程端两类效率指标（如"答对前的输出效率"），量化 o1 类模型在 2+3 这类题上的冗余思考，再用自训练（outcome efficiency preference optimization，DPO 式）压掉无效思考且不掉点。

4. 数据与证据

来源 1（Snell et al. 2024，摘要页原文）：

"Using this compute-optimal strategy, we can improve the efficiency of test-time compute scaling by more than 4x compared to a best-of-N baseline. Additionally, in a FLOPs-matched evaluation, we find that on problems where a smaller base model attains somewhat non-trivial success rates, test-time compute can be used to outperform a 14x larger model."
"the effectiveness of different approaches to scaling test-time compute critically varies depending on the difficulty of the prompt."

来源 2（OpenAI o1 博文，全文精读）：

"On the 2024 AIME exams, GPT-4o only solved on average 12% (1.8/15) of problems. o1 averaged 74% (11.1/15) with a single sample per problem, 83% (12.5/15) with consensus among 64 samples, and 93% (13.9/15) when re-ranking 1000 samples with a learned scoring function."

• 附录表：AIME pass@1 GPT-4o 9.3 / o1-preview 44.6 / o1 74.4；cons@64 为 13.4/56.7/83.3；Codeforces Elo 808（11 分位）→ o1 1,673（89 分位）；GPQA Diamond pass@1 50.6 → 77.3（首次超过博士人类专家，o1 自述）。
• IOI 2024：赛制下 213 分（49 分位），其中测试时选提策略贡献"nearly 60 points"（随机提交仅 156 分）；放开到每题 10,000 次提交后 362.14 分，超过金牌线，"even without any test-time selection strategy"——训练侧编程能力与测试时算力各自都能买分。
• 隐藏思维链的决策："Assuming it is faithful and legible, the hidden chain of thought allows us to 'read the mind' of the model and understand its thought process."——为保监控价值不向用户展示原始 CoT，只展示模型生成的摘要。
• 安全侧收益：最难越狱基准上安全完成率 0.714 → 0.934，StrongREJECT Goodness@0.1 从 0.220 → 0.840。

来源 3（ARC Prize o3 核算，全文精读）：

\* 成本经两次重定价：2025-03 按 o1-pro、2025-12 按 o3-pro（$80/M 输出 token）折算，非当时实际账单。

"you could pay a human to solve ARC-AGI tasks for roughly $5 per task (we know, we did that), while consuming mere cents in energy. Meanwhile o3-preview requires $27 per task in the low-compute mode."

• 训练集问题："OpenAI shared they trained the o3 we tested on 75% of the Public Training set."
• 对 ARC-AGI-2 的预判："early data points suggest that the upcoming ARC-AGI-2 benchmark will still pose a significant challenge to o3, potentially reducing its score to under 30% even at high compute (while a smart human would still be able to score over 95% with no training)."（据辅助检索，2025 年实际战况：早期前沿模型在 ARC-AGI-2 上普遍 <5–15%，Kaggle 赛道冠军 27.64%，预测基本应验；后续旗舰的更高分数仅见社区榜单，未在官方来源核实。）

来源 4（s1，摘要页原文）：

"we develop budget forcing to control test-time compute by forcefully terminating the model's thinking process or lengthening it by appending 'Wait' multiple times to the model's generation when it tries to end. This can lead the model to double-check its answer, often fixing incorrect reasoning steps."
"scaling s1-32B with budget forcing allows extrapolating beyond its performance without test-time intervention: from 50% to 57% on AIME24."（对 o1-preview 竞赛数学领先"up to 27%"）

来源 5（Apple，摘要页原文）：

"LRMs face a complete accuracy collapse beyond certain complexities. Moreover, they exhibit a counterintuitive scaling limit: their reasoning effort increases with problem complexity up to a point, then declines despite having remaining token budget."
"we identify three performance regimes: (1) low-complexity tasks where standard models outperform LRMs, (2) medium-complexity tasks where LRMs demonstrates advantage, and (3) high-complexity tasks where both models face complete collapse."
"they fail to use explicit algorithms and reason inconsistently across scales."

来源 6（Overthinking，摘要页原文）：

"the prevalent issue of overthinking in these models, where excessive computational resources are allocated for simple problems with minimal benefit."

（该文在 ICML 2025 发表，v2 更新了 DeepSeek-R1 的结果并称"all conclusions still hold"。）

成本模型数据（辅助检索，标注时效）：

API 侧控制旋钮：o3 提供 reasoning_effort low/medium/high；GPT-5 起扩为 minimal/low/medium/high，GPT-5.1 默认档改为 "none"（转述自 developers.openai.com 与 Azure 文档）。行业共识：思考预算成了每次请求可调的成本参数。

5. 结论

1. 测试时计算已成为与预训练并列的第三条 scaling 轴，且"平滑提升"在 o1→o3 的数学/代码/科学基准和 ARC 上反复得到验证；但它不是免费的泛化——Chollet 的"自然语言程序搜索"模型和 Apple 的三区制结果一致指向：它本质是用推理时搜索换训练时知识覆盖不足，超出训练分布的高复杂度任务仍会坍塌。
2. 性能的"难度依赖性"是这条轴最重要的工程结论：算力要用在"小模型有非零成功率"的题目带上；低复杂度任务用思考模型是负收益（更差且更贵），高复杂度任务加算力也买不到分。
3. 成本模型的关键事实：思考 token 按输出计价，使"每题成本"而非"每 token 价格"才是真实单位——同一模型在 ARC 上两档算力差 172 倍、每题 $26 vs $4,560；而硬件/服务优化与开源蒸馏（s1、R1）又在 12–18 个月内把单位价格压低 5–30 倍。能力在变便宜，但"顶峰性能"始终是奢侈品。
4. 从 2024-09 到 2026 年的净效果：思考预算从"隐藏的黑箱"变成 API 上的显式旋钮（effort/thinking budget），效率与成本成为基准报告的强制字段；基准则以 ARC-AGI-2 这类"人类简单、AI 难"的重置来持续探测真实泛化边界。

6. 局限

• 来源层级限制：Snell、s1、Apple、Overthinking 四篇只精读了 arXiv 摘要页，正文细节（如 s1 的 $50/26min 训练账单、Apple 论文的具体坍塌题号）来自检索转述，未逐页核对原文图表。
• 定价时效：所有价格为检索聚合数字而非官方定价页实时核对，OpenAI/DeepSeek 价目变动频繁，引用需带日期。
• ARC 成本的口径漂移：$26/$4,560 是事后按 o1-pro、再按 o3-pro（$80/M）重算的"零售折算"，不等于 2024-12 时的真实账单；o3 当时定价未公开，成本档位本身有不确定性。
• Apple 论文争议大：社区反驳包括——思维链痕迹不等于真实计算（"The Illusion of 'The Illusion of Thinking'"）、河内塔类算法题天然不利于采样式推理、过河谜题版本文自身有缺陷导致"反直觉"结果。三区制方向有多个独立证据支持，但具体坍塌阈值不宜当精确常数引用。
• o3 的 87.5% 有训练集泄漏疑问：OpenAI 承认测试的 o3 见过 75% 公开训练集；ARC-untrained 版本成绩长期未测，"新任务泛化"的强度存疑。
• 后续旗舰（如 Gemini 3 系列在 ARC-AGI-2 上的高分）仅有社区榜单来源，本次未核实官方数据，不作结论。
• CoT 忠实性（OpenAI 自己也只"assume"其 faithful）是整条路线共同的理论软肋。

7. 对我的启发

1. 按难度路由思考预算：把 reasoning_effort（或思考模型 vs 普通模型）当作路由决策——简单查询走低档/非思考档，难题才放行 high。Snell 的 4 倍效率差说明"固定开高档"是最贵且不最准的选择；这与我平时 API 调用/agent 流程设计的省钱空间直接对应。
2. 用"每任务成本"做单位：引用任何基准分数时同时报告算力档位与折算成本（ARC 原则）；比较模型时区分 token 单价和任务级成本——R1 式低价的真正杠杆在输出侧，而长思维链正是输出侧。
3. 投资验证器而非盲目加采样：test-time scaling 的上限卡在 verifier 质量（PRM/裁判/测试用例）；自一致性、best-of-N 这类策略在没有好验证器时接近无效——做评估管线时先做验证器。
4. 低成本复现路径存在：s1 证明 1K 精选数据 + 半小时 SFT + "Wait" 技巧即可获得可控的测试时缩放，对个人/小团队的实验路线图有直接参考价值。
5. 对"多想就能会"保持怀疑：三区制提醒我，在很多日常（低复杂度）场景推理模型反而更差更慢；"思考更多"只在中间难度带有正收益。
6. 写作素材：$5 人类 vs $4,560 机器的成本对比、172 倍算力档、ARC-AGI-2 的"人类 95% vs AI <30%"重置、GPT-5 把"想多久"做成 API 旋钮——都是把抽象 scaling 故事讲具体的现成锚点。

三、时间线速览

*检索与阅读方式：本会话内通过 webReader 全文精读来源 2、3（OpenAI 博文、ARC Prize 博文），精读 arXiv 摘要页来源 1、4、5、6；定价与后续战况来自 WebSearch 检索聚合，已在文中逐处标注。*