研究报告 · 约 28,429 字 · 预计推送 3 部分

LLM 应用成本工程：缓存、批处理、路由、提示词压缩与预算控制（横纵综合报告） 未开始

目录

题记与说明

课题：LLM 应用成本工程：缓存、批处理、路由、提示词压缩与预算控制（含可量化的成本模型）
成文日期：2026-10-31（最终稿：按独立审读意见逐条修订后交付；初稿存于 output/reports/drafts/，仅作修订输入保留，本文为最终交付版）
综合说明：本文由同课题两份章节报告综合而成——纵轴章《LLM 应用成本工程：缓存、批处理、路由、提示词压缩与预算控制——纵轴发展史（2020.6–2026.10）》与横轴章《——当下横向对比（横轴报告）》（均存于 output/reports/parts/）。两章均基于 2026-10-31 当日的网络搜索与官方文档核对写成，关键事实附来源 URL。综合时已合并两章重复内容、统一表述口径并裁定矛盾，逐条裁定依据见文末附录《两章矛盾裁定记录》。本文引用的情景计算数字中，月度 $900→$245 链条与各盈亏平衡线由横轴章随附脚本 cost_model_calc.py 复跑核对（附录六 6.1），日度 $115,000→$11,200 链条由修订时补算片段复跑核对（附录六 6.2）。本次修订当日（2026-10-31）已再次以 python -I 复跑该脚本核对，脚本全文与运行输出收录于文末附录六。
修订说明（2026-10-31，按独立审读意见逐条修订，共 8 条）：
① 结论 2 连乘式：末步 −12.4% 改为 −15.8%（与情景表 E 步 245.0/290.9=−15.78% 一致），连乘结果回到 72.8%（修订当日复算：按 −12.4% 连乘只得 71.7%，审读意见成立）。
② 日度算例：参数行按全文统一符号订正为 d_write=1.0（免费写入）、d_read=0.1、δ=0.5——初稿误把读折扣 0.1 写成"免费写入档 δ=0.1"（若按 δ=0.1 计批处理乘数为 0.985、单次应为 $0.0119，与正文分解链 ×0.925→$0.0112 不符，可见初稿实算用的是 δ=0.5）；降幅 90.2% 更正为 90.3%；分解链按统一符号重写。
③ μ=8 算例：订正后的算例（统一口径 0.27、纵轴口径 0.37，原 0.406 作废）补入 2.2 的 μ 口径段，附录裁定 2 与正文对齐。
④ 宏观数字链：初稿"均价 −50%、消耗量 +450%、总支出仍翻倍"三者算术互斥（0.5×5.5=2.75，对应支出增长约 175% 而非翻倍），且修订当日实际抓取所引两条来源，原文均未载明这三个数字——已改为定性表述并标注待核；"API $5/M 的能力自建约 $0.20/M"同样标注待核。
⑤ 无支撑论断：删除洞察四中无来源、无机制解释的"商用路由器自带前缀会破坏缓存命中"；2.5.3 改为可操作的遥测核对建议。
⑥ 杠杆计数口径：2.2 明确语义缓存是缓存杠杆的自建变体、不计为第六个杠杆；TL;DR 的 $245 链条改为"缓存+批处理+路由+压缩四杠杆"口径；3.2 采纳顺序为语义缓存补位。
⑦ 表述修订：TL;DR"压缩杀死缓存式负交互"→"压缩破坏缓存前缀"；建议四 L3"在线任务改批处理"→"可延迟任务转入批处理或谷段"；2.5.3 RouteLLM 的"45%/35%"明确为省钱幅度而非准确率。
⑧ 补缺：新增附录六（复算脚本全文、日度算例补算片段、当日运行输出、参数填写模板）；新增 2.2.1 参数测量方法节；补齐月度算例 Haiku 4.5（$1/$5）价目、注明日度算例 Flash 档为假设档位；2.2 补 1h TTL（2× 写溢价）适用场景判断。

TL;DR

LLM 成本工程六年主线是折扣制度化：2020 按量计费，2023 应用侧自救，2024 批处理与缓存写进厂商定价表，2025 缓存成 Agent 成本主角、FinOps 制度化，2025 底起结构分化——均价仍通缩，旗舰翻倍提价，并现峰谷分时定价。五大杠杆量化结论：批处理纯让利（一律五折）；缓存有盈亏平衡线（Anthropic 需命中率超 21.7%，其余大厂命中即赚）；路由与压缩自担质量风险；预算控制不省钱、是核算前提。基准 $900/月按缓存+批处理+路由+压缩四杠杆叠加降至 $245（−72.8%；语义缓存为缓存杠杆的按需选配变体、预算控制为核算前提，均不计入该链条）。建议：先上预算计量，再按缓存→批处理→路由→压缩顺序采纳（语义缓存按需选配），严防「压缩破坏缓存前缀」这类负交互。

一、纵轴：发展脉络（2020.6 → 2026.10）

1.1 一图流时间线

阶段时间标志事件成本工程形态旗舰输入价水位（$/M）
原点2020.6–2022.11GPT-3 API 按 token 计费；2022.9 首次降价无（只有"少调用"）20–60
觉醒2022.11–2023ChatGPT 引爆；GPT-4 $30/$60；FrugalGPT / GPTCache / LLMLingua应用侧自救（级联、语义缓存、压缩）2–30
折扣元年2024Batch API（4 月）；四家缓存定价表（5–10 月）；GPT-4o mini（7 月）；中国价格战（5 月）；RouteLLM（7 月）折扣写入定价表，五杠杆成型0.15–5
Agent 冲击2025DeepSeek-R1；Gemini 隐式缓存 75%→90%；GPT-5 缓存读价 0.1×；K2/GLM-4.5；FinOps for AI缓存成为成本结构主角，治理制度化0.6–2.5
结构分化2025Q4–2026.10Opus 4.5 腰斩至 $5/$25；GPT-5.5 反涨至 $5/$30；DeepSeek 峰谷定价；SDLLMTK $0.92/M；Agent 流量约 90% token 走缓存从"降价"到"定价结构设计"：分时、分档、促销回调、预算运行时约束0.10–5（分层剧烈）

1.2 阶段一：原点——按量计费的确立（2020.6–2022.11）

此阶段"成本工程"尚不存在，开发者唯一手段是少调 API、少写 prompt。但"token"作为计价单位在此被固定下来——其后六年的所有折扣机制（缓存、批处理、分层）都是在 token 单价上做乘法。

1.3 阶段二：成本觉醒——应用侧自救（2022.11–2023）

驱动因素：GPT-4 级定价让企业账单失控；"能力差不多但价差 10–30 倍"的套利空间催生学术与工程双重响应。

1.4 阶段三：折扣工程元年——成本优化写进定价表（2024）

2024 年的分水岭意义在于：成本优化从"应用侧自救"变成"供应商定价表上的正式条目"。

驱动因素：推理供大于求 + MoE/MLA 架构降本 + 竞争加剧；Agent 雏形（长系统提示 + 重复前缀）让缓存价值显性化。

1.5 阶段四：Agent 冲击与通缩加速（2025）

驱动因素：Agent/推理工作负载把单任务 token 消耗放大一个数量级，缓存命中成为成本结构主角；价格战从"抢开发者"演变为"抢 Agent 工作负载"。

1.6 阶段五：从单边通缩到结构分化（2025Q4–2026.10，当下）

最新阶段的结构性特征：普降结束，价格分层——便宜的更便宜，贵的反而涨价，且出现"峰谷电价"式创新。

驱动因素：Agent 推理需求指数级增长撞上 GPU 供给与电力约束；供应商从"抢份额"转向"利润率修复"；缓存与峰谷定价把"何时调用、调用谁"变成了可以用优化器求解的问题。

1.7 纵轴小结：成本模型本身也在演化

方法论自身的脉络值得单列：2023 年 FrugalGPT 第一次把"省钱"形式化为学术命题（级联 + 置信度）；2024 年 RouteLLM 给出第一个公开路由基准；2025 年 FinOps 基金会把 CPMT、每成功任务成本变成行业指标；2026 年五杠杆显式公式与预算运行时约束（LiteLLM 虚拟键、降级阶梯）成型——"成本模型"从论文里的公式，变成了生产环境里每日回归的输入参数表。下章给出两章合并后的统一定式。

二、横轴：横向对比（2026-10 时间截面）

2.1 课题界定：三层对比框架

LLM 应用成本工程不是单一产品，而是一组降本杠杆的集合，横向对比必须在三层展开，否则会退化成一张没有信息量的功能清单：

2.2 可量化的成本模型（两章合并后的统一定式）

基准（单模型、无优化的月成本）：

C0 = N_in × p_in + N_out × p_out

五杠杆修正（全部为乘法因子，可叠加；预算控制为加法项）：

杠杆作用位置公式盈亏平衡条件（关键结论）
厂商前缀缓存输入单价乘数m_cache = (1−u) + u·[(1−h)·d_write + h·d_read]h\* = (d_write−1)/(d_write−d_read)：Anthropic 5m TTL 需命中率 >21.7%；1h TTL 需 >52.6%；OpenAI/Gemini 隐式/DeepSeek 免写入费，h\*=0（命中即赚）
批处理全单价乘数m_batch = (1−β) + β·(1−δ)，三大家 δ=0.5无盈亏平衡问题（厂商纯让利）；真实代价 = 24h SLA + 异步改造
模型路由全单价乘数m_route = (1−ρ) + ρ·rρ·(1−r)·C0 > 路由器成本 + 误路由质量损失
提示词压缩输入 token 缩减仅压缓存断点后的动态部分时，输入乘数 = u·[(1−h)·d_write + h·d_read] + (1−u)·ss·p + c_comp < p 算术上恒成立（本地压缩器 c_comp≈0）；真成本 = 质量损失 + 压缩破坏缓存前缀
语义缓存（应答级）整调用乘数×(1−h_sem)命中即整次调用免费；相似度阈值决定"命中率 vs 答错率"交换
预算控制固定费 + 止损C_total += 平台固定费；硬上限截断尾部不降单价；买的是超支保险、失控熔断与可核算性

杠杆计数口径：上表把语义缓存（应答级）单列一行，是因其公式形态不同——它作用于整次调用而非输入 token；它本质上是缓存杠杆的自建变体（缓存的是"问答对"而非 KV 前缀），不计为第六个杠杆。全文五大杠杆恒指：缓存、批处理、路由、压缩、预算控制；2.5.1 的方案对比表同样把语义缓存归入缓存杠杆内部对比。

符号：u=输入中可缓存稳定前缀占比；h=可缓存 token 命中率；d_write/d_read=写溢价/读折扣（倍数）；β=可容忍 24h 延迟的流量占比；δ=批处理折扣（三大家 0.5）；ρ=路由到廉价模型的流量占比；r=廉价/昂贵价格比；s=压缩保留率；h_sem=语义缓存命中率。

关于写溢价与复用次数（μ 口径换算）：另一种等价口径按"前缀生命周期"记账——每次写入被读 μ\_lc 次则回本条件为 μ\_lc > 1 + (d_write−1)/(1−d_read)，即 Anthropic 5m 档需 μ\_lc>1.28 次、1h 档需 >2.11 次（换算为命中率恰为 21.7%/52.6%，本次综合已用 Python 复核）。纵轴章的"μ>0.28 / μ>1.11"只数写入请求之外的读命中（μ = μ\_lc − 1），两章结论一致，仅记账口径不同（详见附录裁定 1；注意纵轴章原式中的 δ 指缓存读价率、对应本文 d_read，本文 δ 一律专指批处理折扣）。

μ=8 算例（订正版，对应附录裁定 2）：纵轴章曾以"写一次读八次"设例说明写溢价的影响。按本文统一口径（未命中的可缓存 token 付写价 d_write=1.25×、命中的付读价 d_read=0.1×；取 h=0.85）：m_cache=(1−h)·d_write+h·d_read=0.2725，即输入侧省约 73%。若按纵轴章"写价摊到每次读"的记账——(1−h)×1+h×(d_read+d_write/μ)=0.15+0.85×(0.1+1.25/8)=0.368——则输入侧省约 63%。两种口径数字不同、定性结论一致：写溢价使缓存收益缩水，复用次数 μ 是需要主动管理的设计变量；纵轴章原算式"=0.406"系算术误差，作废（修订当日已用 Python 复核两种口径，详见附录裁定 2）。

什么时候 2× 写溢价（1h TTL）反而划算：52.6% 门槛回答的是"缓存 vs 不缓存"；选 1h 还是 5m 档取决于同一前缀两次调用之间的间隔。机器流量对同一前缀的调用间隔小于 5 分钟时，5m 档靠密集命中维持存活，1h 档只是把写价从 1.25× 抬到 2×（贵 60%），纯亏；而当间隔落在 5 分钟–1 小时之间（人工会话每轮间隔几分钟、定时任务每 15–30 分钟跑同一大前缀、多租户长尾会话），5m 档每次都过期重写、每轮付 1.25× 写价，1h 档一小时内只写一次付 2×、其后每次仅付 0.1× 读价——解 2+0.1×(k−1) < 1.25×k 得 k>1.65，即同一前缀每小时被调用 ≥2 次即回本（k=2 时两档合计 2.10× vs 2.50×，见附录六 6.2 补算片段）。前缀越大、调用间隔越规律地落在 5 分钟之外，1h 档越划算；具体到自家流量，把间隔分布代入附录六脚本即可。

2.2.1 参数测量方法：u/h/β/ρ/s 如何从自家日志估测

五个参数都不必拍脑袋，全部可从既有日志或一周灰度测得：

2.3 情景叠加算例（脚本当日复跑验证）

月度算例（横轴章基准场景：Agent 型应用，月输入 200M + 输出 20M tokens，主模型 Claude Sonnet 4.5 $3/$15，参数 u=0.7、h=0.9、β=0.3、ρ=0.6、r=1/3——路由目标 Claude Haiku 4.5，价目 $1/$5，输入/输出单价均为 Sonnet 4.5 的 1/3（价目见附录六脚本头部）——、s=0.5；脚本 cost_model_calc.py 输出）：

情景月成本相对基准节省
A. 基准：Sonnet 4.5 直连$900.0—
B. +厂商前缀缓存（u=0.7, h=0.9）$570.3−36.6%
C. +批处理（β=0.3）$484.8−46.1%
D. +路由（60% 流量 → Haiku 4.5）$290.9−67.7%
E. +压缩 2x（仅压缩缓存断点后的动态部分）$245.0−72.8%
E′. 反面教材：全量压缩（含稳定前缀，缓存命中归零）$306.0−66.0%（比 E 多花 $61/月）
E + 语义缓存（h_sem=30%）$171.5−80.9%
E + Helicone Pro 中档订阅（+$50/月固定费）$295.0−67.2%

日度大规模算例（纵轴章：客服 Agent，日均 100 万次调用，每次输入 20k、输出 500 tokens，主模型 GPT-5.5 $5/$30）：裸用单次 $0.115、全天 $115,000。五杠杆叠加，参数按 2.2 统一符号标注：u≈1（客服输入几乎全为稳定前缀与对话历史，算例取 u=1 简化）、h=0.85、d_write=1.0（免费写入档）、d_read=0.1、s=0.9、ρ=0.7、r=0.05——路由目标为算例假设的廉价 Flash 档 $0.25/$1.50，恰为 GPT-5.5 的 1/20，非特指某在售型号，代入时请换成自家廉价档实际价目——、β=0.15、δ=0.5。结果：单次 $0.0112、全天 约 $11,200，降幅 90.3%，质量由路由器阈值保障。分解链（统一符号）：缓存输入乘数 (1−h)·d_write+h·d_read=0.235 → 压缩 ×s=0.9 → 0.2115 → 旗舰单次 0.2115×$0.10+$0.015=$0.0362 → Flash 档 ×r=0.05=$0.0018 → 路由混合 (1−ρ)·旗舰+ρ·Flash=$0.0121 → 批处理乘数 (1−β)+β·(1−δ)=0.925 → $0.0112。修订当日已逐分项复跑核对（附录六 6.2），并订正初稿两处笔误：①初稿参数行把读折扣 d_read=0.1 误写为"免费写入档 δ=0.1"——δ 若取 0.1，批处理乘数为 0.985、单次应为 $0.0119，与初稿自己的分解链 ×0.925→$0.0112 不符，可见实算用的就是 δ=0.5；②降幅 90.2% 应为 90.3%（11202/115000=9.74%，降幅 90.26%）。

成本模型揭示的四个结论：

  1. 缓存有真实盈亏平衡线。Anthropic 5m TTL 下命中率低于 21.7% 反而亏钱（写溢价 1.25× 吃掉收益）、1h TTL 门槛高达 52.6%；OpenAI/Gemini 隐式/DeepSeek 写入免费，命中即赚。"缓存永远划算"是伪命题，取决于厂商定价结构。
  2. 杠杆是乘法可叠加的：(1−36.6%)×(1−15%)×(1−40%)×(1−15.8%) ≈ 复合降 72.8%（四步分别对应 2.3 情景表 B/C/D/E 的逐步降幅 −36.6%/−15.0%/−40.0%/−15.8%，末步按 245.0/290.9=−15.78% 取 −15.8%；初稿误写 −12.4%，连乘只得 71.7%，已订正）。单杠杆的宣传数字（如路由"省 85%"）不可直接相加，必须按乘法链条逐项核算。
  3. 交互陷阱真实存在：对稳定前缀做压缩会让每次请求的前缀变"脏"、缓存命中归零，情景 E′ 比 E 每月多花 $61。正确做法是只压缩缓存断点之后的动态上下文。
  4. 缓存不侵蚀路由的可叠加性：缓存后 Sonnet 4.5 有效输入价 $1.352/M、Haiku 4.5 $0.451/M，价格比仍为 0.333——乘法杠杆互不锁死（脚本第五节验证）。

2.4 层 1：五大杠杆对比总表

维度厂商前缀缓存批处理（Batch API）模型路由提示词压缩预算控制
机制复用 KV 缓存，输入 token 打折错峰异步处理，全价打折简单问题走便宜模型删减低信息量 token计量+配额+熔断
典型节省输入 0–90%（看命中率）50%（三大家统一）RouteLLM 基准最高 85% @95% 质量；任务类型决定收益LLMLingua 系 2–5x（激进 20x）0%（止损型）
质量风险无（结果与不缓存完全一致）无（同模型同推理）最高：误路由直接伤回答质量中高：激进压缩丢上下文，Agent 工具调用场景尤甚无
延迟影响显著降低（OpenAI 宣称至多 −80%）显著增加（24h 窗口）增加一次路由判定增加一次压缩（本地 BERT 级开销小）可忽略
实现复杂度低（OpenAI 零改动；Anthropic 加 cache_control）低-中（改异步管线）中-高（需路由器+评测）中（需压缩器部署+评测）中（网关部署）
成熟度高（三家原生，2024 年 GA）高（三家原生）中（开源有基准，商用证据弱）中低（学术强，生产采纳有限）高（工程问题）
适用场景长稳定前缀（系统提示、RAG 文档、Agent 循环）评测、回填、数据增强等离线任务流量大且难度两极分化长上下文 RAG、文档问答一切生产环境（前置条件）

一句话定性：缓存与批处理是"厂商让利"（零质量风险、一次接入永久受益），路由与压缩是"自担风险换折扣"，预算控制是其余四个杠杆的核算前提——没有 usage 级遥测（如 Anthropic 返回的 cache_creation_input_tokens/cache_read_input_tokens 字段），缓存命中率与路由收益全都无法核算。先计量，后优化。

2.5 层 2：每个杠杆内部的方案对比

2.5.1 缓存：定价结构决定策略空间

方案读折扣写入费门槛/TTL自动化来源
OpenAI Prompt Caching读价至多原价 10%（折扣 90%）无（官方 FAQ 明确写入不额外收费；见附录裁定 6）≥1,024 token；内存态 5–10 分钟（最长 1h，gpt-5/gpt-4.1 等支持 24h 扩展驻留）全自动，prompt_cache_key 可提升命中官方文档（当日一手核对）
Anthropic Prompt Caching读价 0.1×5m TTL 写 1.25×；1h TTL 写 2×Sonnet/Opus ≥1,024 token；Haiku 4.5 ≥4,096；最多 4 个断点显式 cache_control官方文档（当日一手核对）
Gemini 隐式/显式缓存缓存 token 读价为原价 10%（2025-05 上线时 75% 折扣，后上调至 90%）隐式无；显式含存储费（价格页示例 $0.10/M，2026-11-30 后调至 $0.20）显式缓存上线时最低 4,096 token（2024.5，Gemini 1.5），后续 Flash 级约 2,048隐式全自动；显式声明 TTL开发者博客、定价
DeepSeek 自动缓存命中输入价约为未命中 1/10 量级（V4.1-Flash 谷价命中 $0.003/M）无无显式门槛全自动；另引入峰谷分时定价，谷时再打五折官方平台
自建语义缓存（GPTCache/Redis 等）命中即整次调用免费（≈100%）索引与存储自担相似度阈值自调全自主Spheron、PremAI

要点：① Anthropic 的 1.25× 写溢价使它成为唯一"可能越用越贵"的缓存方案，21.7%/52.6% 两条平衡线是选型第一问；② 前缀缓存（厂商）与语义缓存（自建）互补而非竞争——前者省"同前缀的输入钱"，后者省"整个调用"，但后者有答错风险：学术基准显示命中率可达 68.8%、正命中率 >97%（arXiv:2411.05276），生产命中率典型 30–70%；③ 有第三方报道称 OpenAI 于 2026 年中对缓存写入引入 1.25× 计费（AIHubMix、Finout），但当日一手抓取的官方文档仍写明"无附加费用"——两说并存，以官方文档与实际账单为准，这正是预算控制层（账单对账）存在的意义。

2.5.2 批处理：同质化程度最高的杠杆

三大家（OpenAI Batch API、Anthropic Message Batches、Gemini Batch）均为 五折、24 小时窗口；批处理与缓存折扣可叠加（Anthropic 批内缓存读/写同样半价，genai-prices 汇总转述）。该杠杆竞争维度不在价格而在 SLA 与工程配套（失败重试、结果对账）。结论：凡是延迟可容忍 ≥ 数分钟的流量，不进批处理等于白扔 50%。单批请求上限两家章节记载不一（1 万 vs 1 万–10 万），以当期官方文档为准（附录裁定 4）。

2.5.3 路由：开源有基准，商用无证据

方案类型声称收益证据强度费用
RouteLLM（LMSYS）开源框架，偏好数据训练路由器MT Bench 降本 85% @95% GPT-4 质量；但 MMLU 型任务上仅省 45%、GSM8K 型任务上仅省 35%（两者均为省钱幅度，不是准确率）——任务类型决定路由收益，不存在普适的 85%强（有论文与公开基准）免费自托管 + 路由器推理成本
Not Diamond / Martian商用路由逐请求选最优模型弱-中（无公开基准，检索转述）商业订阅
OpenRouter（聚合器）通道 + :auto 自动选择不做逐请求智能路由，卖聚合与即时切换—充值费 5.5%（$0.80 起收）、BYOK 超 $25 部分 5%（FAQ）
网关内建 fallback（LiteLLM/Portkey/Helicone）规则式降级/回退非智能路由，保可用性—开源免费或订阅

务实路线：先 RouteLLM 式开源路由 + 自建评测集（用自家流量测路由准确率），再考虑商用路由器。接入路由层后，应核对 cache_read_input_tokens 等遥测字段，确认厂商前缀缓存命中率未因路由层的请求改写而下降——按前缀缓存的匹配机制，凡是排在请求最前面的 token（包括路由层注入的任何元数据）都参与前缀匹配。行业观察称路由本质是"披着成本优化外衣的市场分层"——60% 流量走便宜档即可显著压平成本曲线，与本模型 ρ=0.6、m_route=0.6 的算术一致。与 FrugalGPT 级联的关系是互补：路由是事前判定，级联是事后纠错（廉价模型先答、置信度不足再升级）。

2.5.4 提示词压缩：学术强、生产弱

方案方法压缩比开销来源
LLMLingua（2023）小模型困惑度删 token至 20x（激进档，约 1.5% 损失）需小模型推理arXiv:2310.05736、项目页
LLMLingua-2（ACL 2024）GPT-4 蒸馏 + token 分类，保真不重排约 2–5x、性能损失小本地 BERT 级，边际成本≈0arXiv:2403.12968
摘要式压缩 / RAG 裁剪用 LLM 或检索器先过滤任务相关一次额外调用同系列上下文工程报告（2026-10-28）

压缩算术上几乎必赚（s<1 且本地压缩器成本≈0），但生产采纳率低于其余杠杆，原因有三：① 压缩破坏前缀稳定性，与缓存冲突（E′ 实证每月多花 $61）；② Agent 工具调用对指令完整性极敏感，删错一个参数描述就是一次工具失败；③ 厂商缓存降价（读价 0.1×）后，压缩的相对收益空间被挤压——缓存降价是在和压缩抢生意。

2.5.5 预算控制：不省钱，但决定其他杠杆能否被核算

方案形态费用能力要点来源
LiteLLM开源自托管网关许可费 $0（服务器自担）虚拟键级 max_budget/budget_duration/TPM/RPM 限流，100+ 厂商统一 API，超支断流文档、预算文档
Helicone开源可自托管 + 云订阅Pro 约 $25–70/月日志/缓存/路由回退，观测见长对比
Portkey商业网关免费版 1 万条日志/月治理+路由+观测全家桶2026 网关评测
厂商原生 Dashboard（OpenAI Usage、Anthropic Caching Dashboard 等）免费免费只能看自家，无跨厂商配额各官网

预算控制的显性成本是固定费（$0–70/月）+ 接入工时，换来三件事：硬上限（止损）、按团队/键的配额（治理）、对前四个杠杆效果的事后核算（缓存命中率、路由节省是否兑现）。在本模型 $900 基准量级下网关订阅费约占 5.6%，规模越大摊得越薄。

2.6 层 3：整体替代范式与场景决策矩阵

范式一次性成本边际成本变化质量风险与五大杠杆的关系适用规模
五大杠杆组合低-中（纯工程）降 50–80%无（缓存/批处理/预算）到中（路由/压缩）—任何规模
蒸馏/微调小模型高（数据+训练）降 90%+（免缓存博弈）域内低、域外高与路由同向：把"路由过去"固化成"常驻"任务窄而稳
量化/自托管开源模型高（GPU 摊销+运维）降至电费+摊销，量大后最低需自行保障完全绕开 API 价目表（详见同系列 2026-10-28 本地部署报告）超大规模/隐私敏感
FrugalGPT 级联中（级联策略+验证器）先小后大，失败才升级升级策略误判与路由互补：事前判定 vs 事后纠错中大规模
上下文工程（RAG 精选、结构化约束）中降输入 token信息遗漏与压缩/缓存部分重叠通用

层 3 共同的经济学是"把边际成本换一次性成本"：规模越大、任务越稳，越值得越过五大杠杆直接改成本函数；五大杠杆则是零/低沉没成本的即时收益。分界线大致在"同一任务月 token 消耗是否稳定且可预测"。

按本成本模型的场景决策矩阵：

场景特征首选杠杆模型依据
长稳定系统提示/RAG 文档/Agent 多轮循环厂商前缀缓存u、h 高 → m_cache 低；OpenAI 零改动先吃读价至多一折（折扣最高 90%）
大量离线任务（评测、回填、数据增强）批处理δ=0.5 纯让利，零质量损失
流量大、难度两极分化路由（先开源后商用）ρ(1−r) 主导；必须自建评测集
长上下文且冗余度高压缩（仅动态部分）s 直接乘在输入上；严禁压缓存前缀
任何已上线应用预算控制先行计量是其他杠杆的核算前提
任务窄而稳、量大蒸馏/微调（层 3）一次性换 90%+ 边际成本
月 token 上亿且可预测自托管/级联（层 3）GPU 摊销越过 API 单价

三、交叉洞察

3.1 两轴结合说明了什么

洞察一：成本工程的演进是一条"折扣制度化"曲线，当下的截面正好暴露出技术代差。 纵轴的五个阶段——应用侧自救（2023）→ 写进定价表（2024）→ 默认能力与治理制度化（2025）→ 定价结构设计（2025Q4 起）——在横轴截面上留下清晰的成熟度断层：缓存与批处理已变成厂商默认能力（零质量风险、原生内建、OpenAI 甚至零代码生效），路由与压缩停留在"有基准、缺生产证据"状态，唯独预算控制从可选项升格为生产环境前置工程。这个领域 2023 年由 FrugalGPT 定名、2024 年被厂商内建收编、2025–2026 年进入治理化——五个杠杆里两个已被"收编"为免费午餐，剩下三个里只有预算控制完成了从技巧到制度的转变。

洞察二：价格结构分化正在放大路由与分层的价值，"价差"本身成了最大的杠杆。 纵轴终点（2026 年）的价格体系已不再是单边通缩：SDLLMTK 均价指数从 $2.07 跌到 $0.92/M 的同时，GPT-5.5 旗舰价翻倍至 $5/$30、Priority 档 $12.50/$75，Gemini 3.8 Flash 促销后预告 2027 年回调。"买平均的能力更便宜、买最强的能力更贵"持续拉大模型间价差——而路由的套利空间正是价差乘以流量占比。同理，峰谷分时定价把"何时调用"也变成可优化变量，自建与 API 的平衡点剧变（"API $5/M 的能力自建约 $0.20/M"系第三方估算，测算口径未公布、修订当日未能定位到载有该数字的来源原文，待核——见 1.6）。当价目表本身开始分层、分时、促销回调，"调用谁、何时调"的决策价值已经超过"怎么省 token"。

洞察三：杰文斯悖论完全显形——成本工程的终点不是省钱，而是"钱花在成功任务上"。 纵轴数据链（token 单价通缩而总账单不降反升——初稿"均价 −50%、消耗量 +450%、总支出翻倍"三个数字算术互斥且修订当日未见于所引来源原文，已按 0.5×5.5=2.75 的乘法口径回退为定性表述，见 1.6 修订注；Agent 单任务 token 放大 5–30 倍；Meta 内部月消耗 70 万亿 token、各公司开始设用量上限）与横轴的模型结论（五杠杆叠加最多省九成）指向同一个悖论：单价上省出的钱，会被用量增长全部吃掉。所以 2026 年行业共识的北极星指标从 CPMT（每百万 token 成本）上移到 cost per successful task（每成功任务成本）——优化对象从"每 token 单价"变成"每一 token 是否产生了成功任务"。

洞察四：最值钱的不是各杠杆的收益数字，而是交互陷阱表。 横轴模型实证了压缩杀缓存（E′ 比 E 每月多花 $61）；纵轴提供了制度侧的对应教训——Claude Code 缓存 TTL 从 1h 改回 5m 引发账单投诉、OpenAI 写入费两说待账单验证。再加上语义缓存答错无厂商兜底：五大杠杆不是五个独立开关，而是一张有正负边的交互网络。推论：成本模型必须参数化（d_write、d_read、TTL、h 作为输入变量）并每日回归，任何供应商定价参数变动都要触发重算。

洞察五：瓶颈已从算法移到计量与核算纪律。 FinOps 从业者覆盖 31%（2024）→63%（2025）→98%（2026）的曲线，与"两个杠杆被厂商收编、路由压缩缺生产证据"的现状共同说明：当下省钱的算法并不稀缺（OpenAI 缓存零改动生效、批处理一律五折），稀缺的是知道钱花在哪、节省是否兑现。OpenAI 缓存写入费"官方文档 vs 第三方报道"的两说并存，是"账单对账必须自动化"的活例证。

3.2 对用户的判断与建议

总判断（对课题主问题的直接回答）：2026 年 10 月做 LLM 应用成本工程，正确的姿势不是"找个省钱技巧"，而是按风险调整后收益排队、以计量为前提、以乘法模型核算的工程流程。采纳顺序应为：预算控制（计量）→ 缓存 → 批处理 → 路由 → 压缩（语义缓存作为缓存杠杆的按需选配变体，在问答高度重复的服务上与第 2 步一并评估，见建议二第 6 条）——预算控制是核算前提，缓存与批处理是厂商让利（零质量风险），路由与压缩才需要自担风险、自建评测。

建议一：先拿走零风险的全部收益（一天内可完成）。

  1. 上预算计量：部署 LiteLLM（自托管，$0 许可费）或 Helicone（$25–70/月），给每个应用/团队发虚拟键、设 max_budget 与超支断流；记录 cache_read_input_tokens 等遥测字段。没有这一层，后面所有"节省"都无法核算。
  2. 打开厂商缓存：OpenAI 全自动零改动（≥1,024 token 前缀，读价至多一折）；Anthropic 加 cache_control 断点（注意写溢价，把稳定前缀合并以抬高复用次数 μ）；长稳定前缀 + Agent 多轮循环场景收益最大（本模型 −36.6% 起）。
  3. 把所有能等的工作进 Batch：评测、回填、数据增强、报告生成——一律五折且与缓存叠加，不做等于白扔 50%。

建议二：风险杠杆按"先证据后订阅"采纳。

  1. 流量大且难度两极分化时上路由：先 RouteLLM 开源 + 用自家流量建评测集（记住其省钱幅度从 MMLU 型任务的 45% 到 MT-Bench 型任务的 85% 不等，均为省钱幅度而非准确率），验证后再考虑商用路由器；60% 流量走便宜档即可压平成本曲线（本模型再 −40%）。
  2. 长上下文且冗余度高时上压缩：用 LLMLingua-2 的 2 倍安全档，只压缓存断点之后的动态部分，严禁压缩稳定前缀（否则缓存命中归零，反而每月多花钱）。
  3. 语义缓存适合问答高度重复的服务（命中率 30–70%），但要把"答错责任"当作自担风险设计相似度阈值。

建议三：何时越过五大杠杆（层 3 决策）。 同一任务月 token 消耗稳定且可预测时，才值得付一次性成本改成本函数：任务窄而稳 → 蒸馏/微调（边际降 90%+）；月 token 上亿 → 量化自托管（降至电费+摊销；"API $5/M 的能力自建约 $0.20/M"系第三方估算，待核——见 1.6）。验证期的应用一律先用五大杠杆——零/低沉没成本。

建议四：把成本当运行时约束管理，而不是月底看账单。 工程上收敛为一条降级阶梯：预算逼近上限时，先降模型档（L1）→ 裁上下文/历史摘要化（L2）→ 可延迟任务转入批处理或谷段（L3）→ 限流排队（L4）→ 硬停（L5）。北极星指标用"每成功任务成本"；同时把 d_read（读折扣）、d_write（写溢价）、TTL、峰谷时段表当作每日回归的输入参数——TTL 变动、写入费调整、促销回调（Gemini 3.8 Flash 已预告 2027-01 涨价）都会直接改写成本函数。

建议五：对"宣传数字"保持乘法警惕。 任何"省 85%/90%/98%"都是特定基准上的上界：RouteLLM 的 85% 只在 MT-Bench 型任务上成立，FrugalGPT 的 98% 需要级联置信度设计，缓存 90% 要求命中率到位。正确姿势是把它们放进 2.2 的乘法公式里，用自己的流量参数算出属于自己的那个数字。

3.3 未决问题（截至 2026-10-31）

  1. OpenAI 缓存写入费两说：官方文档（当日一手核对）写明无写入费，第三方报道（AIHubMix、Finout）称 2026 年中引入 1.25×——以实际账单验证为准，这也再次证明账单对账自动化的必要性。
  2. GPT-5.x 中间代际定价未核实：GPT-5.5 被记载为较"$2.50/$15"翻倍，而 GPT-5 发布价为 $1.25/$10，中间调价缺一手来源。
  3. 分时定价的扩散：DeepSeek 峰谷定价若被效仿，"任务调度器"（把可延迟推理移到谷段）将成为成本工程标准组件。
  4. μ 的工程化：免费写入 + 90% 命中的世界里，剩余成本主要来自"冷前缀"与输出 token——前缀设计（stable prefix first）从提示词工程问题变成了财务问题。
  5. 通缩与通胀并存：均价指数创新低而旗舰提价，路由的价值空间会继续拉大；但若分时定价普及，"路由 + 调度"的联合优化器将成为新的必答题。

四、两章矛盾裁定记录

综合时发现并按以下方式裁定的两章差异（均已在正文按裁定结果统一表述）：

  1. 缓存盈亏平衡的两套口径（μ vs h\*）：纵轴章写"μ > w/(1−δ)，5 分钟档 μ>0.28、1 小时档 μ>1.11"（纵轴章原式符号：w 即写溢价部分、亦即本文 d_write−1；δ 即缓存读价率、亦即本文 d_read；本文 δ 一律专指批处理折扣，勿混）；横轴章写"h\* = (d_write−1)/(d_write−d_read)，即 21.7%/52.6%"。本次综合用 Python 复核：按前缀生命周期记账，回本需每次写入被读 μ\_lc>1.28 / 2.11 次（换算命中率恰为 21.7%/52.6%）；纵轴章的 μ 只数写入请求之外的读命中（μ = μ\_lc − 1），故 0.28/1.11 与 21.7%/52.6% 是同一结论的两种记账口径，数值一致。裁定：正文统一以命中率 h\* 为主口径、μ 为辅口径，并写明换算式。
  2. 纵轴章 Anthropic μ=8 算例的算术误差：纵轴章写"输入因子 (0.15+0.85×(0.1+1.25/8))=0.406"，按其口径复算应为 0.368（本次 Python 复核）；按本文统一口径（未命中部分付写价 1.25×）复算为 0.2725。无论哪种口径，"写溢价使缓存收益缩水但仍显著为正、μ 须主动管理"的定性结论不变。裁定：订正后的 μ=8 算例已补入 2.2 的 μ 口径段（统一口径 0.27、输入侧省约 73%；纵轴口径 0.37、省约 63%），原 0.406 作废。
  3. GPT-5.x 基准价：纵轴章内 GPT-5（2025-08）记载为 $1.25/$10，而 GPT-5.5 被描述为"较上一代 GPT-5.x 的 $2.50/$15 翻倍"，两处存在未解释的中间调价。本次综合无法用既有材料核实中间代际定价。裁定：保留两处原始记载并在正文标注"未能交叉核实，以 OpenAI 定价页为准"，不作调和。
  4. Anthropic 批处理单批上限：横轴章写"1 万条请求"，纵轴章写"1 万–10 万请求"。裁定：表述为"万级上限（两章记载不一，各时期文档口径可能不同，以当期官方文档为准）"，不影响五折与 24h 窗口等关键事实。
  5. Gemini 缓存最小 token 数：纵轴章"最低 4,096"（2024-05，Gemini 1.5 显式缓存上线时），横轴章"Flash 级约 2,048"。裁定：非矛盾，属不同代际/档位，正文按"上线时 4,096 起、后续 Flash 级约 2,048"的时间线表述。
  6. OpenAI 缓存写入是否收费：横轴章内部存在官方文档（无写入费，当日一手核对）与第三方报道（1.25×，2026 年中）的冲突。裁定：以一手官方文档为基准表述，第三方说法作为未决事项保留（见 3.3 之 1），并借它论证预算控制层的账单对账价值。
  7. "几折"的表述歧义：纵轴章"缓存输入 5 折（后续模型最高达 9–9.5 折）"与"缓存输入 $0.125（9 折）"中，"9 折"实指"折扣 90%（支付一折）"，与汉语通行"9 折=支付 90%"相反，易生歧义（官方文档口径为读价至多原价 10%，即折扣 90%；纵轴章另检索到约 95% 折扣的说法，未获官方文档证实）。裁定：正文一律改用"读价为原价 X%，折扣 Y%"的写法。
  8. RouteLLM "省 85%" 的定性：纵轴章作为头条数字引用，横轴章补充了任务依赖性（MMLU 45%、GSM8K 35%）。裁定：合并为"MT-Bench 上最高 85% @95% 质量，任务类型决定收益，不存在普适的 85%"。
  9. 重复内容的合并：两章各自含一套五杠杆描述、RouteLLM/LLMLingua/FrugalGPT 数字、厂商缓存结构表。裁定：历史事件与日期保留在纵轴章（第一章），机制、公式、方案对比与算例保留在横轴章（第二章），同一数字只在一处出现并保留两章来源；FrugalGPT 在纵轴定位为"奠基论文"，在横轴定位为"层 3 级联范式、与路由互补"，两处按各自语境保留。

五、参考来源

以下来源均于 2026-10-31 由两章检索获得，本文合并去重；按可信度分层标注。[一手] 为当日直接抓取核对；[官方] 为厂商公告/文档；[论文] 为学术文献；[检索] 为当日搜索结果转述；[无直链] 为有报道出处但未获直接 URL；[模型知识] 为章节报告标注的既有知识、未经当日复核。

官方文档与厂商公告

  1. [一手] Anthropic Prompt Caching 官方文档（读 0.1×、写 1.25×/2×、门槛与断点规则）：https://docs.claude.com/en/docs/build-with-claude/prompt-caching （纵轴章同文档镜像：https://platform.claude.com/docs/en/build-with-claude/prompt-caching ）
  2. [一手] OpenAI Prompt Caching 官方文档（读价至多一折、无写入费、24h 扩展驻留、1,024 门槛）：https://platform.openai.com/docs/guides/prompt-caching
  3. [官方] OpenAI 社区公告（2022-09-01 降价史与 GPT-3 定价）：https://community.openai.com/t/the-openai-api-is-now-more-affordable/20432
  4. [官方] OpenAI Batch API 上线公告（2024-04-15，五折/24h）：https://community.openai.com/t/batch-api-is-now-available/718416
  5. [官方] OpenAI Prompt Caching 公告（2024-10-01）：https://openai.com/index/api-prompt-caching
  6. [官方] OpenAI《Introducing GPT-5.5》（2026-04，$5/$30）：https://openai.com/index/introducing-gpt-5-5 ；API 定价文档：https://developers.openai.com/api/docs/pricing ；定价页：https://openai.com/api/pricing
  7. [检索] GPT-5/5.1 定价快照（$1.25/$10、缓存 $0.125）：https://ctrlaltdebrief.com/tools/pricing/models/gpt-5-1-2025-11-13
  8. [官方] Anthropic 定价史：https://platform.claude.com/docs/en/about-claude/pricing ；prompt caching GA 报道：https://www.i-programmer.info/news/105-artificial-intelligence/17413-anthropic-launches-prompt-caching-with-claude.html
  9. [检索] Anthropic Message Batches API（2024-09，五折）：VentureBeat 2024-10-08：https://venturebeat.com/infrastructure/anthropic-challenges-openai-with-affordable-batch-processing
  10. [官方] DeepSeek 硬盘缓存公告（2024-08-02，命中 $0.014/M）：https://api-docs.deepseek.com/news/news0802 ；KV Cache 文档：https://api-docs.deepseek.com/guides/kv_cache
  11. [官方] DeepSeek V3.2-Exp 公告（2025-09-29）及 V4 峰谷定价（2026-07/09）：https://api-docs.deepseek.com/news/news250929 ；平台定价：https://www.deepseek.com/en/platform
  12. [官方] Google 隐式缓存公告（2025-05-08，75%→90%）：https://developers.googleblog.com/gemini-2-5-models-now-support-implicit-caching ；Vertex 上下文缓存：https://cloud.google.com/blog/products/ai-machine-learning/vertex-ai-context-caching ；Gemini 定价页：https://ai.google.dev/gemini-api/docs/pricing
  13. [官方] Azure OpenAI Batch 定价：https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/
  14. [检索] OpenAI API 定价总览（GPT-4 2023 定价史）：https://apidog.com/blog/openai-api-pricing

论文与开源项目

  1. [论文] FrugalGPT（Stanford, 2023）：https://arxiv.org/abs/2305.05176 ；DeepLearning.AI 解读：https://www.deeplearning.ai/the-batch/frugalgpt-a-method-to-cut-ai-costs-and-maintain-quality
  2. [论文] RouteLLM：LMSYS 博客 https://www.lmsys.org/blog/2024-07-01-routellm ；论文 https://arxiv.org/abs/2406.18665 （横轴章引 HTML 版 https://arxiv.org/html/2406.18665v4 ）；代码 https://github.com/lm-sys/routellm
  3. [论文] LLMLingua 系列：https://arxiv.org/abs/2310.05736 ；LLMLingua-2（ACL 2024）：https://arxiv.org/abs/2403.12968 ；项目页 https://llmlingua.com/llmlingua2.html ；代码 https://github.com/microsoft/LLMLingua
  4. [论文] 语义缓存学术基准（命中率 68.8%、正命中率 >97%）：https://arxiv.org/abs/2411.05276
  5. [官方] GPTCache（Zilliz，2023-04）：https://github.com/zilliztech/GPTCache （Bang et al.，[模型知识]）
  6. [检索] GPT-4o mini 定价（2024-07-18）：https://www.themodelindex.ai/model/gpt-4o-mini ；https://hyscaler.com/insights/gpt-4o-mini-democratizes-ai
  7. [检索] a16z《LLMflation》（2024-11）：https://a16z.com/llmflation-llm-inference-cost-is-going-down-fast/
  8. [检索] 前缀缓存机制综述（vLLM/SGLang/Mooncake）：https://ai-tldr.dev/learn/production-llmops/cost-latency-optimization/prefix-caching-explained

网关、预算控制与生态

  1. [官方] LiteLLM 预算/虚拟键文档：https://www.litellm.ai/docs ；https://docs.litellm.ai/docs/proxy/virtual_keys 、https://docs.litellm.ai/docs/proxy/users
  2. [官方] Helicone 成本追踪指南：https://docs.helicone.ai/guides/cookbooks/cost-tracking
  3. [检索] 网关对比（Helicone $25–70/月、Portkey 免费版 1 万日志/月）：https://futureproofmarketer.com/blog/best-llm-gateways 、https://www.clyvel.com/blog/best-ai-gateway-alternatives 、https://faun.dev/toolbox/helicone-vs-llm-gateway
  4. [官方] OpenRouter 费用（充值费 5.5%、BYOK 5%）：https://openrouter.ai/docs/faq
  5. [检索] 批处理折扣汇总：https://enterprisedna.co/resources/guides/guide-anthropic-batch-api 、https://runthenumbersai.com/reference/batch-discount-guide 、https://github.com/genai-prices
  6. [检索] 语义缓存生产指南（命中率 30–70%）：https://www.spheron.network/blog/semantic-cache-llm-inference-gpu-cloud 、https://www.premai.io/blog/semantic-caching-for-llms-how-to-cut-api-bills-by-60-without-hurting-quality
  7. [检索] OpenAI 缓存写入计费变更的第三方报道（与官方文档冲突，待账单验证）：https://aihubmix.com/blog/gpt-5-6-is-live-prompt-caching-billing-changes-explained 、https://www.finout.io/blog/the-discount-you-now-pay-for-prompt-caching-just-became-a-finops-problem
  8. [检索] 2026 Agent 成本生态：https://hackernoon.com/reducing-enterprise-ai-costs-in-complex-agentic-workflows ；https://ai.blocksize.hr/blog/en/ai-inference-costs-economics-2026.html （修订当日实际抓取复核：两文原文均未载明"均价 −50%、消耗量 +450%、总支出翻倍"三个数字，也无"API $5/M 能力自建约 $0.20/M"的测算——前者只有路由节省的示例数字，后者仅定性称 token 价格较 2024 年约降一个数量级、账单因用量增长不降反升，且数字标注 Illustrative；相关正文表述已相应回退为定性并标注待核）

无直链与待核事项（沿用章节报告的诚实标注）

  1. [无直链] Silicon Data SDLLMTK token 支出指数（2026-05 $2.07 → 2026-08-31 $0.97 → 2026-10-27 $0.92/M）：CNBC 2026-09-01、Quartz 2026-09-01 报道及 10-27 指数读数（网络检索）
  2. [无直链] 2024 中国价格战：阿里云官方公告（Qwen-Long 降 97%，2024-05-21）、豆包 ¥0.3–9/M（经腾讯新闻、网易等报道）
  3. [无直链] Kimi K2 / GLM-4.5 定价（2025-07）：两家 API 定价页历史数据（网络检索核实）
  4. [无直链] FinOps Foundation State of FinOps（31%→63%→98%）；Virtasant 指南：https://www.virtasant.com/blog/finops-for-ai ；Finout 综述：https://www.finout.io/blog
  5. [无直链] Opus 4.5 定价（$5/$25，据 Hacker News 等多方核实）；GPT-4.1 家族（2025-04 发布，广泛报道）；o3 降价 80%（2025-06，广泛报道）；英伟达单日市值蒸发约 6,000 亿美元（2025-01-27，Reuters 等广泛报道）；Anthropic Prompt Caching Dashboard 与 Claude Code TTL 变动（2026-03/04，产品更新与社区讨论）；GPT-5.5 较 GPT-5.x $2.50/$15 的中间代际定价（未能交叉核实）

六、附录：复算脚本、当日运行输出与参数填写模板

正文三处引用的 cost_model_calc.py（横轴章随附，位于综合工作区）全文收录如下；修订当日以 python -I cost_model_calc.py 实际复跑，输出与 2.3 月度算例及结论 2/3/4 逐条一致。日度算例不在该脚本覆盖范围内，修订时另写补算片段（6.2）并实际运行核对。

6.1 月度算例脚本（cost_model_calc.py，原样收录）

# -*- coding: utf-8 -*-
"""LLM 应用成本工程：五大杠杆的可量化成本模型计算
基准场景：Agent 型应用，月 200M 输入 token + 20M 输出 token
主模型 Claude Sonnet 4.5 ($3/$15 per MTok, Anthropic 官方文档)
路由廉价档 Claude Haiku 4.5 ($1/$5, Anthropic 官方文档)
"""

def cache_multiplier(u, h, d_write, d_read):
    """输入 token 的缓存后价格乘数
    u = 输入中可缓存(稳定前缀)占比, h = 可缓存 token 的命中率
    d_write = 缓存写入溢价(倍), d_read = 缓存读取折扣(倍)
    """
    return (1 - u) + u * ((1 - h) * d_write + h * d_read)

def cache_breakeven_hitrate(d_write, d_read):
    """缓存净省钱所需的最低命中率: (d_write-1)/(d_write-d_read)"""
    return (d_write - 1.0) / (d_write - d_read)

def batch_multiplier(beta, delta=0.5):
    """beta = 可批处理流量占比, delta = 批处理折扣"""
    return (1 - beta) + beta * (1 - delta)

def route_multiplier(rho, r):
    """rho = 被路由到廉价模型的流量占比, r = 廉价/昂贵价格比"""
    return (1 - rho) + rho * r

print("=" * 70)
print("一、缓存盈亏平衡命中率 h* = (d_write-1)/(d_write-d_read)")
print(f"  Anthropic 5m TTL (写1.25x/读0.1x): h* = {cache_breakeven_hitrate(1.25,0.1):.1%}")
print(f"  Anthropic 1h TTL (写2.0x /读0.1x): h* = {cache_breakeven_hitrate(2.0,0.1):.1%}")
print(f"  OpenAI (无写入费, 读0.1x)        : h* = {cache_breakeven_hitrate(1.0,0.1):.1%}")
print(f"  DeepSeek 类缓存命中折价(读~0.1x): h* = {cache_breakeven_hitrate(1.0,0.1):.1%}")

print()
print("=" * 70)
print("二、基准成本 (Claude Sonnet 4.5: $3/$15 per MTok)")
N_in, N_out = 200.0, 20.0  # 单位: M tokens/月
p_in, p_out = 3.0, 15.0    # $/MTok
C0 = N_in * p_in + N_out * p_out
print(f"  输入 200M x $3 = ${N_in*p_in:.0f}; 输出 20M x $15 = ${N_out*p_out:.0f}")
print(f"  基准月成本 C0 = ${C0:.0f}")

print()
print("=" * 70)
print("三、逐杠杆叠加 (u=0.7 可缓存占比, h=0.9 命中率)")
u, h = 0.7, 0.9
m_cache = cache_multiplier(u, h, 1.25, 0.1)
print(f"  [B] +Anthropic 5m 缓存: m_cache={m_cache:.4f}")
c_in = N_in * p_in * m_cache
print(f"      输入成本 ${N_in*p_in:.0f} -> ${c_in:.1f}; 月成本 ${c_in + N_out*p_out:.1f} (降 {(1-(c_in+N_out*p_out)/C0):.1%})")

beta = 0.3
m_batch = batch_multiplier(beta)
C_b = (c_in + N_out * p_out) * m_batch
print(f"  [C] +批处理 beta={beta} (50%折扣): m_batch={m_batch}; 月成本 ${C_b:.1f} (降 {(1-C_b/C0):.1%})")

rho, r = 0.6, 1.0/3.0  # Haiku 4.5 价格比 1/3 (输入与输出同为 1/3)
m_route = route_multiplier(rho, r)
C_r = C_b * m_route
print(f"  [D] +路由 60%流量->Haiku 4.5 (r=1/3): m_route={m_route}; 月成本 ${C_r:.1f} (降 {(1-C_r/C0):.1%})")

s = 0.5  # LLMLingua-2 类 2x 压缩, 仅作用于未命中缓存的动态输入
m_cache_comp = u * ((1-h)*1.25 + h*0.1) + (1-u)*s
c_in2 = N_in * p_in * m_cache_comp
C_all = (c_in2 + N_out * p_out) * m_route * m_batch
print(f"  [E] +压缩 2x (仅动态部分 s=0.5): m_cache+comp={m_cache_comp:.4f}; 月成本 ${C_all:.1f} (降 {(1-C_all/C0):.1%})")

print()
print("=" * 70)
print("四、杠杆交互陷阱验证: 压缩稳定前缀会杀死缓存")
m_naive = (u + (1-u)) * s  # 若对全部输入包括前缀做2x压缩且每次压缩结果不稳定->命中率归0
C_bad = (N_in * p_in * s + N_out * p_out) * m_route * m_batch
print(f"  若盲目全量压缩(缓存命中归0): 月成本 ${C_bad:.1f} (降 {(1-C_bad/C0):.1%})")
print(f"  vs 只压动态部分: ${C_all:.1f}  -> 两者差 ${C_bad - C_all:.1f}/月")

print()
print("=" * 70)
print("五、路由 vs 缓存的'锁死'效应: 缓存压平价格后路由收益比不变")
p_eff_sonnet = p_in * m_cache          # Sonnet 缓存后有效输入价
p_eff_haiku = 1.0 * cache_multiplier(u, h, 1.25, 0.1)  # Haiku 同等缓存行为
print(f"  Sonnet 4.5 缓存后有效输入价 ${p_eff_sonnet:.3f}/M; Haiku 4.5 ${p_eff_haiku:.3f}/M")
print(f"  价格比 {(p_eff_haiku/p_eff_sonnet):.3f} (与未缓存时的 {1/3:.3f} 相同 -> 乘法杠杆可叠加)")

print()
print("=" * 70)
print("六、语义缓存(应答级)独立收益: 命中即整次调用免费")
for h_sem in [0.2, 0.3, 0.5]:
    print(f"  语义缓存命中率 {h_sem:.0%} -> 额外乘数 {1-h_sem:.2f}; 叠加在[E]上: ${C_all*(1-h_sem):.1f}")

print()
print("=" * 70)
print("七、平台开销(预算控制层): 不降单价, 加固定费+止损")
print(f"  LiteLLM 自托管: ~$0 许可费(服务器自担); Helicone Pro ~$25-70/月; OpenRouter 通道费 5.5%")
for fee, name in [(0, 'LiteLLM 自托管'), (50, 'Helicone Pro 中档')]:
    print(f"  [E]+{name}(+${fee}/月): ${C_all + fee:.1f} (净降 {(1-(C_all+fee)/C0):.1%})")

当日实际运行输出（python -I cost_model_calc.py，2026-10-31）：

======================================================================
一、缓存盈亏平衡命中率 h* = (d_write-1)/(d_write-d_read)
  Anthropic 5m TTL (写1.25x/读0.1x): h* = 21.7%
  Anthropic 1h TTL (写2.0x /读0.1x): h* = 52.6%
  OpenAI (无写入费, 读0.1x)        : h* = 0.0%
  DeepSeek 类缓存命中折价(读~0.1x): h* = 0.0%

======================================================================
二、基准成本 (Claude Sonnet 4.5: $3/$15 per MTok)
  输入 200M x $3 = $600; 输出 20M x $15 = $300
  基准月成本 C0 = $900

======================================================================
三、逐杠杆叠加 (u=0.7 可缓存占比, h=0.9 命中率)
  [B] +Anthropic 5m 缓存: m_cache=0.4505
      输入成本 $600 -> $270.3; 月成本 $570.3 (降 36.6%)
  [C] +批处理 beta=0.3 (50%折扣): m_batch=0.85; 月成本 $484.8 (降 46.1%)
  [D] +路由 60%流量->Haiku 4.5 (r=1/3): m_route=0.6; 月成本 $290.9 (降 67.7%)
  [E] +压缩 2x (仅动态部分 s=0.5): m_cache+comp=0.3005; 月成本 $245.0 (降 72.8%)

======================================================================
四、杠杆交互陷阱验证: 压缩稳定前缀会杀死缓存
  若盲目全量压缩(缓存命中归0): 月成本 $306.0 (降 66.0%)
  vs 只压动态部分: $245.0  -> 两者差 $61.0/月

======================================================================
五、路由 vs 缓存的'锁死'效应: 缓存压平价格后路由收益比不变
  Sonnet 4.5 缓存后有效输入价 $1.352/M; Haiku 4.5 $0.451/M
  价格比 0.333 (与未缓存时的 0.333 相同 -> 乘法杠杆可叠加)

======================================================================
六、语义缓存(应答级)独立收益: 命中即整次调用免费
  语义缓存命中率 20% -> 额外乘数 0.80; 叠加在[E]上: $196.0
  语义缓存命中率 30% -> 额外乘数 0.70; 叠加在[E]上: $171.5
  语义缓存命中率 50% -> 额外乘数 0.50; 叠加在[E]上: $122.5

======================================================================
七、平台开销(预算控制层): 不降单价, 加固定费+止损
  LiteLLM 自托管: ~$0 许可费(服务器自担); Helicone Pro ~$25-70/月; OpenRouter 通道费 5.5%
  [E]+LiteLLM 自托管(+$0/月): $245.0 (净降 72.8%)
  [E]+Helicone Pro 中档(+$50/月): $295.0 (净降 67.2%)

6.2 日度算例补算片段（修订时新增，当日实际运行核对）

# -*- coding: utf-8 -*-
# 日度算例（2.3）：客服 Agent，日均 100 万次调用，每次输入 20k / 输出 500 tokens
# 主模型 GPT-5.5 $5/$30；廉价 Flash 档 $0.25/$1.50（算例假设档位，恰为旗舰的 1/20）
# 符号与 2.2 统一：u/h/d_write/d_read/s/rho/r/beta/delta
PIN, POUT = 5.0, 30.0            # $/M，旗舰 GPT-5.5
NIN, NOUT = 20000.0, 500.0       # tokens/次
CALLS = 1_000_000.0              # 次/日
u, h = 1.0, 0.85                 # 客服输入取 u=1 简化；命中率 85%
d_write, d_read = 1.0, 0.1       # 免费写入档；读价 0.1x
s = 0.9                          # 压缩保留率
rho, r = 0.7, 0.05               # 70% 流量到 Flash 档（价格比 1/20）
beta, delta = 0.15, 0.5          # 批处理：15% 流量、五折

bare = NIN*PIN/1e6 + NOUT*POUT/1e6                 # 裸用单次
m_cache = (1-u) + u*((1-h)*d_write + h*d_read)     # 缓存输入乘数
m_comp = m_cache * s                                # 压缩后
flagship = m_comp*(NIN*PIN/1e6) + NOUT*POUT/1e6    # 旗舰单次
flash = flagship * r                                # Flash 档单次
mix = (1-rho)*flagship + rho*flash                  # 路由混合单次
m_batch = (1-beta) + beta*(1-delta)                 # 批处理乘数
single = mix * m_batch                              # 叠加后单次

print(f"裸用单次 ${bare:.4f}；全天 ${bare*CALLS:,.0f}")
print(f"缓存乘数 (1-h)*d_write+h*d_read = {m_cache:.3f}")
print(f"  -> x 压缩 s={s} = {m_comp:.4f}")
print(f"旗舰单次 ${flagship:.4f} | Flash 单次 ${flash:.4f} | 路由混合 ${mix:.4f}")
print(f"批处理乘数 (1-beta)+beta*(1-delta) = {m_batch:.3f}")
print(f"  -> 单次 ${single:.4f}；全天 ${single*CALLS:,.0f}；降幅 {1-single/bare:.1%}")

# 反证：若误把读折扣 0.1 当作批处理折扣 delta
m_batch_wrong = (1-beta) + beta*(1-0.1)
print(f"[反证] 若 delta=0.1: 批处理乘数 = {m_batch_wrong:.3f} -> 单次 ${mix*m_batch_wrong:.4f}（与正文 0.925->0.0112 不符）")

# 1h TTL 适用场景：同一前缀每小时被调用 k 次、调用间隔均 >5 分钟（5m 档每次都过期重写）
for k in (2, 3, 6):
    c1h = 2.0 + 0.1*(k-1)      # 1h 档：写一次 2x，其余读 0.1x
    c5m = 1.25 * k             # 5m 档：每轮重写 1.25x
    print(f"[1h TTL] 每小时调用 k={k}: 1h 档合计 {c1h:.2f}x vs 5m 档 {c5m:.2f}x -> {'1h 划算' if c1h < c5m else '5m 划算'}")
print(f"[1h TTL] 回本临界: k > (2-0.1)/(1.25-0.1) = {(2-0.1)/(1.25-0.1):.2f}")

当日实际运行输出（2026-10-31）：

裸用单次 $0.1150；全天 $115,000
缓存乘数 (1-h)*d_write+h*d_read = 0.235
  -> x 压缩 s=0.9 = 0.2115
旗舰单次 $0.0362 | Flash 单次 $0.0018 | 路由混合 $0.0121
批处理乘数 (1-beta)+beta*(1-delta) = 0.925
  -> 单次 $0.0112；全天 $11,202；降幅 90.3%
[反证] 若 delta=0.1: 批处理乘数 = 0.985 -> 单次 $0.0119（与正文 0.925->0.0112 不符）
[1h TTL] 每小时调用 k=2: 1h 档合计 2.10x vs 5m 档 2.50x -> 1h 划算
[1h TTL] 每小时调用 k=3: 1h 档合计 2.20x vs 5m 档 3.75x -> 1h 划算
[1h TTL] 每小时调用 k=6: 1h 档合计 2.50x vs 5m 档 7.50x -> 1h 划算
[1h TTL] 回本临界: k > (2-0.1)/(1.25-0.1) = 1.65

6.3 参数填写模板（代入自家流量复现 $900→$245 / $115,000→$11,200）

参数含义月度算例取值日度算例取值你的取值（填写处）估测方法
p_in / p_out主模型输入/输出单价（$/M）$3 / $15（Sonnet 4.5）$5 / $30（GPT-5.5）____当期官方定价页
N_in / N_out月（或日）输入/输出 token 量200M / 20M（月）20k / 500 × 100 万次（日）____usage 日志聚合
u输入中可缓存稳定前缀占比0.7≈1（取 1 简化）____2.2.1：前缀 diff 或遥测反推
h可缓存 token 命中率0.90.85____2.2.1：cache_read/(read+creation)
d_write缓存写溢价（倍）1.25（Anthropic 5m）1.0（免费写入档）____当期缓存定价表
d_read缓存读折扣（倍）0.10.1____当期缓存定价表
β可批处理流量占比（按 token）0.30.15____2.2.1：延迟容忍标签统计
δ批处理折扣0.50.5____三大家统一五折
ρ路由到廉价模型的流量占比0.60.7____2.2.1：灰度期路由器分流统计
r廉价/昂贵价格比1/3（Haiku 4.5 $1/$5）0.05（假设 Flash 档 $0.25/$1.50）____价目表相除
s压缩保留率0.5（2x 压缩，仅动态部分）0.9____2.2.1：抽样跑压缩器
h_sem语义缓存命中率（可选加项）0（未启用）0（未启用）____灰度实测，30–70% 为典型区间
平台固定费预算控制层订阅费$0–50/月—____网关价目

复算步骤：把"你的取值"列填好后替换 6.1/6.2 脚本头部的常量 → python -I 重跑 → 与下期实际账单逐项对账（缓存命中率、路由占比、批处理量都会与假设有偏差）→ 按 2.2.1 的校准闭环修正参数。注意三处易错点：① 各折扣是乘法链条，不能把各杠杆宣传的节省百分比直接相加；② 压缩只作用于缓存断点之后的动态部分，压缩稳定前缀会把情景从 E 变成 E′（每月多花 $61）；③ 区分 d_read/d_write（缓存）与 δ（批处理）三组符号，初稿的 −12.4% 与"δ=0.1"两处笔误均源于此。

*本报告为横纵综合最终稿（2026-10-31 按独立审读意见逐条修订）。撰写于 2026-10-31；两章全部 2026 年事实以当日网络检索为准，未核实处已逐条标注。*

思考题（读完后想一想，参考答案可展开）

  1. 报告提出的 LLM 成本工程五大杠杆是什么？为什么建议的采纳顺序是「预算控制→缓存→批处理→路由→压缩」？
    参考答案

    五大杠杆指厂商前缀缓存、批处理、模型路由、提示词压缩与预算控制。排序依据是风险调整后收益：预算控制不省钱、是核算前提，没有 usage 级遥测则其余杠杆的节省都无法验证；缓存与批处理属厂商让利、零质量风险；路由与压缩需自担质量风险并自建评测。基准 $900/月案例按缓存→批处理→路由→压缩叠加后降至 $245（−72.8%）。

  2. 同是缓存杠杆，Anthropic 与 OpenAI/Gemini/DeepSeek 的定价结构有何本质区别？为什么说「缓存永远划算」是伪命题？
    参考答案

    Anthropic 收写溢价（5m TTL 写 1.25×、1h TTL 写 2×），读价 0.1×，因此存在盈亏平衡线：5m 档命中率须超 21.7%、1h 档须超 52.6%，低于门槛反而亏钱；OpenAI/Gemini 隐式/DeepSeek 写入免费，命中即赚。可见缓存是否划算取决于厂商定价结构，选型第一问是核对写溢价与平衡线，并用自家流量实测命中率。

  3. 报告实证的「压缩破坏缓存前缀」交互陷阱是什么？路由与压缩这两个风险杠杆还各有哪些局限？
    参考答案

    对稳定前缀做压缩会让每次请求的前缀变「脏」、缓存命中归零——情景 E′ 比 E 每月多花 $61，正确做法是只压缩缓存断点之后的动态部分。路由的质量风险在五杠杆中最高，误路由直接伤回答质量，且 RouteLLM 的 85% 节省仅限 MT-Bench 型任务，MMLU 型只省 45%、GSM8K 型只省 35%；压缩对 Agent 工具调用极敏感，删错一个参数描述就是一次工具失败，厂商缓存降价还在挤压其收益空间。

  4. 个人开发者如何按报告建议「一天内拿走零风险收益」？对各种「省 85%/90%」的宣传数字应保持怎样的警惕？
    参考答案

    三步：①部署 LiteLLM（$0 许可费）或 Helicone 做预算计量，发虚拟键并设超支断流；②打开厂商缓存——OpenAI 零改动自动生效（读价至多一折），Anthropic 加 cache_control 并合并稳定前缀抬高复用次数；③把评测、回填等可延迟任务全部进 Batch API 享五折。宣传数字是特定基准上的上界，须代入报告的乘法公式、用自家流量参数核算出属于自己的数字。

← 资料库今日播报 →