研究报告 · 约 27,383 字 · 预计推送 3 部分

Prompt caching 与上下文复用：缓存命中、失效、隐私边界与成本收益（综合报告） 未开始

目录

题记与说明

课题：Prompt caching 与上下文复用——缓存命中、失效、隐私边界和成本收益
文档性质：纵轴 + 横轴综合报告最终稿，已按独立审读意见逐条修订；初稿见 drafts/2026-11-03-Prompt缓存与上下文复用-综合报告-draft.md（原样保留，未改动）
综合来源：parts/2026-11-03-Prompt缓存与上下文复用-vertical.md（纵轴）、parts/2026-11-03-Prompt-caching与上下文复用-横向对比-horizontal.md（横轴）
时间截面：2026-11-03
资料方法说明：两份源章节基于会话内实际执行的网络检索与官方文档读取完成（其中 Anthropic 与 OpenAI 官方文档为会话内直接读取全文核实），关键事实均附来源 URL。本综合稿沿用源章节的来源与可信度标注，"据检索结果""未经直接核对"等措辞原样保留；终稿修订阶段对存疑点做了补充复核，直接读取的来源见参考来源"终稿修订复核来源（新增）"。
修订说明（2026-11-03，按审读意见共 8 项）：①OpenAI 90% 折扣时间线矛盾——删除 2025-04 GA 条目处的"最高 90%"，90% 归位于 GPT-5 定价（2025-08-07），三处表述已对齐；②TTL 决策准则句重写为"间隔 <5 分钟 / 5 分钟-1 小时 / >1 小时"三分支；③命中判定全称断言收窄为逐家列明依据，并补 Gemini 与本地引擎口径；④2024-10 隐式缓存条目改为存疑标注——终稿复核读取所引博文全文，确认其并未回顾 2024-10 的 1.5 Flash 事件，故不再以该引用佐证；⑤横轴维度清单改写为与实际小节一一对应；⑥OpenAI"前 256 token 必然 miss"弱化为与官方"溢出降低命中率"表述一致；⑦"时间侧信用"改正为"时间侧信道"；⑧第三章末新增"价格速查表"与"命中率测量与提升方法"两节。未被质疑的内容原样保留，正文未缩短。

TL;DR

Prompt caching 缓存计算而非回答：跨请求复用预填充 KV cache，共享前缀只算一次，命中按 1-2 折计费、首 token 延迟大降。纵轴：2023 年学术起步，2024 年四大厂商产品化，2025 年 GA、隐式默认化、折扣 90%，2026 年转向可观测、可控与 24h 保留。横轴：命中约 1 折已成标准，但显式控制（Anthropic）与自动零配置（OpenAI/DeepSeek）并存；隐私是最薄一层——斯坦福审计发现 17 家中 7 家跨用户共享，OpenAI 24h 保留与 ZDR 冲突。收益取决于命中率，失效是最被低估的成本。建议：云上 Agent 显式缓存+静态前置，高 QPS 自动缓存+路由键，合规敏感自建。

一、纵轴：发展脉络

〇、技术底座（2017-2023）：KV cache 与系统化复用的学术先行

Prompt caching 的机制前提是 Transformer 自回归推理的 KV cache：2017 年架构确立后，每层注意力的 Key/Value 张量随序列缓存下来，解码只需增量计算；但"预填充整段 prompt 的代价与 prompt 长度成正比"这一事实，成为后来一切缓存复用研究的出发点。彼时 KV cache 只是单请求内部的实现细节，还不是跨请求的复用对象。

三项工程与学术突破铺平了道路：

一、产品化元年（2024 年 5 月-9 月）：四大厂商相继入场，"缓存折扣"成为定价维度

二、默认化（2024 年 10 月-2025 年初）：OpenAI 入场与 GA 浪潮

三、GA 与机制深化（2025）：折扣加深、TTL 延长、缓存感知基础设施

四、Agent 经济主战场（2025 年末-2026 年 10 月）：可观测、可控制、超长保留

纵轴小结：四段式演进的三条主线

  1. 机制先行（2017-2023）→ 产品化（2024）→ 默认化与 GA（2025）→ 可观测可控制（2026）。同一驱动因素贯穿始终：上下文越长、Agent 越常驻，重复预填充的浪费越大；缓存把这部分浪费变成定价表上的一行折扣。
  2. 定价结构收敛：全行业收敛到"命中 1-2 折、写有小溢价"的形态；折扣随代际加深（OpenAI 50%→90%→（据检索结果）GPT-6.1 的 95%），说明缓存命中已被当作近零边际成本来经营。
  3. 控制权的钟摆：从显式（Anthropic cache_control）到隐式（OpenAI/DeepSeek/Google），再随 GPT-6 显式断点+诊断回升、Gemini 4 反向收缩到隐式-only——两条路线各有拥趸，分歧点在"谁对命中率负责"。

二、横轴：横向对比（2026-11 时间截面）

对比维度与方法

正文按五个主维度展开：①缓存模式与控制粒度；②命中条件与失效机制；③成本结构；④隐私边界与合规；⑤生态与成熟度。在④与⑤之间另设两节补充视角——"本地推理 vs 托管 API"与"替代路线：语义缓存"——它们不在五维度清单内，作为横轴的补充判断独立成节；第六个维度⑥适用场景与选型不在本章单列，集中落在第三章"对用户的判断与建议"的选型表。市场上存在三类玩家：云 API 显式缓存（Anthropic、Gemini）、云 API 自动缓存（OpenAI、DeepSeek、Kimi）、本地推理引擎前缀缓存（vLLM、SGLang、llama.cpp），外加一条应用层替代路线语义缓存（GPTCache 类）。

总对比表

方案缓存模式读取折扣写入成本保留时间隔离/隐私声明
Anthropic Claude显式（cache_control，至多 4 断点）基础输入价 ×0.15 分钟 TTL ×1.25；1 小时 TTL ×2默认 5 分钟，命中免费续期；可选 1h组织间隔离，相同 prompt 也不共享
OpenAI GPT自动 + 可选 24h 扩展保留（2026 GPT-6 加显式断点）50%（2024）→最高 90%（GPT-5 起）无写入费内存 5-10 分钟、闲时最长 1h；扩展 24h不跨组织共享；扩展保留与 ZDR 不兼容
Google Gemini隐式（自动）+ 显式（cache 对象）；2026 起 Interactions API 与 Gemini 4 仅隐式口径不一：隐式"最高 75% 折扣"（API 文档）；Vertex 定价页口径为缓存 token 按标准价 10% 计——两者不一致，使用前以官方定价页复核显式缓存按存储时长计费显式默认 1 小时，可延长数天；隐式短期缓存作用域绑定项目/调用者
DeepSeek自动（磁盘缓存）命中价为未命中 1/10（$0.014 vs $0.14/M）无写入费磁盘缓存，数小时至数天"每个用户缓存相互隔离"（公告）；文档未单列细则
Kimi / Moonshot显式 + 自动，带 TTL 选项现行 kimi-k3 命中价为未命中 1/10；2024 公测期约 0.5 元/M（未命中 6 元/M）曾收存储费 5 元/M tokens/分钟（2024-08 降价后，据品玩报道）TTL 可选有最佳实践文档，未见隔离细则
AWS Bedrock显式（cachePoint）最高 90%小幅溢价约 5 分钟云账户/模型内隔离
vLLM（自建）自动前缀缓存（APC，块级哈希）免计算（省 prefill 算力与 GPU 时）显存占用LRU 驱逐；--prefix-cache-retention-interval 可调，调优后命中率实测 96-99%数据不出自有机房，边界=自己
SGLang（自建）RadixAttention（基数树）免计算，共享前缀负载有第三方称约 5x 加速显存占用radix 树 + 淘汰策略同上
llama.cpp（本地单机）会话级缓存免计算内存/磁盘文件进程内存活期；--prompt-cache 可存文件数据不出设备
语义缓存（GPTCache 等）应用层 embedding 相似度免一次完整调用向量库存储自定义自定义，但"近似命中"有语义漂移风险

（依据：各厂商官方公告与文档，链接见文末参考来源。Gemini 折扣两处口径矛盾系源章节各自引用不同文档所致，本稿如实并列；DeepSeek 定价两章节分别以美元/人民币表述，实为同一 1/10 事实，已统一。）

① 缓存模式与控制粒度：显式与自动是两条哲学路线

Anthropic 是显式派代表，控制粒度最细：通过 cache_control 块标记缓存断点，最多 4 个断点，系统默认按 tools → system → messages 层级顺序构建缓存键；文档还披露内部机制——缓存键是对之前所有 block 顺序哈希累积而成，命中检查从显式断点向前最多回看 20 个 block（Anthropic 官方文档，会话内直接读取核实）。

OpenAI 是全自动派：所有 ≥1024 token 的 prompt 自动参与缓存，无需代码改动、无额外费用，甚至没有手动清除缓存入口。开发者仅有的旋钮是 prompt_cache_key（影响路由亲和，官方建议单一前缀+key 组合保持在约 15 请求/分钟以内，否则溢出到其他机器降低命中率）和 prompt_cache_retention: "24h"（OpenAI 官方文档，会话内直接读取核实）。

Gemini 两头都占：既有隐式自动缓存，也有显式 cache 对象（create → reference → 查 usageMetadata），但 2026 年 Interactions API 与 Gemini 4 起显式路径被移除，控制力反而收缩（Gemini 缓存文档）。

DeepSeek 与 Kimi 走"自动为主"的轻控制路线：DeepSeek 2024 年 8 月上线即全自动、缓存落硬盘、零配置（DeepSeek 定价页）；Kimi 提供缓存 TTL 选择与最佳实践文档（Kimi 上下文缓存最佳实践）。

本地引擎中 SGLang 的 RadixAttention 理论上最优雅：基数树天然支持"最长公共前缀"匹配和分支复用，多篇第三方比较认为其在共享前缀负载上领先 vLLM（SGLang 与 vLLM 2026 对比）；vLLM APC 靠块级哈希+前缀感知调度实现，粒度到块而非树（vLLM cache 配置文档）；llama.cpp 最朴素，--prompt-cache FNAME 把 KV 状态存成文件供下次恢复，基本只面向单会话（node-llama-cpp issue #180）。

② 命中条件与失效机制：都以"前缀匹配"为底，失效各有坑

横轴覆盖的方案中，命中判定都以精确前缀匹配为底，但各家的表述与依据不同，逐家列明：Anthropic 文档原文"Cache hits require 100% identical prompt segments, including all text and images"；OpenAI 以 128 token 为增量匹配最长已缓存前缀（2024-10 公告）；DeepSeek 从第 0 个 token 起按 64 token 粒度匹配（缓存指南）；Kimi 按重复前缀做缓存与计费（官方最佳实践；其文档未使用"100% 精确"的原文表述）；Gemini 官方口径是"请求与此前请求共享公共前缀即可能命中"，并建议把大块稳定内容放开头、短时间内发送相似前缀请求——文档未使用"100% 精确"表述，命中 token 数经 usage.total_cached_tokens 回传（Gemini 缓存文档，2026-10-23 版，终稿修订时读取全文）；本地引擎中 vLLM APC 为块级哈希前缀匹配、SGLang 基数树匹配任意公共 token 前缀（arXiv 2312.07104）、llama.cpp 依赖 token 级前缀稳定（见下文失效清单）——初稿清单漏列了 Gemini 与本地引擎，此处一并列明。唯一例外是语义缓存：按 embedding 相似度近似匹配（见后文"替代路线"一节）。共同含义：前缀任何位置的变更会级联失效其后所有内容。各家失效行为差异：

一个 2026 年值得记录的现实案例：Claude Code 的缓存 TTL 被社区发现从 1 小时静默回退为 5 分钟，人机交互间隔常超 5 分钟导致反复全价重写，有用户估算成本上升 30-60%（claude-code issue #46829、dev.to 分析）。这说明 TTL 与工作节律的匹配是缓存失效里最容易被忽视、对成本影响最直接的一项。

③ 成本结构：写入溢价、读取折扣、限流口径三家各不同

成本项AnthropicOpenAIGeminiDeepSeek
缓存写入5m TTL 加价 25%；1h TTL 加价 100%免费显式缓存收存储费免费
缓存读取基础价 ×0.1（如 Sonnet 4.5：$0.30/M vs $3/M；Opus 4.5 读 $0.50/M vs 输入 $5/M）官方称最高省 90%；2024 上线时为 50%口径见总表脚注命中价 1/10
对限流的影响命中不计入 rate limit（官方列为 1h 缓存优点）计入 TPM（FAQ 明确 caching 不影响 rate limits 口径）——

成本收益的通用算术：设前缀长 P token、重复次数 N，云 API 下总成本 ≈ N×P×读取折扣价 + 1×P×写入价（+ TTL 到期重写次数×P×写入价）。写入溢价意味着低重复率场景缓存反而更贵——Anthropic 1h TTL 加价 100%，若缓存只被读 1-2 次就过期，净亏。官方文档的判断准则（意译，按审读意见重写为三分支）：调用间隔不足 5 分钟，留在 5 分钟缓存即可——每次命中都会免费续期；间隔在 5 分钟到 1 小时之间，才值得为 1h 缓存付双倍写入价；间隔超过 1 小时，两档 TTL 都不划算（Anthropic 官方文档 1-hour cache 一节）。

厂商宣称与真实折扣：官方宣称方面，Anthropic -90% 成本/-85% 延迟（博客）；OpenAI 文档称输入成本最高降 90%、延迟最高降 80%（文档）；DeepSeek 128K prompt 首响 13s→500ms（公告）；Kimi 2024 年公测宣传成本最高降 90%、首 token 延迟降 83%（品玩报道）。但真实折扣取决于命中率：第三方分析指出"launch 宣传的 90%"在真实 Agent 循环中受命中窗、写放大与失效影响，逐次命中的实际降幅多在 41-80% 区间（beri.net 分析（2026），据检索结果）；社区实测 DeepSeek 早期真实命中率可达 87% 上下（Reddit 讨论）。

Agent 侧账本：GPT-6 公告引用的客户数据（Copilot 新鲜 token -50%+、命中率 83%→91%、推理成本 -36%）表明头部 Agent 产品已把缓存命中率当作核心运营指标（公告）；本地侧 llm-d 报告 KV 感知调度带来最高 57 倍 TTFT 改善与 2 倍吞吐（博客）。

本地推理的成本账完全不同：没有计费折扣，收益体现为 GPU 时节省——省掉重复 prefill 的算力和 TTFT 延迟，代价是 KV 缓存常驻显存挤占并发容量（vllm-ascend issue #20531）。自建还有跨实例难题：缓存绑定单机内存，负载均衡一打散命中率就崩，llm-d 这类项目正在做跨实例 P2P KV 共享来补这一层（llm-d P2P KV-Cache Sharing）。

④ 隐私边界：隔离承诺、审计发现与攻击面

第一层：官方隔离声明明确但有边界。 Anthropic 文档原文："Caches are isolated between organizations. Different organizations never share caches, even if they use identical prompts."（缓存按组织隔离，相同 prompt 也绝不共享）。OpenAI FAQ 同样承诺"Prompt caches are not shared between organizations. Only members of the same organization can access caches of identical prompts."（两家均为会话内读取官方文档核实）。DeepSeek 公告声明用户间缓存互不可见（公告）。

第二层：独立审计揭示承诺与现实的差距。 斯坦福团队《Auditing Prompt Caching in Language Model APIs》（arXiv 2502.07776，ICML 2025）用统计时序方法审计 17 家供应商、22 个模型 API，发现其中 7 家存在跨用户的全局缓存共享——若属实，意味着同一供应商的其他客户可能通过时间侧信道探测你是否发送过某段文本（MarkTechPost 报道）；社区随之出现 cacheprobe 等开源审计工具（GitHub）。NDSS 2025 论文《I Know What You Asked: Prompt Leakage via KV-Cache Sharing in Multi-Tenant LLM Serving》（论文 PDF）进一步证明：共享 KV cache 的多租户推理框架中，攻击者可借助缓存驱逐与计时侧信道重建其他用户的私有 prompt。检索结果另显示 2025-2026 年间存在多篇计时侧信道提取与 KV cache 反演方向的后续研究，此方向仍是活跃攻击面（据检索结果，未逐一核对原文）。

第三层：扩展保留与合规承诺的冲突。 OpenAI 明确说明：内存内缓存的请求符合零数据保留（ZDR）资格；但一旦指定 24h 扩展保留，KV 张量会 offload 到 GPU 本地存储，因 KV 张量派生自客户内容，该请求不再视为 ZDR 合格——且不会被阻止。这是目前主流厂商文档里对"缓存数据=派生数据"最直白的一次承认，也是选择 24h 保留时必须过的合规检查项（OpenAI 官方文档 FAQ）。

第四层：多租户边界的现实模糊性。 Azure OpenAI 的微软问答帖里，用户追问多租户下 prompt 缓存是否会跨租户泄露，微软支持人员只给出"数据隔离、加密、访问控制、审计日志"的泛化表述并引用官方文档，但提问者指出该文档并没有这些细节，支持方也未能给出缓存命中按租户作用域划分的具体架构说明（Microsoft Learn 问答）。这提示：官方声明止步于"组织隔离"，缓存键粒度、机器亲和路由（OpenAI 前 256 token 哈希路由意味着同前缀请求聚到同一台物理机）这类实现细节与隐私承诺之间的推理链条，文档并未闭合。

本地推理的隐私账：数据不出自有机房/设备，缓存作用域即物理作用域，天然规避上述全部问题；代价是隐私责任转为本地运维——llama.cpp 的 --prompt-cache 文件、llama-server 内存中的 KV 状态都包含明文上下文的派生数据，本地磁盘缓存文件的访问权限成为新的边界。对医疗、法务、金融等场景，这是本地路线的决定性优势；对需要弹性算力的团队，则要用组织隔离 + 关闭扩展保留来逼近等效边界。

隐私小结：行业共识是"组织内共享、组织间隔离"，但共享范围越激进（全局缓存池、聚合器网关），侧信道面越大；缓存命中的经济学收益与跨租户隔离的严格程度之间存在真实张力。

补充视角 A：本地推理 vs 托管 API：两套问题定义

维度托管 API（Anthropic/OpenAI/Google/DeepSeek/Bedrock）本地/自托管（vLLM、SGLang、llama.cpp、LMCache、Mooncake）
控制粒度2024 年普遍隐式或单断点；2026 年 GPT-6 提供显式断点+诊断全栈可控：SGLang 基数树自动管理任意前缀；vLLM 块级哈希 APC；可改源码
持久性TTL 由厂商决定（5 分钟-24 小时），且可能静默变更（Claude Code 案例）由自己决定：LMCache/Mooncake 把 KV 卸到内存/SSD/S3，可跨请求甚至跨节点复用
成本模型写溢价+读折扣，命中率决定账单无"缓存账单"，但消耗显存/内存/SSD；命中率折算成吞吐与 TTFT 收益
隐私依赖厂商隔离承诺与合规条款数据不出域；但多租户自托管同样面临共享 KV cache 旁路风险（NDSS 2025）
调度前缀哈希路由由厂商完成（prompt_cache_key 可辅助）需自建 cache-aware 路由：Ray Serve、KubeAI、llm-d、Mooncake 全局调度器
一致性厂商承诺缓存不影响输出vLLM 曾报告 APC 开启时首/后续请求输出不一致的缺陷（issue #40896，据检索结果）

一句话概括：API 把缓存做成"计费与合规问题"，本地把缓存做成"系统工程问题"——前者你为命中率付钱或省钱，后者你为命中率规划显存与调度。

补充视角 B：替代路线——语义缓存为何成不了主流

GPTCache 一类应用层语义缓存用 embedding 相似度匹配"意思相近的问题"直接返回历史回答，命中率上限远高于精确前缀匹配（GPTCache 论文、语义缓存原理解析）。但它与 prompt caching 是不同层的两件事：prompt caching 缓存计算（输出与不缓存完全一致，Anthropic/OpenAI 官方都承诺不影响生成结果），语义缓存缓存回答（相似≠等价，阈值调不好会误命中，指令类/代码类/长上下文任务基本不可用）。实践中语义缓存只适合高重复率的 FAQ/客服，且必须与精确缓存分层叠加，而非替代。

⑤ 生态与成熟度

三、交叉洞察：两轴结合说明了什么

洞察一：折扣率竞赛已经到头，竞争转向"命中率经营"

纵轴显示折扣从 50%（2024）一路加深到 90%（2025）再到约 95%（2026，未核对）；横轴则显示"命中约 1 折"已是所有玩家的标配底线。两轴结合说明：折扣率作为竞争维度已经饱和——缓存命中对厂商而言接近零边际成本，再降没有空间；下一步的差异化在纵轴第四阶段已经显形——GPT-6 的诊断工具与显式断点、Anthropic 的失效矩阵文档，本质都是把"命中率"从黑盒变成开发者可经营的运营指标。对用户而言，2026 年选型的重点不再是"折扣多少"，而是"我能把命中率做到多少、miss 的原因我能不能看见"。

洞察二：控制权钟摆的背后是"谁对命中率负责"

纵轴呈现出清晰的钟摆：显式（Anthropic 2024）→ 隐式默认（OpenAI/DeepSeek/Google 2024-2025）→ 显式回归（GPT-6 2026）与隐式收缩（Gemini 4 2026）。横轴解释了钟摆为何摆动：隐式缓存对存量应用零改造，但把命中率的责任完全推给厂商的路由系统（前 256 token 哈希、机器亲和）；显式缓存把控制权交还开发者，代价是开发者必须理解断点、TTL、失效矩阵。Claude Code 的 TTL 回退案例（1h→5m，成本 +30-60%）暴露了隐式/厂商侧配置的系统性风险——你的成本可能因厂商一次静默变更而失控。两条路线的分歧点不在技术优劣，而在责任分配：显式派让开发者对命中率负责，隐式派让厂商对命中率负责。

洞察三：隐私边界的张力是结构性的，不是执行疏漏

横轴发现隐私是"文档最薄的一层"，纵轴则解释了为什么：缓存命中的经济学要求聚合，隔离承诺要求分散。OpenAI 的前 256 token 哈希路由把同前缀请求聚到同一台物理机——这是命中率的来源，也正是斯坦福审计所发现的时间侧信道的物理基础；24h 扩展保留把 KV 张量卸载到 GPU 本地存储——这是 Agent 间歇性使用模式的解药，也正是它与 ZDR 冲突的原因。换言之，侧信道风险与 ZDR 冲突不是可以"修复"的 bug，而是缓存经济学的固有代价。NDSS 2025 的多租户 KV 旁路攻击进一步说明：这条代价曲线连自托管世界也躲不开——只要共享 KV cache，就有侧信道。用户能做的是在收益与边界之间做显式选择，而不是假设默认配置安全。

洞察四：本地与 API 正在互相吸收，分水岭只剩"数据边界"

纵轴第四阶段与横轴生态对比共同显示两条曲线在合流：API 厂商在把本地系统研究的成果（radix tree、分层缓存、cache-aware 路由、prewarming）吸收进产品（GPT-6 的显式断点与预热即是一例）；本地侧则在把 API 的可观测性（命中率仪表盘、失效原因诊断）搬回开源栈（vLLM retention 调优、llm-d 的 P2P KV 共享）。扣除之后，云与本地的真实分水岭只剩两条：数据物理边界（合规敏感场景的自建决定性理由）与运维复杂度（自建的持续性代价）。"本地更省钱"是个伪命题——自建省的是 GPU 时，付出的是路由、容量规划与失效运维。

对用户的判断与建议

场景选型（综合横轴选型表与纵轴演进方向，即维度⑥的落点）：

场景推荐理由
云上 Agent/编程助手（多轮、长系统提示）Anthropic 显式缓存，静态内容前置 + 断点收尾控制粒度最细，命中不计入限流；密切监控 5 分钟 TTL 与交互节律（Claude Code 教训）
高 QPS 共享前缀服务OpenAI 自动缓存 + prompt_cache_key零改造、无写入费；如需 ZDR 则不要开 24h 扩展保留
成本敏感中文批量任务DeepSeek / Kimi1/10 命中价、零配置
合规敏感/数据不出域vLLM APC 或 SGLang 自建缓存边界=物理边界；必须做前缀感知路由与容量规划，多租户共享 KV 需评估侧信道风险
个人本地使用llama.cpp/Ollama 会话缓存免费省等待，数据不出设备
高重复 FAQ精确缓存 + 语义缓存分层语义缓存只做兜底，精确命中优先

工程纪律清单（两章反复出现的失效教训）：

  1. 静态前置、动态后置：系统提示、工具定义、长文档放前缀，易变内容放尾部——前缀任何位置变更级联失效其后所有内容。
  2. 工具定义冻结：工具定义是失效敏感度最高的层级（Anthropic 矩阵中它失效即全失效，GPT-6 诊断的头号原因即 tools_changed）。
  3. 监控 usage 回传的命中 token 数：cached_tokens / cache_read_input_tokens 是免费的命中率仪表盘，别等账单才发现问题。
  4. TTL 与使用节律匹配：交互间隔常超 5 分钟的 Human-in-the-loop 场景，优先评估 1h TTL 的写溢价是否划算，并警惕厂商静默变更。
  5. 序列化稳定性：固定 JSON key 顺序（Swift/Go 等语言默认随机化会打断缓存）。
  6. 隐私检查项：确认供应商隔离声明 → 需 ZDR 则关闭扩展保留 → 多租户自建评估 KV 共享旁路 → 本地缓存文件纳入访问控制。

当前时点价格速查表（2026-11，收拢正文散落数字）

"折扣是行业给的"——具体给了多少，正文各处的单价在此收拢成一张表。以下数字全部来自本稿前文，未新增未核对数字；"未经直接核对"者沿用原标注。GPT-6（2026-09-22）公告未披露新的单价数字（以客户命中率数据为主），故不列行。

方案/模型输入价缓存写价缓存读价口径备注
Anthropic Opus 4.5$5/M（输出 $25/M）5 分钟 TTL $6.25/M；1 小时 TTL $10/M$0.50/M（输入的 1/10）纵轴 2025-11-24 条目
Anthropic Sonnet 4.5$3/M正文未单列（可按官方倍率折算：5 分钟 ×1.25、1 小时 ×2）$0.30/M（输入的 1/10）横轴成本结构表
OpenAI GPT-4o（2024 上线时）$2.50/M免费$1.25/M（5 折）纵轴 2024-10-01 条目
OpenAI GPT-5$1.25/M（输出 $10/M）免费$0.125/M（1 折）纵轴 2025-08-07 条目
OpenAI GPT-6.1 Sol正文未单列免费低至 $0.10/M（约 95% 折扣；未经直接核对）纵轴 Gemini 线条目末（据检索结果）
Google Gemini（隐式）——最高 75% 折扣（API 文档）；Vertex 定价页口径为标准价 10%——两口径不一致，使用前以官方定价页复核总对比表
Google Gemini（显式）—按存储时长计费同上口径总对比表
DeepSeek$0.14/M免费$0.014/M（未命中的 1/10）纵轴 2024-08-02 条目
Kimi（现行 kimi-k3）正文未单列未命中价2024 公测期曾收存储费 5 元/M tokens/分钟（2024-08 降价后，据品玩报道）命中价 = 未命中的 1/10（2024 公测：约 0.5 元/M，未命中 6 元/M）总对比表
AWS Bedrock—小幅溢价最高 90% 折扣总对比表；TTL 约 5 分钟
本地推理（vLLM/SGLang/llama.cpp）无计费显存/内存占用免计算（省 prefill 算力与 GPU 时）总对比表 + 本地成本段

命中率：怎么测、怎么提（收拢正文散落方法）

"命中率是自己挣的"——挣法如下。本节为终稿新增的收拢性整理：字段与厂商口径均来自正文引用的官方文档，命中率统计口径为编辑建议，跨厂商对齐前请以各家现行 usage 文档复核。

怎么测：

  1. 数据源就是 usage 回传：OpenAI cached_tokens、Anthropic cache_read_input_tokens、Gemini usage.total_cached_tokens（现行 Gemini 文档口径，终稿修订时读取；2025-05 博文期称 cached_content_token_count，字段名以现行文档为准）。
  2. 建议统计口径：命中率 = 缓存读 token 数 ÷ 总输入 token 数，按模型与前缀分组做日汇总；注意各家 usage 字段分列方式不同（命中 token 是否计入总输入），跨厂商对比前先对齐口径。
  3. 厂商侧现成观测：GPT-6 起 OpenAI 提供 Prompt Caching 仪表盘与诊断工具，可直接看命中率与未命中原因（如 tools_changed）；Anthropic 的 cache_read_input_tokens 配合账单即可核算。
  4. 外部基准线：第三方分析估计真实 Agent 循环的逐次实际降幅多在 41-80%（beri.net，据检索结果）；社区实测 DeepSeek 早期命中率约 87%、vLLM retention 调优后 96-99%、GPT-6 客户案例 83%→91%——可用作自评参照。

怎么提（对应上文工程纪律清单的操作化）：

  1. 结构：静态前置、动态后置——前缀任何位置变更级联失效其后所有内容。
  2. 工具定义冻结：它是失效敏感度最高的层级（Anthropic 矩阵：工具定义变更即整条失效；GPT-6 诊断头号原因即 tools_changed）。
  3. TTL 对节律：间隔不足 5 分钟留在 5 分钟档（命中免费续期）；间隔在 5 分钟到 1 小时之间，评估 1h TTL 双倍写价是否划算；超过 1 小时不划算（Human-in-the-loop 场景重点检查，警惕厂商静默变更）。
  4. OpenAI 专项：prompt_cache_key 亲和 + 单一前缀+key 组合控制在约 15 请求/分钟以内，避免溢出到其他机器；GPT-6 后可用显式断点与预热（prewarming）主动保命中。
  5. Gemini 专项：官方建议大块稳定内容放 prompt 开头、短时间内发送相似前缀请求以提高隐式命中（Gemini 缓存文档）。
  6. 序列化稳定：固定 JSON key 顺序（Swift/Go 等语言默认随机化会打断缓存）。
  7. 自建专项：cache-aware 路由（Ray Serve / KubeAI / llm-d / Mooncake 全局调度）+ 容量规划 + vLLM --prefix-cache-retention-interval 调优。
  8. 闭环：usage 命中数 → 账单核对 → 未命中原因诊断，形成每日常规。

一句话结论：Prompt caching 已经从"要不要开"变成"如何经营"——折扣是行业给的，命中率是自己挣的，边界是要自己画的。

四、参考来源

官方文档与公告（部分为源章节会话内直接读取核实）

学术论文

本地推理栈

失效案例、成本分析与第三方比价

终稿修订复核来源（新增，2026-11-03 修订时读取）

源章节

思考题（读完后想一想，参考答案可展开）

  1. Prompt caching 缓存的到底是什么？为什么原文说“收益取决于命中率，失效是最被低估的成本”？
    参考答案

    Prompt caching 缓存计算而非回答：跨请求复用预填充 KV cache，共享前缀只算一次，命中按 1-2 折计费、延迟大降。但收益有条件：写入溢价使低重复率场景更贵，Anthropic 1 小时 TTL 写价加价 100%，只读 1-2 次即净亏；真实 Agent 循环降幅多在 41-80%。故收益取决于命中率，失效是最被低估的成本——前缀任一处变更即级联失效其后内容。

  2. 显式缓存与自动缓存两条路线各有什么取舍？原文认为分歧点在哪里？
    参考答案

    显式派以 Anthropic 为代表：cache_control 最多 4 个断点，粒度最细、命中不计入限流，代价是开发者须自行理解断点、TTL 与失效矩阵。自动派以 OpenAI 为代表：≥1024 token 零改造生效、无写入费，而把命中率责任交给厂商路由（前 256 token 哈希定机器亲和）。故分歧不在技术优劣，而在谁对命中率负责。

  3. 原文揭示了哪些隐私与合规风险？为什么说这些风险是结构性的？
    参考答案

    隐私是文档最薄的一层，张力是结构性的：缓存经济学要求聚合，隔离承诺要求分散。斯坦福审计 17 家供应商、22 个模型 API，发现 7 家跨用户共享全局缓存，可借时间侧信道探测；NDSS 2025 证明共享 KV cache 的多租户框架中可借驱逐与计时重建他人 prompt。OpenAI 的 24h 保留因 KV 张量派生自客户内容而不符合 ZDR。故这是固有代价，非可修复的 bug。

  4. 对个人开发者，原文给出了哪些可直接落地的行动建议？
    参考答案

    按原文工程纪律清单：①静态前置、动态后置，系统提示与工具定义放前缀；②工具定义冻结，它是失效敏感度最高层级，GPT-6 诊断头号原因即 tools_changed；③用 usage 回传的 cached_tokens 当免费命中率仪表盘；④TTL 对节律：间隔不足 5 分钟留在 5 分钟档，5 分钟到 1 小时才值得付双倍写价，超 1 小时两档都不划算；⑤固定 JSON key 顺序。

← 资料库今日播报 →