题记与说明
课题：可观测性三件套：日志、指标、分布式追踪在 AI 应用中的落地
报告性质：横纵综合报告（最终稿）。本文为分析与选型判断报告，不展开完整操作手册；最小落地路径（插桩示例与按自家流量的测算步骤）见 3.7。
综合来源：由纵轴章节与横轴章节综合而成——
- 纵轴章节：《可观测性三件套在 AI 应用中的落地：从诞生到当下（2010–2026）》，文件路径D:/CodexData/nightshift/output/reports/parts/2026-10-31-可观测性三件套在AI应用中的落地-vertical.md
- 横轴章节：《可观测性三件套（日志、指标、分布式追踪）在 AI 应用中的落地——横向对比报告》，文件路径D:/CodexData/nightshift/output/reports/parts/2026-10-31-可观测性三件套-日志-指标-分布式追踪-horizontal.md
综合日期：2026-10-31（同日按独立审读意见逐条修订为最终稿）
信息可靠度说明：横轴章节对 OpenTelemetry GenAI 语义约定仓库原文（curl 抓取gen-ai-metrics.md、gen-ai-token-metrics.md、gen-ai-spans.md、README.md）、SigNoz 对比页、LangSmith 官方定价页、Helicone 官方定价页为一手核验；其余定价、收购等数字来自检索摘要，属二手来源，凡引用处均已标注，并在参考来源前附"未核验数字清单"。数字沿用两章节当时的核验状态，不新增未经确认的事实；修订过程中仅对审读意见点名的内容做了补充检索与链接补注（见"修订期补充核验"小节与未核验清单）。
用语约定：本文中"纵轴"指第一章、"横轴"指第二章；"纵轴章节/横轴章节"专指上面列出的两份原始章节文件。凡涉及核验过程的出处性说明，统一措辞为"核验记录见两章节原文"。
TL;DR
可观测性三件套（日志、指标、分布式追踪）在微服务时代用近十年完成标准化（2010–2019），2023 年起被 AI 负载重做一遍：计费单位从"请求"变成 token，观测对象从"请求—响应"变成每一次 LLM 调用与 agent 轨迹，核心指标从 QPS/P99 变成 token 用量、首 token 延迟（TTFT）、失败率与单位成本。2026 年 10 月的截面上，市场分化为五个流派：AI 原生 LLM 工程平台、APM 巨头延伸、OTel 原生/自建、LLM 网关内嵌、纯自建；OpenTelemetry GenAI 语义约定虽仍处 Development 状态，却已是五流派共同的数据底座。两轴交叉给出四条硬判断：其一，计费单位决定观测单位，且在 agent 场景 span 膨胀的工作假设下（见 2.7 备注），观测自身的账单可能反超被观测对象（按 span 计费的 LLM 观测单价约为普通 APM 索引 span 的 200–440 倍：$350–750/百万 ÷ $1.70/百万 ≈ 206–441，两个单价均为二手来源，见未核验清单第 1、13 条）；其二，失败已分裂为工程失败与质量失败双轨，评测事实上成为"第四件套"；其三，Langfuse 换用 ClickHouse 后被 ClickHouse 收购，说明存储引擎与 OTel 管线才是收购方要的资产；其四，唯一两头押中的选型，是把 OTel GenAI 约定当作插桩层默认格式。
一、纵轴：发展脉络（2010–2026）
回望这十六年，可观测性的故事分两幕：第一幕发生在微服务世界，三件套从各自为政走向统一采集与统一语义；第二幕发生在 2023 年之后，AI 负载把已经定型的观测体系按 token、延迟、失败率、成本四条线重写了一遍。本章按六个阶段展开，四条观测主线——token、延迟、失败率、成本——贯穿始终。
阶段〇：前史——三件套在微服务世界成形（2010–2019）
- 2010：Google 发表 Dapper 论文，奠定大规模分布式追踪范式（span 树、注解、采样），是此后所有 tracing 系统的原点（Dapper 论文页）。
- 2012：Twitter 开源 Zipkin，Dapper 思想第一次大规模走出 Google（zipkin.io）；同期 SoundCloud 发起 Prometheus，2016 年加入 CNCF 并毕业，为云原生指标确立"多维标签 + PromQL"标准。
- 2017：Uber 开源 Jaeger，把分布式追踪带入云原生主流（jaegertracing.io）。
- 2016–2019：Honeycomb 的 Charity Majors 等人把"observability"从控制论搬进运维话语，"日志、指标、追踪三支柱"的说法定型，同时也引来著名批评——三者只是遥测原材料，真正的可观测性是"不发新代码就能回答任意未知问题"（Kill The Three Pillars Of Observability）。
- 2019 年 5 月：OpenTracing 与 OpenCensus 合并为 OpenTelemetry，进入 CNCF sandbox，三件套的采集层从此走向统一（Google 开源博客公告）。
驱动因素：微服务化让一次请求穿越几十个服务，日志/指标/追踪各自为政的成本难以为继，"统一采集、统一语义"是本阶段主题。此时无人谈论 token——规模化按 token 计价的 AI 负载尚不存在；指标的核心词汇是 QPS 与 P99，失败的定义是 5xx 与超时。
阶段一：孕育——按 token 计价的 API 埋下四条线（2020–2022.11）
- 2020 年 6 月 11 日：OpenAI 推出 GPT-3 API，成为第一个按 token 计价的规模化商业化模型 API。beta 期采用"月费 + 超额按千 token 计价"（Create 计划 $100/月含 200 万 token、超出约 $0.08/千 token；Build 计划 $400/月含 1000 万 token、约 $0.06/千 token，数字源自 2020 年当年的媒体报道存档，见 Synced 报道、BD Tech Talks（修订期补核验，两文数字一致）；OpenAI 现行定价文档 仅反映当下价格，与 2020 年 beta 定价无关）。token 自此成为计费与观测的基本单位。
- API 响应中的
usage字段（prompt/completion tokens）把"每次调用的 token 用量"变成可直接落日志的结构化数据——这是后来一切 token 观测的原始接口。 - 同期：面向传统 ML 的"模型可观测性"（数据漂移、质量监控）品类先行，Arize、WhyLabs 等公司于 2020 年前后成立，为"模型也需要观测"完成观念铺垫（背景概述，日期为约数）。
- 2022 年：OpenAI 年内继续降价（旗舰档降至约 $0.02/千 token 一带）；10 月 Harrison Chase 开源 LangChain（GitHub），chain/callbacks 的执行结构埋下"LLM 应用也需要 trace"的种子。
- 2022 年 11 月 30 日：ChatGPT 上线（OpenAI 博客），AI 从"调用一次 API"变成"把模型嵌进产品"，生产化压力全面到来。
驱动因素：计费单位变了。APM 世界按请求数/主机数计，AI 世界按 token 计——开发者必须精确回答"这条功能每天烧多少 token、每个用户摊多少钱"，而传统 APM 没有这个口径。
阶段二：爆发——ChatGPT API 冲击波与"LLM 可观测性工具元年"（2023）
3 月 1 日，OpenAI 推出 ChatGPT 同款 API gpt-3.5-turbo，定价 $0.002/千 token，较此前便宜约 10 倍（Introducing ChatGPT and Whisper APIs）。成本骤降叠加现象级需求，四条观测线同年全部被引爆：
- 成本与 token：代理型工具最先出现。Helicone（YC W23）以"open-source logging for OpenAI"在 Hacker News 发布，用一行代理 URL 换取逐请求日志与成本记录；Langfuse（YC W23，柏林）年中以"Product Analytics for LLM Apps"上线，随后转向完整 LLM 工程平台（官方大事记）。
- 延迟：自建推理侧，UC Berkeley 的 vLLM 于 6 月 20 日发布，以 PagedAttention 实现高吞吐，并原生暴露 Prometheus 指标——
vllm:time_to_first_token_seconds（TTFT）、ITL 等（发布博文、指标文档）。流式聊天的 p95 TTFT 控制在数百毫秒内才有"跟手"体验——这是社区实践中的参考线（Grafana vLLM 监控看板），属实践参考而非业界共识性标准。 - 失败率：全行业共用少数几家 API，429 限流、超时、上下文超长报错成为一类新的生产事故；重试、指数退避、多供应商回退进入应用代码，"调用失败"第一次有了独立于传统 5xx 的观测语义。
- 追踪：LangChain 社区对"黑盒 chain 里到底发生了什么"的呼声催生官方平台——7 月 18 日 LangSmith 宣布并开启封闭 beta（Announcing LangSmith）；6 月 Datadog 在 DASH 2023 大会宣布 LLM Observability beta，把 prompt/响应观测装进传统 APM（DASH 2023 功能汇总）。下半年开源侧密集发布：Arize 推出 Phoenix 并提出 OpenInference 追踪规范（10 月已被 LlamaIndex 集成，规范仓库）；Traceloop 发布 OpenLLMetry，把 LLM 厂商 SDK 做成 OTel 自动插桩（发布博文、GitHub）。
- 传统 APM 入场：11 月，New Relic 发布 AI Monitoring（AIM），自称"业界第一个 AI 的 APM"，深度集成 Amazon Bedrock（报道）。
主要参与者：创业侧 LangChain、Arize、Traceloop、Langfuse、Helicone；APM 侧 Datadog、New Relic；推理侧 UC Berkeley/vLLM。驱动因素：token 账单、黑盒调试需求、限流失败三者叠加，且所有人都意识到——没有通用 schema 的 trace 无法跨工具流动。
阶段三：标准化——开源与商业合流，语义约定登场（2024）
- 2 月 15 日：LangSmith GA。官方披露仅 2024 年 1 月 beta 期间就记录了超 4000 万条 trace（Announcing the General Availability of LangSmith）——"追踪 LLM 应用"已从可选项变成默认动作。
- 4 月 26 日：Langfuse 首届 Launch Week 收官发布 2.0，定位升级为"The AI Engineering Platform"，补齐评测与数据集（Launch Week #1、官方大事记）。
- 6 月：MLOps 与 APM 同时补课。MLflow 2.14.0（6 月 17 日）引入 MLflow Tracing，一行 autolog 为 OpenAI/LangChain 加上 trace（发布页、官方博客）；Datadog LLM Observability 于 6 月 26 日 GA（新闻稿）。
- 标准侧：OpenTelemetry 社区在 OpenLLMetry 等实践影响下起草 GenAI 语义约定，
gen_ai.*属性家族成形（gen_ai.request.model、gen_ai.usage.input_tokens/output_tokens等），并定义两个核心客户端指标：gen_ai.client.operation.duration（调用延迟直方图）与gen_ai.client.token.usage（token 用量直方图，按gen_ai.token.type拆分输入/输出）（官方规范、OpenObserve 解读）。token 与延迟两大观测对象第一次有了厂商中立的定义；随后该约定迁入独立仓库 open-telemetry/semantic-conventions-genai。 - 成本线：OpenAI 于 2023 年 6 月、2024 年 1 月连续降价（GPT-3.5 Turbo 输入价 2024 年 1 月再降 50% 至 $0.0005/千 token，见 AI Business 报道），价格战使"多模型比价"成为日常运维；LiteLLM 代理的逐 key/用户/团队预算与花费统计、OpenRouter 用量分析，让"网关即成本观测点"成为事实模式。
- 失败率线：评测（evals）从离线评测集扩展为在线质量监控，幻觉率、拒答率开始以指标形式进入看板；Dynatrace 等厂商陆续发布 GenAI 指标参考（Dynatrace AI Observability 指标参考）。
驱动因素：采用量过临界点后，孤立工具的 lock-in 成为主要矛盾；功能互相追平之后，竞争焦点转向"数据能不能不锁死在单一厂商"。
阶段四：Agent 化——从"一次调用"到"一段轨迹"（2025）
- OTel 语义约定向 agent 延伸：
invoke_agent、execute_tool等操作名进入 GenAI 约定，agent 会话、工具调用、子 agent 图谱成为一等 span 类型（GenAI 规范）。 - 6 月 10 日：Datadog 推出面向 Agentic AI 的监控能力，随后将产品线更名"Agent Observability"（产品页），按 LLM span 计价（数字见本文 2.7 的成本测算，二手来源）。
- 7 月：AWS 推出 Amazon Bedrock AgentCore 预览版，把"OpenTelemetry 兼容追踪 + CloudWatch GenAI Observability"做成 agent 平台内置能力，会话/agent/工具调用三层可下钻，延迟与成本同看板（据纵轴章节检索，AWS 官宣帖与 2025-07-28 社区文档印证）。
- 架构升级：Langfuse 3.0（4 月）把观测数据后端换成 ClickHouse，配 Redis 与 S3/MinIO，为高吞吐 trace 摄入重构自托管架构（官方 roadmap 讨论 #5007、ThoughtWorks 技术雷达）——trace 数据量级倒逼存储选型。这一步为 2026 年 ClickHouse 收购 Langfuse 埋下伏笔（见第三节交叉洞察 3.2）。
- 失败率线深化：多步 agent 让"失败"从"一次调用报错"升级为"任务未达成"——循环卡死、工具误用、预算耗尽成为新的失败类别，对应观测是轨迹级打分与在线 eval。New Relic 亦于 2025 年 12 月扩展 AWS 集成、跟进 agent 观测（纵轴章节检索摘要，未留直链）。
驱动因素：Agent 的非确定性与多步性，使"单调用正确率"无法推断"任务成功率"，观测重心被迫上移一层。
阶段五：当下——未完成的标准化与"Agent 可观测性"成为新默认（2026）
- 截至 2026 年 10 月，OpenTelemetry GenAI 语义约定仍处于 Development（未稳定）状态（curl 抓取仓库原文核验，见本文 2.4；核验记录见两章节原文）；2026 年 2 月社区仍在讨论为 Collector 增加 GenAI 约定处理器（官方规范页）。OpenTelemetry 官方博客亦于 2026 年发布 GenAI 可观测性综述（Inside the LLM Call），显示其已进入 OTel 核心议程。
- 商业产品改朝换代：Datadog 以"Agent Observability"取代 LLM Observability 作为产品默认名；New Relic 于 2026 年 2 月推出 Agentic Platform（纵轴章节检索摘要，未留直链）。
- 行业共识转向：2026 年的分析普遍认为"agentic AI 打破了传统可观测性"，需要为推理、工具使用、决策过程建立全新遥测（Enterprise AI Observability Trends of 2026、IBM: Observability Trends）；Agent 可观测性工具选型已成固定品类（Groundcover: Top AI observability tools）。
- 四条线现状：token 观测下沉为标准指标与网关默认能力；延迟观测分化为"平台侧 TTFT/ITL SLO"与"应用侧端到端 P95"两套口径；失败率观测分裂为工程侧（429/超时/重试）与质量侧（幻觉/工具误用/任务失败）双轨；成本观测从"记账"走向"治理"——预算、限购、按会话封顶成为 agent 时代的安全机制（LiteLLM 会话预算实践）。
四条主线的纵轴小结
| 观测线 | 2010–2019 | 2020–2022 | 2023 | 2024 | 2025 | 2026 |
|---|---|---|---|---|---|---|
| token | 无此概念 | 成为计费单位（GPT-3 API usage 字段） | 代理/日志工具逐请求记录 | 进入 OTel 标准指标（gen_ai.client.token.usage） | 缓存/推理 token 拆分提案 | 下沉为网关与平台默认能力 |
| 延迟 | 请求级 P99 | API 首延迟感知 | TTFT/ITL 标准化（vLLM 原生指标） | OTel gen_ai.client.operation.duration | 流式 SLO 进入平台看板 | 平台侧与端到端双口径 |
| 失败率 | 5xx/超时 | API 报错 | 429 限流、重试风暴 | evals 并入在线监控 | 任务级失败（循环、预算耗尽） | 工程失败与质量失败双轨 |
| 成本 | 按主机/请求 | 按 token 计价开始 | 逐请求成本日志 | 网关预算、多模型比价、价格战 | Agent 会话级封顶 | 成本治理与安全机制 |
二、横轴：横向对比（2026-10-31 时间截面）
本章是 2026 年 10 月 31 日这一时间截面上的系统横向对比，回答三个问题：经典三件套落到 AI 应用时含义发生了什么漂移？市场上有哪些相互竞争/替代的落地方案？它们在 token、延迟、失败率、成本四个 AI 专属要素上分别怎么覆盖？
2.1 三件套的语义漂移
经典三件套在 AI 应用中的含义发生了实质性漂移，这是理解整个市场的前提：
| 传统三件套 | 在 AI 应用中的等价物 | 变化本质 |
|---|---|---|
| 日志（结构化日志） | LLM 调用记录、会话回放（session replay）、prompt/response 快照、评分（scores） | 从"事件流"变成"可回放的交互记录"，单条体积大（可能含完整上下文）、含敏感信息，存储与合规成本模型完全不同 |
| 指标（QPS/P99/CPU） | token 用量（input/output/cached/reasoning）、TTFT/TPOT/ITL、失败率与错误分类、按模型单价折算的成本 | 指标维度多出一整层"计费口径"：同一个请求按 input token、cache token、reasoning token 分开计量，指标系统直接对接账单 |
| 分布式追踪（span 链路） | Agent 多步执行链：invoke_agent → plan → execute_tool → retrieval → LLM 调用，外加 MCP/A2A 协议级 span | 树深更深、节点类型更异构，且"一次用户交互"动辄几十上百个 span，按 span 计费的平台成本被放大 |
2.2 格局总览：三件套变成了"五流派"
| 流派 | 代表产品 | 一句话定位 |
|---|---|---|
| A. AI 原生 LLM 工程平台 | LangSmith、Langfuse、Arize Phoenix / Arize AX、Comet Opik、W&B Weave、Braintrust | 围绕 LLM 调试+评测+提示管理构建，追踪是核心组织单元 |
| B. 通用可观测性巨头延伸 | Datadog LLM Observability、Dynatrace（收购 Arize） | 把 LLM 观测并进既有 APM 账单与 UI |
| C. OTel 原生 / 自建 DIY | OpenTelemetry GenAI 约定 + OpenLLMetry / OpenLIT、SigNoz、Grafana LGTM（Prometheus+Loki+Tempo）+ vLLM 原生指标 | 数据格式标准化、后端可替换、成本可控但组装成本高 |
| D. LLM 网关内嵌观测 | Helicone、Portkey、LiteLLM（+ Cloudflare/Kong AI Gateway） | 在代理层"顺手"拿到日志/用量/成本，侵入性最低 |
| E. 纯自建（原始三件套） | 结构化 JSON 日志 + 自算 token 成本 + 自埋 trace id | 完全可控，四要素都要自己实现 |
2.3 主对比表（流派代表 × 对比维度）
下表中"一手"表示综合成稿过程直接访问了官方页面或原文（核验记录见两章节原文），"搜索"表示数字来自 WebSearch 摘要中的第三方文章。
| 产品 | 三件套覆盖 | 部署 / 许可 | 计费模式（2026-10 抓到或搜到的数字） | OTel 原生度 | 成熟度信号 |
|---|---|---|---|---|---|
| LangSmith | 追踪（run 树）+ 日志级调试（Playground 回放）+ 评测；指标偏薄 | SaaS 为主；Enterprise 含自托管/混合选项（一手，官方定价页） | Developer 免费 5k traces/月；Plus $39/席/月含 1 万条 base traces，超出按量；$1.00/LSU（LSU＝LangSmith 官方用量计费单位，$1.00/LSU 为官方页一手确认的单价；超量折算口径官方放入 usage calculator，本文采用第三方 ~$2.50/千条 估算，见未核验清单第 8 条）；base 14 天保留，扩展 180 天加费（一手） | 支持 OTel 但以自家 SDK 为主 | LangChain 生态默认选项；按席位计费被社区批评惩罚大团队（搜索） |
| Langfuse | 追踪+会话回放+LLM-as-judge 评测+提示管理+用量成本看板 | 核心平台 MIT 开源，自托管生产可用；EE 特性（SCIM/SSO）闭源 | 云版 Hobby 免费 / Core ~$29 / Pro ~$199，含 10 万 units，超出 ~$8/10 万 units（搜索，官方页未直接访问）；自托管免许可费，基础设施实测估算 ~$95/月（ClickHouse ~$45 + PG ~$28 + 应用 ~$22）（搜索） | OTel 约定兼容，同时有自家 SDK | 2026-01 被 ClickHouse 收购（承诺保持开源与自托管，搜索）；V4 宣称查询性能提升 200 倍（搜索） |
| Arize Phoenix / Arize AX | 追踪（OTel 系）+ 评测 + 漂移检测（embedding 视觉化） | Phoenix 开源可自托管、免费无 per-trace 费（Elastic License 2.0，搜索）；AX 为商用 SaaS | AX Free 0 元（2.5 万 spans/月、1GB、15 天）；AX Pro $50/月；Enterprise 定制（搜索，引自 arize.com/pricing 摘要） | OTel 原生（2026-08 宣布原生支持 GenAI 语义约定，搜索） | Phoenix 是开源 LLM 观测的代表项目（GitHub 仓库，修订期补链接）；被 Dynatrace 收购（2026 年 10 月对比文章提及，搜索） |
| Comet Opik | 追踪+评测+自动化提示优化+PII 护栏 | Apache-2.0 自托管，无功能限制无事件上限（搜索） | 开源免费；云版另有付费层 | 支持 OTel 生态 | 开源自托管阵营中许可最宽松的一家（搜索） |
| W&B Weave | 追踪+评测，绑定 W&B ML 生态 | SaaS 为主；自托管仅企业级 | 免费层 5 席/5GB；Pro ~$60/月（另有来源称 ~$39/席，两处来源不一致，如实并列）；自托管 $2,000–10,000+/月（搜索，未经官方页验证） | 一般 | 适合已用 W&B 做 ML 训练的团队；自托管门槛高（搜索） |
| Braintrust | 评测+追踪+playground，CI/CD 集成强 | 纯 SaaS（闭源） | Starter 免费；Pro $249/月一口价不限席位；评分按 ~$1.50/千次（搜索） | 一般 | 定价模型最简单；适合 SaaS-only 团队（搜索） |
| Datadog LLM Observability | 三件套全覆盖 + LLM span 级扩展（错误、token、成本并入 APM 视图） | SaaS，与 Datadog 全家桶同账号 | 免费层 4 万 LLM spans/月；Pro 起 $160/月含 10 万 spans；超出约 $3.50–7.50/万 spans（≈$350–750/百万 spans，随保留期浮动，搜索）；对照：普通 APM 索引 span 仅 $1.70/百万（索引 span＝Datadog APM 的计费术语，指被索引存储、可在检索窗口内查询的 span，单价引自 datadoghq.com 计费文档摘要，见未核验清单第 13 条） | 支持接收 OTel GenAI 约定数据（2025-12 起 agent 支持 v1.37+，搜索） | 最成熟的企业 APM；LLM span 单价约为普通 APM 索引 span 的 200–440 倍（$350–750 ÷ $1.70 ≈ 206–441），高流量场景账单风险显著 |
| Dynatrace | 三件套 + AI 属性（模型名、token、延迟）捕获 | SaaS/企业级 | 企业合同制（搜索） | 文档已覆盖 GenAI 属性采集（2026-08 更新，搜索） | 收购 Arize 后 AI 观测能力补强 |
| OpenTelemetry GenAI 约定 | 不是产品，是统一数据格式底座（spans/metrics/events + MCP/A2A） | 开放标准 | 免费 | 本体 | 仍处 Development 状态（curl 原文确认，见本文 2.4） |
| OpenLLMetry（Traceloop）/ OpenLIT | 仅插桩层：把 LLM 调用产出 OTel 数据 | 开源（Apache-2.0） | 免费无许可成本（搜索） | 本体即 OTel，后端可换 Datadog/SigNoz/Jaeger 不改代码 | 事实上的"OTel for LLM"发行版 |
| SigNoz | 三件套统一（LLM 与 K8s/DB/API 同一后端） | 开源自托管 + 云版 | 云版 30 天试用；用量计费（搜索） | OTel-native | 差异点：LLM 与基础设施数据在同一查询层可关联 |
| Grafana LGTM + vLLM | 指标（Prometheus）+ 日志（Loki）+ 追踪（Tempo） | 全开源自托管 | 软件 0 元，人力+基础设施自理 | vLLM 原生暴露 Prometheus /metrics（vllm:time_to_first_token_seconds、vllm:time_per_output_token_seconds、ITL、队列深度、KV cache 命中率等，搜索，官方 docs.vllm.ai）；Grafana 官方面板 25620 含 TTFT SLO 燃烧率面板 | 推理服务端监控的事实标准 |
| Helicone | 网关层请求日志+用量/成本分析+缓存路由故障转移 | 开源（Apache-2.0 代码）；自托管在企业版（on-prem），云版分四档 | Hobby 免费 1 万请求/月、1GB、7 天保留；Pro $79/月；Team $799/月；Enterprise 含 on-prem 与 30,000 logs/min（一手，官方定价页） | 网关输出可接 OTel | 2026-03 被 Mintlify 收购（第三方对比文章提及，搜索）；GitHub ~6.2k stars |
| Portkey | 网关 + 护栏 + 可观测，托管服务见长 | 云为主，可自托管（付费） | 订阅+用量（按可观测事件计）（搜索） | 支持 | 适合"要托管、要护栏、愿意付费"的团队 |
| LiteLLM | 网关/代理 + spend tracking（成本追踪） | MIT 开源，核心免费 | 软件免费；企业版另售（搜索） | 输出可接 Langfuse/OTel | LiteLLM + Langfuse 组合：两家官方互为集成推荐（Langfuse×LiteLLM 集成文档、LiteLLM Langfuse callback 文档，修订期补核验） |
| E. 纯自建 | 自己写结构化日志+Prometheus 指标+trace id | 任意 | 开发人力为主 | 视实现 | 四要素全要自己做：token 计数、单价表维护、TTFT 打点、错误分类 |
2.4 标准化底座：OTel GenAI 语义约定的截面状态（一手核验）
以下为综合成稿过程用 curl 直接抓取 open-telemetry/semantic-conventions-genai 仓库原文得到的事实（抓取命令：curl -sL https://raw.githubusercontent.com/open-telemetry/semantic-conventions-genai/main/docs/gen-ai/gen-ai-metrics.md 等，2026-10-31 执行；核验记录见两章节原文）：
- 成熟度：
gen-ai-metrics.md、gen-ai-token-metrics.md、gen-ai-spans.md、README.md的 Status 均为 Development（development 徽章）。也就是说，两年过去，GenAI 语义约定尚未到达 Stable，仍是全生态默认的"事实标准 + 形式上的开发中标准"。约定文档已从主仓库opentelemetry.io/docs/specs/semconv/gen-ai/迁移到独立仓库（主文档页现为跳转声明，WebFetch 确认；核验记录见两章节原文）。 - 指标（与四要素直接对应）：
- 延迟：
gen_ai.client.operation.duration（Histogram，秒）；gen_ai.server.request.duration（服务端视角，"time-to-last-byte or last output token"）。 - token：
gen_ai.client.inference.usage.input_tokens/output_tokens（Counter，{token}），以及cache_read.input_tokens、cache_write.input_tokens、reasoning.output_tokens—— 即缓存 token 与推理 token 已进入标准计量口径，这正是 2026 年成本核算最关键的三个分项（纵轴"2025 年缓存/推理 token 拆分提案"一栏在此得到印证并落地）。 - 失败率：指标维度含
error.type（Stable 属性，timeout、500等取值），错误按操作类型可分桶 → 失败率可直接从 histogram/counter 派生。
- 延迟：
- span/操作类型：操作枚举已远超单次 LLM 调用，覆盖
invoke_agent、invoke_workflow、plan、execute_tool、retrieval、embeddings、create_agent及一整套 memory 操作 —— Agent 链路被纳入标准。协议级扩展包括 MCP（mcp.*属性命名空间）与 A2A（Agent2Agent Protocol）。 - 提供商枚举：
gen_ai.provider.name已枚举 anthropic、openai、aws.bedrock、azure.*、deepseek、gcp.gemini/vertex_ai、groq、mistral、moonshot_ai、perplexity、x_ai、ibm.watsonx.ai、cohere 等（全部 Development 状态）。 - 生态采纳（搜索所得）：Datadog agent 2025-12 起原生支持 GenAI 约定 v1.37+；Dynatrace 文档 2026-08 覆盖 AI 属性；Arize AX 2026-08 宣布原生支持；SigNoz 对比文章称行业"已收敛到
gen_ai.*作为厂商中立基线，2026 年的分水岭是 OTel-native 还是私有 SDK"（SigNoz 对比页）。
综合判断：OTel GenAI 约定是本课题全部五个流派共同的"最大公约数"——A 流派（Phoenix）与 C 流派（SigNoz/OpenLLMetry）以它为原生格式，B 流派（Datadog/Dynatrace）以它为接入协议，D 流派网关以它为导出格式，E 流派自建可以直接抄它的属性表。但 Development 状态意味着字段仍可能变动，选型时应确认厂商对版本升级的处理策略。
2.5 重点专项：token / 延迟 / 失败率 / 成本 四要素逐流派对比
评分口径：● 原生覆盖且体验好 / ◐ 有覆盖但需配置或有短板 / ○ 基本要自己动手。
| 方案 | token | 延迟 | 失败率 | 成本 |
|---|---|---|---|---|
| A. LangSmith | ◐：run 树里带 token 用量与按模型单价折算的费用，但汇总看板偏开发视角 | ◐：run 树有单步延迟，缺 TTFT/流式粒度 | ◐：错误 run 可筛，error 分类不如 OTel error.type 系统化 | ◐：追踪自身成本透明（per trace），但被观测业务的成本分析非强项；席位费对大团队不友好 |
| A. Langfuse | ●：trace 级用量+成本，自托管时同样可用 | ◐：trace/step 延迟可查，TTFT 依赖插桩 | ●：scores+错误 trace 筛查+会话回放，调试失败样本的闭环最顺 | ●：成本看板是主打功能之一；自托管时成本=基础设施（~$95/月起） |
| A. Phoenix/AX | ◐：span 层 token，AX 有成本可见性（2026-08 原生支持 GenAI 约定后"first-class cost visibility"，搜索） | ◐：span 延迟，流式粒度依赖插桩 | ◐：评测体系强（漂移/质量），运行时错误分类一般 | ◐：AX 有 Free 档兜底，Pro $50/月门槛低 |
| B. Datadog | ●：LLM span 携带 token 与估算成本，与基础设施指标同屏 | ●：APM 级延迟体系完整（P99/SLO），配合 RUM 可到端侧 | ●：错误率/告警体系是行业最强，LLM 错误并入同一套 monitor | ◐：观测自身成本是最大坑——LLM span $350–750/百万 vs 普通 APM 索引 span $1.70/百万（两个单价均为二手来源，见未核验清单第 1、13 条），token 成本看得清、在 agent 场景 span 膨胀的工作假设下观测账单可能反超被观测对象 |
| C. OTel+SigNoz/DIY | ●：直接用 gen_ai.*.usage.*_tokens 标准计数器，跨厂商可迁移 | ●：client 侧 duration + 服务端 gen_ai.server.request.duration；推理侧直接吃 vLLM 的 vllm:time_to_first_token_seconds / TPOT / ITL，TTFT 可做 SLO 燃烧率告警（Grafana 面板 25620 现成） | ●：error.type 维度 + Prometheus 告警规则，失败率即一条 PromQL | ●：软件 0 元；代价是组装与运维人力，成本表（各模型单价）需自己维护 |
| D. Helicone/Portkey/LiteLLM | ●：网关天然截获全部请求，input/output token + 单价折算是主打功能（Helicone 100+ 提供商，搜索） | ◐：网关侧端到端延迟/路由延迟现成；TTFT/流式粒度视网关而定 | ●：网关层的 failover/重试/限流本身就是降低失败率的执行面，而不只是观测面——这在产品化流派中是 D 流派独有的"观测+处置一体"（纯自建也可复刻这一体性，但需逐应用手写，见 3.5） | ●：最贴近账单的位置；LiteLLM spend tracking 免费开源；Helicone 免费档 1 万请求/月起步 |
| E. 纯自建 | ○：自己调 usage 字段自己存 | ○：流式场景打 TTFT/ITL 点容易遗漏 | ○：错误分类、重试、降级全自研 | ○：最准（直接读账单口径），也最脆（模型一换价目表就过期） |
逐项说明：
- token：这是 AI 观测与传统观测分野最大的维度。标准化的进展最能说明问题——OTel 已把
cache_read/cache_write/reasoning三类 token 拆成独立计量项（curl 原文确认），因为 2026 年的成本结构中缓存命中与推理 token 的单价差异巨大。网关派（Helicone/LiteLLM）在这一点上位置最优（流量必经之路），AI 原生平台次之（依赖 SDK 插桩齐全），Datadog 靠 agent 自动捕获。自建方案最大的隐性成本不是计数，而是维护 100+ 模型的价目表。 - 延迟：AI 应用的延迟要拆成
TTFT（首 token 延迟，决定用户感知）、TPOT/ITL（每 token/间隔延迟，决定流式体验）、端到端时长三段，传统 P99 单指标不够用。这条轴上 C 流派最强：vLLM 原生暴露vllm:time_to_first_token_seconds等 Prometheus 指标（搜索，官方文档），Grafana 有现成 SLO 燃烧率面板；OTel 客户端侧gen_ai.client.operation.duration+ 服务端gen_ai.server.request.duration打通两视角。纯 SaaS 平台大多只给端到端时长，TTFT 要看插桩深度。 - 失败率：AI 应用的失败类型更宽：API 429/超时、上下文超限、工具调用失败、结构化输出解析失败、评测质量不合格（软失败）。OTel 用
error.type属性统一了硬失败的分类；Langfuse 的失败样本调试闭环（回放+评分）体验最好；Datadog 的告警/错误率体系最完整；网关派独特在"失败处置"（failover/重试是现成开关）；自建最容易漏的是"软失败"——返回 200 但内容不可用，这需要评测体系兜底，属于 A 流派的强项。 - 成本：要把"被观测系统的成本"（LLM 花费）与"观测系统自身的成本"分开算，这是 2026 年选型最容易被忽略的二阶账。前者：网关派与 Langfuse 最强。后者：按 span 计费的 Datadog（$350–750/百万 LLM spans）在 Agent 场景下一个用户请求几十个 span，观测账单可能反超 token 花费；按席计费的 LangSmith 惩罚大团队（1M traces/月 ≈ $39 + 99 万超出 × $2.50/千条 ≈ $2,514/月，搜索摘要估算，算式详见 2.7 与未核验清单第 8 条）；MIT/Apache 自托管（Langfuse/Opik/Helicone 代码）或 OTel+SigNoz+Grafana 的账单可控，代价是人力。
2.6 选型考察清单：四要素 + 评测
2.5 的逐流派对比可以收拢成一张选型考察清单。前四项即本文通篇的四要素框架，第五项（评测）在 3.4 节论证为"事实上已成为三件套之外的第四件套"，故一并列入——本文此后所有"考察项"的指涉均以这张清单为准（如 3.4、3.6 所说"评测是第五考察项"）：
| 考察项 | 选型时问的问题 | 在本文的位置 |
|---|---|---|
| ① token | cache_read/cache_write/reasoning 三类拆分是否进标准指标？ | 2.4、2.5 逐项说明第 1 条 |
| ② 延迟 | 是否区分 TTFT/TPOT/端到端三段？能否做 SLO 告警？ | 2.4、2.5 逐项说明第 2 条 |
| ③ 失败率 | 硬失败有无 error.type 式分类？软失败有无评测兜底？ | 2.5 逐项说明第 3 条、3.4 |
| ④ 成本 | 被观测成本与观测自身成本能否分开算？计费单位是什么？ | 2.5 逐项说明第 4 条、2.7 |
| ⑤ 评测 | 有无在线 eval、LLM-as-judge、轨迹级打分与数据集闭环？ | 3.4 |
2.7 成本测算示例：同样的 100 万条 trace/月，账单差多少
（混合口径：以"每用户请求 1 trace"为基准的估算，数字来自本文引用的一手/二手来源，仅作数量级参考。各行计费单位不同——trace、span、unit、请求、基础设施不是同一种东西，跨行比较只在数量级层面成立；计费术语 LSU、索引 span 的括注定义见 2.3 表，Langfuse "unit" 的定义见本表"计费单位"列。）
| 方案 | 计费单位 | 月账单（约） | 口径备注 |
|---|---|---|---|
| LangSmith Plus（1 席） | trace（席位 + 超量 trace） | ~$2,514 | $39 + 99 万超出 × $2.50/千条 = $2,475 + $39（搜索摘要估算；官方页确认 10k base + 超量按量 + LSU $1.00，超量单价见第三方，见未核验清单第 8 条） |
| Datadog LLM Observability | LLM span | ~$350–750 起 | 按 1M LLM spans；若 Agent 场景 span 数 ×20（工作假设，非实测：依据是 2.1"一次用户交互动辄几十上百个 span"的定性观察，本文无实测倍数），则 ×20 放大至 ~$7,000–15,000；可搭配普通 APM 索引 span（$1.70/M）降本 |
| Langfuse 云 Pro | unit（Langfuse 云版计量单位，按摄入的观测数据计，二手口径，详见官方定价页） | ~$271（折算） | $199 + 90 万超出 × $8/10 万 units = $199 + $72；折算前提是"1M trace ≈ 1M units"，若每条 trace 含多条 observation 则 unit 数更高、账单上浮 |
| Langfuse 自托管 | 基础设施 | ~$95 | 纯基础设施（ClickHouse+PG+应用），人力另计；单一估算值，不构成区间 |
| Helicone Pro | 请求 | $79 + 用量 | 1 万请求免费档之上按量 |
| SigNoz/DIY（Grafana+vLLM） | 基础设施 | 软件 $0 | 基础设施 + 一名工程师的部分工时 |
| Arize AX | span | $0–50 起 | Free 2.5 万 spans/月 → Pro $50 |
结论（限定口径后）：同为按量 SaaS 的三档之间，同量级流量的账单相差约 3–9 倍——LangSmith ~$2,514 对 Datadog ~$350–750（约 3–7 倍）、对 Langfuse Pro ~$271（约 9 倍），倍数均由未核验的二手单价折算，采用时以官方页为准；自托管省掉的是许可费、付出的是人力与运维（~$95/月为单例估算，与按席位 SaaS 差距在一个数量级以上，但计费口径不同，不可与 SaaS 直接比价）。LangSmith 转向按席位收费后，其高流量账单压力是社区的真实话题：HN 上"Ask HN: What tools are you using for AI evals?"一帖点名 LangSmith"免费档后 $0.50/千条、量大时涨得很快"、UI 在大数据集下偏慢（HN 讨论，修订期补核验；注意该社区说法与本文采用的 $2.50/千条 分歧，两者均未核验，见未核验清单第 8 条）。
三、交叉洞察：两轴结合说明了什么
单看纵轴，看到的是"AI 负载如何一次次改写观测体系"；单看横轴，看到的是"2026 年的玩家们各自站在什么位置"。把两条轴叠在一起，能得到任何一章单独给不出的判断。
3.1 计费单位决定观测单位，而观测本身也长出了计费单位
纵轴的第一条规律是"计费单位决定观测单位"：token 取代"请求"成为基本计量后，从日志 schema 到指标名再到告警阈值，整个遥测栈被重写了一遍。横轴把这个规律推进了一层——观测产品自己也长出了计费单位，而且不同流派选择了不同的单位：席位（LangSmith）、trace（LangSmith/Langfuse）、span（Datadog/Arize）、事件/请求（Helicone/Portkey）、免费+基础设施（自托管）。
两轴相加得到一个此前任何一章都没有明说的推论：计费单位的错配，会同时惩罚两边。按 span 计费的平台，碰上"一个用户请求 × 几十上百个 span"的 Agent 负载，在"span 数 ×20"的工作假设下（非实测倍数，依据是 2.1 的定性观察，见 2.7 备注）观测账单被同倍放大；按席位计费的平台，碰上"十几个工程师共用一个观测入口"的大团队，账单按人头线性膨胀。而 Agent 化（纵轴阶段四）恰恰让 span 数暴涨——这意味着纵轴的演化方向天然对横轴某几类计费模式不利，按 span 计费的厂商必须要么降价、要么采样、要么转向按会话聚合计费，否则会在 Agent 时代被自己的账单口径拖住。观测成本的"二阶账"（被观测成本 vs 观测成本）由此从会计问题上升为选型问题。
3.2 纵轴伏笔在横轴兑现：存储引擎成为收购标的
纵轴记录了一个看似纯技术的细节：Langfuse 3.0（2025 年 4 月）把自托管观测后端从应用数据库换成 ClickHouse，理由是 trace 数据量级倒逼存储选型（roadmap 讨论 #5007）。横轴记录了八个月后的结果：2026 年 1 月 ClickHouse 公司收购 Langfuse，承诺保持开源与自托管（搜索所得，未读官方公告原文）。
把两个时间点连起来，事件链是清晰的：AI 应用的 trace 量级大到传统 Postgres 扛不住 → 观测厂商被迫迁移到专用分析型数据库 → 数据库厂商发现自己成了 AI 观测栈的心脏 → 顺势把整条产品线收进来。同期的 Dynatrace 收购 Arize、Mintlify 收购 Helicone（均为搜索所得第三方说法）指向同一判断：通用可观测性与 AI 观测正在合并，而收购方真正想要的资产是存储引擎与 OTel 管线，不是 UI。对用户的含义：选型时看一家观测厂商的"底座"比看它的功能清单更能预测它的归宿——底座过硬（自有高性能存储、OTel 原生管线）的玩家，要么独立活得很好，要么被溢价收购后活得更好；底座外包的玩家则可能在合并潮中被消化掉。
3.3 标准化永远滞后于采用，但"开发中的标准"已是事实标准
纵轴的时间线显示：2023 年工具井喷，2024 年才有 OTel GenAI 语义约定，到 2026 年 10 月约定仍未到 Stable——标准化永远滞后于采用。横轴的截面数据则显示：尽管形式上仍是 Development，gen_ai.* 已被几乎所有新旧平台接受为交换语言（Datadog 2025-12 起原生接收、Dynatrace 2026-08 文档覆盖、Arize 2026-08 原生支持，均为搜索所得；SigNoz 直言"2026 年的分水岭是 OTel-native 还是私有 SDK"）。
两轴合并的结论比"标准会赢"更精确：在一个由 API 巨头（OpenAI/Anthropic）和云厂商主导供给、由数百个观测工具竞争消费的市场里，数据格式的标准化会先于产品格局的收敛发生——因为格式的统一不需要任何人放弃产品，只需要所有人放弃私有 schema 的溢价。这也解释了为什么连私有 SDK 派（LangSmith）都提供 OTel 接口。对用户的操作含义（横轴已给出、纵轴补足了历史证据）：现在就把 OTel GenAI 约定当作插桩层的默认格式，哪怕后端先选私有 SaaS。Development 状态意味着字段仍可能变动，所以要在选型时确认厂商对版本升级的处理策略；但历史规律（纵轴 2019 年 OpenTracing+OpenCensus 合并一幕的重演）表明，押注开发中的事实标准，是唯一同时押中"开源自托管"与"巨头 SaaS"两条演化路径的选择。
3.4 失败的定义随自主性膨胀：评测成为"第四件套"
纵轴的失败率线是一条不断扩张的边界：5xx（微服务时代）→ API 429/超时（2023）→ evals 并入在线监控（2024）→ 任务级失败：循环卡死、工具误用、预算耗尽（2025）→ 工程/质量双轨（2026）。横轴的对比表则显示：没有任何单一流派能同时覆盖这两轨——工程侧失败（429/超时/重试）最强的是 Datadog 的告警体系与网关派的处置能力，质量侧失败（幻觉/工具误用/软失败）只能靠评测体系兜底，属于 A 流派强项。
两轴结合揭示了一个结构性事实：AI 应用的"失败"已经溢出了三件套的度量范围。传统三件套只能观测"系统是否按设计运行"，而 AI 负载的典型失败是"系统按设计运行但产出不可用"——返回 200、延迟正常、token 计量无误，但内容是幻觉。这类"软失败"在指标上不可见、在日志里需要人读、在 trace 上全部是绿色，唯一的探测手段是评测（在线 eval、LLM-as-judge、轨迹级打分）。所以本文 2.6 的考察清单把"评测"列为四要素之外的第五考察项、第一章（纵轴）把 2026 年的失败率描述为"双轨"，说的是同一件事：评测事实上已成为三件套之外的第四件套，且三件套越标准化（OTel 的 error.type 只管硬失败），评测的独立性就越强。反过来，这也预示下一阶段标准化的对象正是评测——把 eval 结果作为 span 属性/指标进入 OTel 约定，是该约定从 Development 走向 Stable 的最后一块拼图。
3.5 观测面与处置面的分离与合流
横轴发现了一个流派间的结构差异：在产品化的流派中，只有网关派（D 流派）把"看见失败"和"处置失败"（failover/重试/限流/降级）放在同一层；纯自建（E 流派）同样可以做到观测与处置一体——重试、降级本来就写在应用代码里（见 2.5 E 行）——差别在于自建的处置逻辑是逐应用手写、无产品化封装，网关派则把它变成了开箱即用的能力。其余产品化流派只做"看见"。纵轴为这个差异提供了成因：2023 年全行业共用少数几家 API，重试与回退逻辑是被 429 逼出来的，而网关正是当年承载这些逻辑的位置——处置能力先于观测能力存在于网关层，观测只是后来"顺手"长出来的。
两轴结合的推论是：网关派不是"功能少的廉价替代"，而是一个有结构性存在理由的流派。Agent 时代把处置需求推得更高——预算封顶、会话级限购成为安全机制（纵轴 2026 年成本线；LiteLLM 会话预算实践），这些处置动作天然必须发生在流量必经之路上。只要"观测到异常"与"对异常执行动作"之间存在毫秒级到秒级的时延需求（切供应商、熔断、封顶），网关派的"观测+处置一体"就有独立价值，不会被上游平台或下游 APM 吸收掉。
3.6 对用户的判断与建议
综合两轴，给不同场景的选型建议如下（横轴矩阵 + 纵轴演化方向校正）：
| 场景 | 首选 | 理由（两轴交叉视角） |
|---|---|---|
| LangChain/LangGraph 深度用户 | LangSmith | 集成深度无可替代（run 图、Playground、Agent Builder 同源）；愿意为效率付席位费。但注意纵轴趋势：按席位计费在 Agent 时代对大团队最不利 |
| 数据必须不出门 / 长期成本敏感 | Langfuse 自托管（或 Comet Opik） | MIT 许可生产可用、四要素覆盖均衡；纵轴伏笔（3.0 换 ClickHouse）+ 横轴收购（被 ClickHouse 收购后承诺开源不变）说明其存储底座反而更强 |
| 已有 Datadog 且 LLM 流量小 | Datadog LLM Observability | 4 万 spans 免费档 + 现成告警体系；流量大时警惕 span 单价（$350–750/百万，二手数字；Agent 场景按 ×20 工作假设放大，见 2.7） |
| 推理服务自运维（vLLM 等） | Prometheus+Grafana+vLLM 原生指标 | TTFT/TPOT/队列/KV cache 全在 /metrics，SLO 燃烧率有现成面板（25620）；这条线的标准化最早、最成熟 |
| 只想最便宜地"看清 token 和钱" | LiteLLM（MIT）+ Langfuse | 两家官方互为集成推荐的组合（见 2.3 LiteLLM 行）；网关截流+追踪回放两件套，对应 3.5 节"观测+处置一体"的结构性优势（自建路线亦可复刻，需自行实现） |
| 想换后端不锁厂商 | OpenLLMetry/OpenLIT + OTel 后端任选 | 一行插桩、gen_ai.* 标准格式、后端即插即换；对应 3.3 节"押注开发中的事实标准" |
| 团队要托管+护栏+观测一体 | Portkey（或 Helicone 云） | 护栏/缓存/failover/观测捆绑，D 流派托管形态 |
| 评测驱动（质量漂移最痛） | Arize Phoenix（自托管）或 Braintrust | 漂移可视化与评测闭环是 A 流派里最强的；对应 3.4 节"第四件套"的归属 |
三条通用判断，适用于所有场景：
- 先分清两本账再谈省钱：被观测系统（LLM 花费）与观测系统自身（席位/span/事件费）分开核算。Agent 负载下后者可能反超前者（基于 2.7 的 ×20 工作假设），选型前用 2.7 节的口径按自己的流量重算一遍——同为按量 SaaS 相差约 3–9 倍，对自托管可差一个数量级以上（见 2.7 结论）。
- 插桩层用 OTel GenAI 约定，后端可以随便选：它形式上仍是 Development，但已是五流派最大公约数；用它保留换后端自由，同时向厂商确认约定版本升级的处理策略。
- 把评测列进考察清单：按 2.6 的考察清单，四要素（token/延迟/失败率/成本）之外，评测能力是第五考察项——三件套观测"系统是否按设计运行"，评测才能发现"按设计运行但产出不可用"的软失败。
最后保留一个未完成判断：纵轴章节的结语指出"Agent 可观测性"大概率不是终点，多 agent 协作、长时程任务、自主经济行为已在排队成为下一个观测对象（核验记录见两章节原文）；横轴则显示当前的计费单位（span/trace/事件）无一为这些形态设计。两者叠加意味着：今天为"按 span 计费"做的任何深度绑定，都可能在未来两三年重演 LangSmith 式的定价反弹与社区流失压力（社区证据见 2.7 所引 HN 帖）——保持数据格式的可迁移性，是当前唯一不会贬值的选型决策。
3.7 最小落地路径（示例）
标题里承诺的"落地"至少要回答三个问题：最小插桩长什么样、按自己的流量选哪档、花多少钱。本节给一条最小路径（示例在修订会话中未实际运行，以各官方文档为准；插桩用法依据 OpenLLMetry 官方 quickstart，见修订期补充核验小节）：
第一步：最小插桩——一行初始化 + 零改动插桩。 用 OpenLLMetry（Traceloop）把 LLM 厂商 SDK 调用自动转成 OTel 数据（即 2.3 中"本体即 OTel"的插桩层）：
pip install traceloop-sdk
export OTEL_EXPORTER_OTLP_ENDPOINT="http://localhost:4318" # 或所选 SaaS 后端的 OTLP 入口from traceloop.sdk import Traceloop
Traceloop.init(app_name="my-llm-app")
# 此后 OpenAI/Anthropic 等官方 SDK 的调用自动产出 gen_ai.* span 与 token 指标（属性清单见 2.4），
# 后端接 SigNoz/Grafana/Datadog/Langfuse 均可，换后端不改这一行。产出的 span 带 gen_ai.request.model、gen_ai.usage.input_tokens/output_tokens 等属性，指标侧对应 gen_ai.client.operation.duration 与 token usage 两族（均为 2.4 的 curl 核验内容）——token 与延迟两要素的最小观测面由此立起。
第二步：按 2.7 的口径代入自家流量（三步测算）。
- 数出月请求量 R 与平均每请求的 trace 数/span 数：简单链路约为每请求 1 trace；agent 链路按 2.1 的定性规律"一次交互几十上百个 span"估算，或先小流量实测一周再外推；
- 代入 2.7 表中目标方案的计费单位行套超出单价。按本文口径的算例：R=100 万、每请求 1 trace 时，LangSmith Plus ≈ $39 + (100 万 − 1 万) × $2.50/千条 ≈ $2,514/月；若同量流量以 agent 为主、每请求 20 个 span（2.7 的工作假设），Datadog LLM Observability ≈ 2,000 万 spans × $350–750/百万 ≈ $7,000–15,000/月，而 LangSmith 按 trace 计费不受 span 膨胀影响——这就是 3.1"计费单位错配同时惩罚两边"的具体形状；
- 与自托管档对比：Langfuse 自托管 ~$95/月基础设施 + 一名工程师的部分工时，把工时折算成钱后再与 SaaS 比较，而不是只比许可费。
第三步：对照 3.6 的场景表选档，并执行 3.6 通用判断第 2 条——插桩层固定用 OTel GenAI 约定（哪怕后端先选私有 SaaS），保住换后端的自由。
参考来源
一手来源（综合成稿过程直接访问核验；核验记录见两章节原文）
- OpenTelemetry GenAI 语义约定仓库：https://github.com/open-telemetry/semantic-conventions-genai （
docs/gen-ai/gen-ai-metrics.md、gen-ai-token-metrics.md、gen-ai-spans.md、README.md，curl 原文）；主文档迁移说明：https://opentelemetry.io/docs/specs/semconv/gen-ai/ - OTel 官方博客（2026-05）：https://opentelemetry.io/blog/2026/genai-observability
- SigNoz《LLM Observability Tools 2026》：https://signoz.io/comparisons/llm-observability-tools
- LangSmith 官方定价页：https://www.langchain.com/pricing
- Helicone 官方定价页：https://helicone.ai/pricing
纵轴章节检索所得来源
- LangChain：Announcing LangSmith、LangSmith GA
- Langfuse：Launch Week #1（2.0）、官方大事记、v3 架构讨论 #5007
- OpenTelemetry：合并公告、OpenObserve 约定解读
- Datadog：DASH 2023 功能汇总、LLM Observability GA 新闻稿、Agent Observability 产品页
- MLflow：2.14.0 发布页、Tracing 博客
- vLLM：发布博文、指标文档、Grafana 监控看板
- Arize/Traceloop：OpenInference 仓库、Introducing OpenLLMetry、OpenLLMetry GitHub
- New Relic：AIM 与 AWS Bedrock 报道
- OpenAI：ChatGPT 上线、ChatGPT/Whisper API、定价文档、降价报道
- 其他：Zipkin、Jaeger、Dapper 论文、Kill The Three Pillars、Dynatrace AI 指标参考、ThoughtWorks 技术雷达（Langfuse）、Moderndata101：2026 企业 AI 可观测趋势、IBM：Observability Trends、Groundcover：AI observability tools、LiteLLM 会话预算
二手来源（横轴章节 WebSearch 摘要，未逐篇核验原文）
- ZenML《Best LLM Observability Tools》：https://www.zenml.io/blog/best-llm-observability-tools
- vLLM 指标官方文档：https://docs.vllm.ai/en/stable/design/metrics ；vLLM PromQL 实践：https://akrisanov.com/vllm-metrics
- Langfuse 定价：https://langfuse.com/pricing 、https://langfuse.com/pricing-self-host
- Arize 定价与产品页：https://arize.com/pricing 、https://arize.com/phoenix ；Laminar 对比：https://laminar.sh/article/arize-phoenix-alternatives-2026
- 网关对比：https://www.flotorch.ai/blogs/llm-gateway-comparison-2026 ；Portkey 定价解读：https://www.truefoundry.com/blog/portkey-pricing-guide
- 收购动态：ClickHouse×Langfuse（2026-01）、Mintlify×Helicone（2026-03）、Dynatrace×Arize（均来自搜索摘要/第三方对比文章，未读官方公告原文）
修订期补充核验（2026-10-31，按审读意见执行）
以下链接与核验为最终稿修订时新增，未出现在两章节原稿中。均经本次修订会话检索确认（部分仅检索确认、未逐页抓取原文，已逐条注明）：
- LangSmith 定价的社区抱怨（免费档后 ~$0.50/千条、UI 在大数据集下偏慢）：https://news.ycombinator.com/item?id=44194187 （Ask HN 帖，帖子原文已读）；
- Datadog 普通 APM 索引 span $1.70/百万（15 天保留期口径）：https://docs.datadoghq.com/account_management/billing/apm_tracing_profiler （官方计费文档，检索确认，未直接抓取）；
- Langfuse×LiteLLM 官方互为集成推荐：https://langfuse.com/integrations/gateways/litellm 、https://docs.litellm.ai/docs/observability/langfuse_integration （官方文档，检索确认，未直接抓取）；
- Phoenix 仓库：https://github.com/Arize-ai/phoenix （用于替换"最活跃开源项目"表述）；
- GPT-3 API beta 定价的 2020 年当年报道：https://medium.com/syncedreview/is-openais-gpt-3-api-beta-pricing-too-rich-for-researchers-596ac2afae41 、https://bdtechtalks.com/2020/09/21/gpt-3-economy-business-model （两文与本文数字一致）；
- OpenLLMetry 最小插桩示例的用法出处：https://github.com/traceloop/openllmetry （
Traceloop.init(app_name=...)官方 quickstart，检索确认；3.7 示例未实际运行）。
未核验数字清单（采用时以官方页为准）
- Datadog LLM Observability 超量单价 $3.50–7.50/万 spans 的区间（随保留期浮动，官方 pricing 页未直接访问）；
- Langfuse 云版各档价格（$29/$199）与 $8/10 万 units 超量单价、自托管 ~$95/月估算（来自搜索摘要，未直接抓取页面）；
- Arize AX 各档价格与"Elastic License 2.0"、被 Dynatrace 收购的说法（引自 arize.com/pricing 摘要与 laminar.sh 2026-10 对比文）；
- ClickHouse 收购 Langfuse 的"2026-01、承诺开源不变、V4 200 倍性能"细节（多个搜索结果一致但未读官方公告原文）；
- Helicone 被 Mintlify 收购（2026-03）的说法仅来自一篇第三方对比文章；
- W&B Weave 定价（$60/月 vs $39/席两处来源不一致，已如实并列）；
- Braintrust $249/月与 $1.50/千次评分（第三方对比）；
- LangSmith 超量单价 $2.50/千条与 1M traces ≈ $2,514/月的估算（= $39 + 99 万 × $2.50/千条；官方页确认了档位与 LSU 单价，超量单价引用第三方。注意：社区讨论中另有 ~$0.50/千条 的说法（Ask HN，修订期补核验），两者均非官方口径，采用前务必以官方 usage calculator 核算）；
- OTel 约定的厂商采纳时间线（Datadog 2025-12 支持 v1.37+ 等）来自搜索摘要；
- GPT-3 API beta 期定价（$100/$400 月费档位）源自 2020 年当年媒体报道（修订期已补两篇直链且数字一致，见阶段一与"修订期补充核验"小节；仍未见 OpenAI 官方原文存档）；
- New Relic 2025-12 AWS 集成扩展与 2026-02 Agentic Platform 发布（纵轴章节检索摘要，未留直链）；
- AWS Bedrock AgentCore 观测能力细节（AWS 官宣帖与 2025-07-28 社区文档印证，未留直链）；
- 普通 APM 索引 span 单价 $1.70/百万（Datadog APM 计费基准；官方计费文档的检索摘要，修订期检索确认与官方文档一致但未直接抓取原文）；
- Agent 场景"span 数 ×20"为本文工作假设（非检索来源：仅依据 2.1"一次用户交互动辄几十上百个 span"的定性观察，未经实测，用于 2.7/3.1/3.6 的量级推演）。
*综合报告最终稿完成于 2026-10-31，由纵轴与横轴两份章节综合而成，同日按独立审读意见（8 条）逐条修订。未改动清单、nightly-log.md 及其他课题产物；初稿保留于 drafts/ 目录未动。*