题记与说明
标题: Building LLM applications for production
作者: Chip Huyen（ML 系统/LLM 工程专家，《AI Engineering》作者）
来源 URL: https://huyenchip.com/2023/04/11/llm-engineering.html
存档日期: 2026-11-04
标签: LLM工程、AI Engineering、Prompt工程、Agent系统、成本与延迟、生产化
这篇讲什么
Chip Huyen 2023 年 4 月的长文，也是她后来《AI Engineering》一书思想的前身。开篇两句判断定下全文基调：用 LLM 做个酷 demo 很容易，做出生产级系统非常难；而 prompt 工程缺乏工程规范，进一步放大了 LLM 的局限。全文三部分：Part 1 拆解生产化 prompt 工程的挑战与解法；Part 2 讲任务组合——多任务应用、Agent 与控制流；Part 3 盘点当时最被看好的用例（AI 助手、聊天机器人、编程、教育、talk-to-your-data、搜索推荐、SEO）。
核心观点
- 自然语言的歧义是工程问题的根源：改一行代码会报错，改一行 prompt 只是悄悄变差（silent failure）。temperature=0 能缓解一致性问题，但作者类比：这像一位只有坐在特定教室里才打分稳定的老师。解法不是消除歧义，而是用评估集、prompt 版本管理、单元测试把 prompt 工程做成系统化流程。
- 成本账：实验便宜，推理昂贵。prompt 实验几轮只要约 300 美元；推理成本随预测量线性放大，buy vs build 的可行性估算「每周都得重做」。延迟上，输入 token 并行处理影响小，输出逐 token 生成、输出长度主导延迟，且当时 API 无 SLA。
- Prompting vs finetuning 的选型看三因素：数据量、性能、推理成本。一条 prompt 约等于 100 条训练样本（Scao & Rush, 2021）；Alpaca 用 52k 条指令蒸馏 LLaMA-7B，成本不到 600 美元，3 周 20K stars。
- Agent = 按控制流执行多任务的应用。四种控制流：顺序、并行、条件、循环，甚至可以让 LLM 自己决定分支条件（ReAct 式）。测试 Agent 要区分两类失败：单个任务出错，vs「组合鸿沟」（composability gap）——子任务全对、整体答案仍错。
- Prompt 没有前后兼容性：模型一升级 prompt 就可能失效，必须用评估样例做单元测试；没人集中管理的 prompt 逻辑，像「一段没人敢动的 700 行 SQL」。
最值得记住的金句与数据
- 「It's easy to make something cool with LLMs, but very hard to make something production-ready with them.」——三年后仍是这个领域的第一性判断。
- 「The cost of LLMOps is in inference.」：DoorDash 2021 年模型日预测 100 亿次，若每次 $0.004，一天就是 4000 万美元。
- 「If 2021 was the year of graph databases, 2023 is the year of vector databases.」另有作者的自我修正：2023 年说少见并行控制流，2024 年划掉改为「并行调用很重要」。
对我的启发
- 做 AI 编程工具或 Agent 系统时，把「能跑的 demo」和「可交付的系统」当成两个工程等级：评估集、prompt 版本管理、每个任务的单元测试加端到端集成测试，比任何 prompt 技巧更接近护城河。
- 「组合鸿沟」提醒我：Agent 各环节都对不代表最终答案对，评测要打到端到端——这正是今天 evals 运动的先声。
- 对个人知识管理的迁移：验证过的 prompt、评估样例、控制流设计是一等资产，应沉淀为可版本化的文件，而不是散落在聊天记录里。
适合谁读
正在把 LLM 接进产品、纠结 API 成本与延迟账的工程师和技术决策者；设计 Agent 架构、需要落地测试方法论的人；以及想理解「为什么 demo 惊艳、上线翻车」背后工程逻辑的所有人。