推理成本：$/token
$/token 由硬件成本、吞吐与利用率决定；批处理、量化、投机解码、缓存都是降低它的杠杆。本章给出成本模型、输入/输出 token 的成本差异，以及延迟 SLO 与成本之间的权衡曲线。
- 输出 token 比输入 token 贵一个数量级
- 利用率不足时成本主要是空转
- 延迟要求每收紧一档，成本上升不止一档
$/token 由硬件成本、吞吐与利用率决定；批处理、量化、投机解码、缓存都是降低它的杠杆。本章给出成本模型、输入/输出 token 的成本差异，以及延迟 SLO 与成本之间的权衡曲线。