导航
工程笔记
工程笔记
在运行和使用开放模型时的实际权衡。
一百万个令牌实际上花费多少
一百万输入令牌和一百万输出令牌是不同的产品。以 Qwen3 32B 为例，按所列费率，800,000 个输入令牌和 200,000 个输出令牌的费用为 $0.16。同样的总量若输出占 80%，则费用为 $0.19。
阅读指南在迁移之前估算消耗量
选择一个有代表性的一周，按工作流对请求进行分组。在分析中保留令牌计数和时间信息，而不保留敏感内容。
阅读指南延迟和吞吐量回答不同的问题
TTFT（首令牌时间）包括排队和预填充。它决定了用户在看到输出之前需要等待多长时间。
阅读指南量化是一种权衡，而不是免费升级
较低的精度会减少内存使用，并可能提高吞吐量。质量是否变化取决于模型、量化方法和任务。
阅读指南自托管与 API：算一算账
用专用月度成本除以有效的每百万令牌 API 成本，可得出尚未计入工程和可靠性成本之前的流量交叉点。一台 H100 每月 1,690 美元，而有效的每百万令牌成本为 $0.16，则每月约为 105.6 亿个令牌。这并不能证明单个 H100 可以服务该工作负载。
阅读指南