自托管与 API：算一算账

找到你的交叉点#

用专用月度成本除以有效的每百万令牌 API 成本，可得出尚未计入工程和可靠性成本之前的流量交叉点。一台 H100 每月 1,690 美元，而有效的每百万令牌成本为 $0.16，则每月约为 105.6 亿个令牌。这并不能证明单个 H100 可以服务该工作负载。

加入利用率#

预留的 GPU 在空闲时也会计费。将你并发情况下的令牌吞吐量、峰值容量、加载时间、故障转移、可观测性以及值班工作量都纳入考量。

做出决定#

对于可变需求，使用共享 API 容量。当你拥有稳定的负载、兼容的模型和经过测量的吞吐量时，再评估专用端点。