首个令牌时间#TTFT（首令牌时间）包括排队和预填充。它决定了用户在看到输出之前需要等待多长时间。 每秒令牌数#解码吞吐量决定了答案继续生成的速度。服务器总吞吐量与每个用户的生成速度并不相同。 公开工作负载#输入长度、输出长度、并发数、GPU 和区域应伴随每一个数字。快速的短提示结果并不能预测长上下文的 RAG 请求。