最初のトークンまでの時間#
TTFTにはキューイングとプレフィルが含まれます。これは、ユーザーが出力を見るまでにどれだけ待つかを決定します。
1秒あたりのトークン数#
デコードスループットは、回答がどれだけ速く続くかを決定します。サーバー全体のスループットは、ユーザーごとの生成速度と同じではありません。
ワークロードを公開する#
入力長、出力長、並行性、GPU、リージョンはすべての数値の横に記載する必要があります。短いプロンプトでの高速な結果は、長いコンテキストのRAGリクエストを予測しません。