実際のトラフィックをサンプリングする#
代表的な1週間を選び、ワークフローごとにリクエストをグループ化します。分析に機密コンテンツを保持せず、トークン数とタイミングを保存します。
範囲を限定した評価を実行する#
承認済みの小さなテストセットを候補モデルに送信します。タスク成功率、出力長、再試行、ツールを比較します。トークン化はプロバイダー間で異なります。
不確実性を考慮して予算を組む#
低・予想・高のボリュームを見積もります。予想される再試行と出力の増加を加えます。本番トラフィックをルーティングする前に、キーごとの予算を設定します。