損益分岐点を見つける#
専有月額コストを100万トークンあたりの実効APIコストで割ると、エンジニアリングと信頼性のコストを除いた損益分岐点のボリュームが得られます。H100が1,690ドル、100万トークンあたり実効0.16ドルの場合、月間約105.6億トークンとなります。これは単一のH100がそのワークロードを処理できることを証明するものではありません。
利用率を加える#
予約済みGPUはアイドル状態でも課金されます。自分の並行性でのトークンスループット、ピーク容量、ロード時間、フェイルオーバー、可観測性、オンコール対応を含めてください。
決定を下す#
変動する需要には共有APIキャパシティを使用します。安定した負荷、互換性のあるモデル、測定されたスループットがある場合は、専有エンドポイントを評価します。