ナビゲーション
エンジニアリングノート
エンジニアリングノート
オープンモデルの実行と利用における実践的なトレードオフ。
100万トークンの実際のコスト
100万入力トークンと100万出力トークンは異なる製品です。Qwen3 32Bでは、記載レートで80万入力トークンと20万出力トークンのコストは0.16ドルです。同じ合計で出力が80%を占める場合は0.19ドルです。
ガイドを読む移行前に消費量を見積もる
代表的な1週間を選び、ワークフローごとにリクエストをグループ化します。分析に機密コンテンツを保持せず、トークン数とタイミングを保存します。
ガイドを読むレイテンシとスループットは異なる問いに答える
TTFTにはキューイングとプレフィルが含まれます。これは、ユーザーが出力を見るまでにどれだけ待つかを決定します。
ガイドを読む量子化はトレードオフであり、無料のアップグレードではありません
精度を下げるとメモリ使用量が減り、スループットが向上する場合があります。品質が変わるかどうかは、モデル、量子化手法、タスクによって異なります。
ガイドを読むセルフホスティングとAPI：計算をしよう
専有月額コストを100万トークンあたりの実効APIコストで割ると、エンジニアリングと信頼性のコストを除いた損益分岐点のボリュームが得られます。H100が1,690ドル、100万トークンあたり実効0.16ドルの場合、月間約105.6億トークンとなります。これは単一のH100がそのワークロードを処理できることを証明するものではありません。
ガイドを読む