何が変わるか#
精度を下げるとメモリ使用量が減り、スループットが向上する場合があります。品質が変わるかどうかは、モデル、量子化手法、タスクによって異なります。
何を測定すべきか#
同じチェックポイント、プロンプト、生成設定を比較します。正確な量子化とランタイムバージョンを記録します。いくつかの心地よいチャット応答ではなく、検索忠実度、構造化抽出、ツール引数をテストします。
当社のレポート基準#
選択したデプロイメントの実際のサービス精度を確認してください。未指定の値はBF16、FP8、その他の量子化を確立するものではありません。メモリ使用量や出力品質を比較する前に確認してください。