Ne değişir#
Daha düşük hassasiyet bellek kullanımını azaltır ve verimi artırabilir. Kalitenin değişip değişmeyeceği modele, niceleme yöntemine ve göreve bağlıdır.
Ne ölçülmeli#
Aynı kontrol noktasını, istemleri ve üretim ayarlarını karşılaştırın. Kesin niceleme ve çalışma zamanı sürümlerini kaydedin. Birkaç hoş sohbet yanıtı yerine getirme doğruluğunu, yapılandırılmış çıkarımı ve araç bağımsız değişkenlerini test edin.
Raporlama standardımız#
Seçilen dağıtım için gerçek sunum hassasiyetini kontrol edin. Belirtilmemiş bir değer BF16, FP8 veya başka bir nicemlemeyi belirlemez; bellek kullanımını veya çıktı kalitesini karşılaştırmadan önce onaylayın.