Що змінюється#
Нижча точність зменшує використання пам'яті та може покращити пропускну здатність. Чи змінюється якість, залежить від моделі, методу квантизації та завдання.
Що вимірювати#
Порівнюйте ту саму контрольну точку, підказки та налаштування генерації. Записуйте точну квантизацію та версії середовища виконання. Тестуйте точність пошуку, структурованого вилучення та аргументи інструментів, а не кілька приємних відповідей у чаті.
Наш стандарт звітності#
Перевірте фактичну точність обслуговування для вибраного розгортання. Невизначене значення не встановлює BF16, FP8 або будь-яку іншу квантизацію; підтвердьте його перед порівнянням використання пам'яті чи якості виводу.