Что меняется#
Более низкая точность снижает использование памяти и может повысить пропускную способность. Изменится ли качество, зависит от модели, метода квантования и задачи.
Что измерять#
Сравнивайте один и тот же чекпоинт, подсказки и настройки генерации. Записывайте точную версию квантования и среды выполнения. Проверяйте точность извлечения, структурированное извлечение и аргументы инструментов, а не несколько приятных ответов в чате.
Наш стандарт отчетности#
Проверьте фактическую точность обслуживания для выбранного развертывания. Неуказанное значение не устанавливает BF16, FP8 или какую-либо другую квантизацию; подтвердите его перед сравнением использования памяти или качества вывода.