Ce qui change#
Une précision réduite diminue l'utilisation de la mémoire et peut améliorer le débit. L’effet sur la qualité dépend du modèle, de la méthode de quantification et de la tâche.
Ce qu'il faut mesurer#
Comparez la même version du modèle (checkpoint), les mêmes invites et les mêmes paramètres de génération. Enregistrez la quantification exacte et les versions d'exécution. Testez la fidélité de la récupération, l'extraction structurée et les arguments d'outils plutôt que quelques réponses de chat agréables.
Les informations de quantification publiées#
Vérifiez la précision numérique réellement utilisée pour le déploiement sélectionné. Une valeur non précisée ne permet de conclure ni à du BF16, ni à du FP8, ni à une autre quantification. Confirmez-la avant de comparer la mémoire utilisée ou la qualité des réponses.