التكميم مقايضة، وليس ترقية مجانية

ما الذي يتغير#

الدقة الأقل تقلل استخدام الذاكرة ويمكن أن تحسّن الإنتاجية. يعتمد تغيّر الجودة على النموذج وطريقة التكميم والمهمة.

ما الذي يجب قياسه#

قارن نفس نقطة الفحص والمطالبات وإعدادات التوليد. سجّل التكميم الفعلي وإصدارات وقت التشغيل بدقة. اختبر دقة الاسترجاع والاستخراج المنظم ووسائط الأدوات بدلاً من بعض ردود الدردشة اللطيفة.

معيار الإبلاغ لدينا#

تحقق من دقة العرض الفعلية للنشر المحدد. القيمة غير المحددة لا تثبت BF16 أو FP8 أو أي تكميم آخر؛ أكد ذلك قبل مقارنة استخدام الذاكرة أو جودة المخرجات.