O que muda#
Menor precisão reduz o uso de memória e pode melhorar a vazão. A mudança de qualidade depende do modelo, do método de quantização e da tarefa.
O que medir#
Compare o mesmo checkpoint, prompts e configurações de geração. Registre a quantização exata e as versões do runtime. Teste fidelidade de recuperação, extração estruturada e argumentos de ferramentas em vez de algumas respostas agradáveis de chat.
Nossa norma de relatórios#
Verifique a precisão real de serviço para a implantação selecionada. Um valor não especificado não estabelece BF16, FP8 ou qualquer outra quantização; confirme-o antes de comparar uso de memória ou qualidade de saída.