Cosa cambia#
Una precisione inferiore riduce l'uso della memoria e può migliorare il throughput. Se la qualità cambi dipende dal modello, dal metodo di quantizzazione e dall'attività.
Cosa misurare#
Confronta lo stesso checkpoint, gli stessi prompt e le stesse impostazioni di generazione. Registra le versioni esatte di quantizzazione e runtime. Testa la fedeltà del recupero, l'estrazione strutturata e gli argomenti degli strumenti piuttosto che poche risposte piacevoli in chat.
Il nostro standard di reporting#
Controlla la precisione di serving effettiva per la distribuzione selezionata. Un valore non specificato non stabilisce BF16, FP8 o altre quantizzazioni; confermalo prima di confrontare l'uso della memoria o la qualità dell'output.