Tempo al primo token#
Il TTFT include l'accodamento e il prefill. Determina quanto a lungo un utente attende prima di vedere l'output.
Token al secondo#
Il throughput di decodifica determina la velocità con cui prosegue la risposta. Il throughput aggregato del server non coincide con la velocità di generazione per singolo utente.
Pubblica il carico di lavoro#
Lunghezza di input, lunghezza di output, concorrenza, GPU e regione devono accompagnare ogni numero. Un risultato veloce con prompt brevi non prevede una richiesta RAG a contesto lungo.