Tempo até o primeiro token#
O TTFT inclui enfileiramento e prefill. Ele determina quanto tempo o usuário espera antes de ver a saída.
Tokens por segundo#
A vazão de decodificação determina a rapidez com que a resposta continua. A vazão agregada do servidor não é a mesma coisa que a velocidade de geração por usuário.
Publique a carga de trabalho#
Comprimento da entrada, comprimento da saída, concorrência, GPU e região devem acompanhar cada número. Um resultado rápido de prompt curto não prevê uma solicitação RAG de contexto longo.