Tijd tot eerste token#
TTFT omvat wachtrij- en prefilltijd. Het bepaalt hoe lang een gebruiker wacht voordat er output zichtbaar is.
Tokens per seconde#
Decode-doorvoer bepaalt hoe snel het antwoord verdergaat. Geaggregeerde serverdoorvoer is niet hetzelfde als de generatiesnelheid per gebruiker.
Publiceer de workload#
Inputlengte, outputlengte, concurrency, GPU en regio horen bij elk getal te staan. Een snel resultaat voor een korte prompt voorspelt geen long-context RAG-aanvraag.