Czas do pierwszego tokena#
TTFT obejmuje kolejkowanie i prefill. Określa, jak długo użytkownik czeka, zanim zobaczy dane wyjściowe.
Tokeny na sekundę#
Przepustowość dekodowania określa, jak szybko odpowiedź jest kontynuowana. Zagregowana przepustowość serwera to nie to samo co szybkość generowania przypadająca na użytkownika.
Opublikuj obciążenie#
Długość wejścia, długość wyjścia, współbieżność, GPU i region powinny być podawane obok każdej liczby. Szybki wynik dla krótkiego zapytania nie przewiduje żądania RAG z długim kontekstem.