Час до першого токена#
TTFT включає чергу та попереднє заповнення. Вона визначає, як довго користувач чекає, перш ніж побачити вивід.
Токени за секунду#
Пропускна здатність декодування визначає, наскільки швидко продовжується відповідь. Загальна пропускна здатність сервера не те саме, що швидкість генерації для окремого користувача.
Публікуйте робоче навантаження#
Довжина входу, довжина виходу, паралельність, GPU та регіон мають бути поруч із кожним числом. Швидкий результат для короткого запиту не передбачає поведінку для RAG-запиту з довгим контекстом.