Время до первого токена#
TTFT включает ожидание в очереди и префилл. Он определяет, сколько пользователь ждёт до появления вывода.
Токенов в секунду#
Пропускная способность декодирования определяет, насколько быстро продолжается ответ. Совокупная пропускная способность сервера — не то же самое, что скорость генерации для отдельного пользователя.
Публикуйте рабочую нагрузку#
Длина входных данных, длина вывода, конкурентность, GPU и регион должны быть указаны рядом с каждым числом. Быстрый результат на коротком запросе не предсказывает поведение RAG-запроса с длинным контекстом.