지연 시간과 처리량은 서로 다른 질문에 답합니다

첫 토큰까지의 시간#

TTFT에는 대기열과 프리필이 포함됩니다. 사용자가 출력을 보기 전에 얼마나 기다리는지를 결정합니다.

초당 토큰 수#

디코드 처리량은 답변이 얼마나 빨리 이어지는지를 결정합니다. 서버 전체 처리량은 사용자별 생성 속도와 같지 않습니다.

워크로드를 공개하세요#

입력 길이, 출력 길이, 동시성, GPU, 지역은 모든 수치와 함께 명시되어야 합니다. 짧은 프롬프트에서 빠른 결과가 긴 컨텍스트 RAG 요청을 예측하지는 않습니다.