İlk token'a kadar geçen süre#
TTFT kuyruğa almayı ve ön doldurmayı içerir. Kullanıcının çıktıyı görmeden önce ne kadar bekleyeceğini belirler.
Saniye başına token#
Kod çözme verimi, yanıtın ne kadar hızlı devam ettiğini belirler. Toplam sunucu verimi, kullanıcı başına üretim hızıyla aynı değildir.
İş yükünü yayımlayın#
Girdi uzunluğu, çıktı uzunluğu, eşzamanlılık, GPU ve bölge her sayının yanında yer almalıdır. Hızlı kısa istemli bir sonuç, uzun bağlamlı bir RAG isteğini öngörmez.