زمن الاستجابة والإنتاجية يجيبان على أسئلة مختلفة

الوقت حتى أول رمز#

TTFT يشمل الانتظار في الطابور والتعبئة الأولية. وهو يحدد مدة انتظار المستخدم قبل رؤية الإخراج.

الرموز في الثانية#

إنتاجية فك الترميز تحدد مدى سرعة استمرار الإجابة. إنتاجية الخادم الإجمالية ليست نفس سرعة التوليد لكل مستخدم.

انشر عبء العمل#

طول الإدخال، وطول الإخراج، والتزامن، ووحدة معالجة الرسومات، والمنطقة يجب أن تكون بجانب كل رقم. نتيجة سريعة لمطالبة قصيرة لا تتنبأ بطلب RAG طويل السياق.