Temps jusqu'au premier jeton#
Le TTFT inclut la mise en file d'attente et le préremplissage. Il détermine combien de temps un utilisateur attend avant de voir la sortie.
Jetons par seconde#
Le débit de décodage détermine la rapidité avec laquelle la réponse se poursuit. Le débit agrégé du serveur n'est pas la même chose que la vitesse de génération par utilisateur.
Publiez la charge de travail#
La longueur d'entrée, la longueur de sortie, le nombre de requêtes simultanées, le GPU et la région doivent figurer à côté de chaque chiffre. Un résultat rapide sur invite courte ne prédit pas une requête RAG à long contexte.