Trouvez votre point d'équilibre#
Le coût mensuel dédié divisé par le coût API effectif par million de jetons donne le volume d'équilibre avant les coûts d'ingénierie et de fiabilité. Un H100 à $1 690 et un coût effectif de $0,16 par million de jetons donnent environ 10,56 milliards de jetons par mois. Cela ne prouve pas qu'un seul H100 peut servir cette charge de travail.
Ajoutez l'utilisation#
Un GPU réservé est facturé même inactif. Incluez le débit de jetons au niveau de parallélisme prévu, la capacité de pointe, le temps de chargement, le basculement, l'observabilité et l'effort d'astreinte.
Prenez la décision#
Utilisez la capacité API partagée pour une demande variable. Évaluez un point de terminaison dédié lorsque vous avez une charge stable, un modèle compatible et un débit mesuré.