Eşiğinizi bulun#
Ayrılmış aylık maliyetin etkin milyon token başına API maliyetine bölünmesi, mühendislik ve güvenilirlik maliyetlerinden önceki hacim eşiğini verir. $1,690 maliyetli bir H100 ve milyon token başına etkin $0.16 ile ayda yaklaşık 10.56 milyar token eder. Bu, tek bir H100'ün bu iş yükünü karşılayabileceğini kanıtlamaz.
Kullanımı ekleyin#
Ayrılmış bir GPU boştayken de faturalandırılır. Eşzamanlılığınızdaki token verimini, tepe kapasiteyi, yükleme süresini, yük devretmeyi, gözlemlenebilirliği ve nöbet çabasını dahil edin.
Kararı verin#
Değişken talep için paylaşımlı API kapasitesini kullanın. Kararlı yükünüz, uyumlu bir modeliniz ve ölçülmüş veriminiz olduğunda ayrılmış bir uç noktayı değerlendirin.