Найдите свою точку безубыточности#
Ежемесячная стоимость выделенного ресурса, делённая на эффективную стоимость API за миллион токенов, даёт пороговый объём до учёта затрат на инженерию и надёжность. H100 за $1,690 и эффективные $0.16 за миллион токенов дают около 10.56 миллиарда токенов в месяц. Это не доказывает, что один H100 способен обслужить такую нагрузку.
Учтите утилизацию#
Зарезервированный GPU оплачивается, даже когда простаивает. Включайте пропускную способность токенов при вашей конкурентности, пиковую ёмкость, время загрузки, отказоустойчивость, наблюдаемость и трудозатраты на дежурства.
Примите решение#
Используйте общую ёмкость API для переменного спроса. Рассматривайте выделенную конечную точку, когда у вас стабильная нагрузка, совместимая модель и измеренная пропускная способность.