Инженерные заметки
Практические компромиссы при запуске и использовании открытых моделей.
Сколько на самом деле стоит миллион токенов
Миллион входных токенов и миллион выходных токенов — это разные продукты. Для Qwen3 32B 800 000 входных и 200 000 выходных токенов стоят $0.16 по указанным тарифам. Тот же общий объём с 80% выходных токенов стоит $0.19.
Читать руководствоОцените потребление перед миграцией
Выберите репрезентативную неделю и сгруппируйте запросы по рабочим процессам. Сохраняйте количество токенов и временные метки, не храня конфиденциальное содержимое в аналитике.
Читать руководствоЗадержка и пропускная способность отвечают на разные вопросы
TTFT включает ожидание в очереди и префилл. Он определяет, сколько пользователь ждёт до появления вывода.
Читать руководствоКвантование — это компромисс, а не бесплатное улучшение
Более низкая точность снижает использование памяти и может повысить пропускную способность. Изменится ли качество, зависит от модели, метода квантования и задачи.
Читать руководствоСамостоятельный хостинг против API: посчитайте сами
Ежемесячная стоимость выделенного ресурса, делённая на эффективную стоимость API за миллион токенов, даёт пороговый объём до учёта затрат на инженерию и надёжность. H100 за $1,690 и эффективные $0.16 за миллион токенов дают около 10.56 миллиарда токенов в месяц. Это не доказывает, что один H100 способен обслужить такую нагрузку.
Читать руководство