Інженерні нотатки
Практичні компроміси під час запуску та використання відкритих моделей.
Скільки насправді коштує мільйон токенів
Мільйон вхідних токенів і мільйон вихідних токенів — це різні продукти. Для Qwen3 32B 800 000 вхідних і 200 000 вихідних токенів коштують $0,16 за вказаними тарифами. Та сама загальна кількість із 80% вихідних токенів коштує $0,19.
Читати посібникОцініть споживання перед міграцією
Виберіть репрезентативний тиждень і згрупуйте запити за робочим процесом. Зберігайте кількість токенів і часові позначки, не зберігаючи конфіденційний вміст в аналітиці.
Читати посібникЗатримка та пропускна здатність відповідають на різні запитання
TTFT включає чергу та попереднє заповнення. Вона визначає, як довго користувач чекає, перш ніж побачити вивід.
Читати посібникКвантизація — це компроміс, а не безкоштовне покращення
Нижча точність зменшує використання пам'яті та може покращити пропускну здатність. Чи змінюється якість, залежить від моделі, методу квантизації та завдання.
Читати посібникСамостійний хостинг проти API: порахуйте
Щомісячна вартість виділеного сервісу, поділена на ефективну вартість API за мільйон токенів, дає точку беззбитковості за обсягом до врахування витрат на інженерію та надійність. H100 за $1 690 та ефективні $0,16 за мільйон токенів дають близько 10,56 мільярда токенів на місяць. Це не доводить, що один H100 може обслужити таке робоче навантаження.
Читати посібник