Notas de ingeniería
Compensaciones prácticas al ejecutar y usar modelos abiertos.
Cuánto cuesta realmente un millón de tokens
Un millón de tokens de entrada y un millón de tokens de salida son productos diferentes. Con Qwen3 32B, 800,000 tokens de entrada y 200,000 de salida cuestan $0.16 a las tarifas listadas. El mismo total con un 80% de salida cuesta $0.19.
Leer la guíaEstime el consumo antes de migrar
Seleccione una semana representativa y agrupe las solicitudes por flujo de trabajo. Conserve los recuentos de tokens y los tiempos sin guardar contenido sensible en la analítica.
Leer la guíaLa latencia y el rendimiento responden a preguntas diferentes
El TTFT incluye la cola y el prellenado. Determina cuánto espera un usuario antes de ver la salida.
Leer la guíaLa cuantización es una compensación, no una mejora gratuita
Una precisión menor reduce el uso de memoria y puede mejorar el rendimiento. Que la calidad cambie depende del modelo, del método de cuantización y de la tarea.
Leer la guíaAutoalojamiento frente a API: haga los cálculos
El costo mensual dedicado dividido por el costo efectivo por millón de tokens de la API da el volumen de equilibrio antes de los costos de ingeniería y fiabilidad. Una H100 a $1,690 y un costo efectivo de $0.16 por millón de tokens da unos 10.56 mil millones de tokens al mes. Esto no demuestra que una sola H100 pueda servir esa carga de trabajo.
Leer la guía