Notas de engenharia
Compensações práticas ao executar e usar modelos abertos.
Quanto custa realmente um milhão de tokens
Um milhão de tokens de entrada e um milhão de tokens de saída são produtos diferentes. Com o Qwen3 32B, 800.000 tokens de entrada e 200.000 de saída custam US$ 0,16 nas tarifas listadas. O mesmo total com uma combinação de 80% de saída custa US$ 0,19.
Leia o guiaEstime o consumo antes de migrar
Selecione uma semana representativa e agrupe as solicitações por fluxo de trabalho. Preserve contagens de tokens e tempos sem manter conteúdo sensível nas análises.
Leia o guiaLatência e vazão respondem a perguntas diferentes
O TTFT inclui enfileiramento e prefill. Ele determina quanto tempo o usuário espera antes de ver a saída.
Leia o guiaQuantização é uma compensação, não uma atualização gratuita
Menor precisão reduz o uso de memória e pode melhorar a vazão. A mudança de qualidade depende do modelo, do método de quantização e da tarefa.
Leia o guiaAuto-hospedagem versus API: faça as contas
O custo mensal dedicado dividido pelo custo efetivo da API por milhão de tokens fornece o volume de equilíbrio antes dos custos de engenharia e confiabilidade. Uma H100 a US$ 1.690 e um custo efetivo de US$ 0,16 por milhão de tokens resultam em cerca de 10,56 bilhões de tokens por mês. Isso não prova que uma única H100 pode atender a essa carga de trabalho.
Leia o guia