Notatki inżynieryjne
Praktyczne kompromisy w uruchamianiu i używaniu modeli otwartych.
Ile naprawdę kosztuje milion tokenów
Milion tokenów wejściowych i milion tokenów wyjściowych to różne produkty. W przypadku Qwen3 32B, 800,000 tokenów wejściowych i 200,000 wyjściowych kosztuje $0.16 według podanych stawek. Ta sama suma przy 80% tokenów wyjściowych kosztuje $0.19.
Przeczytaj przewodnikOszacuj zużycie przed migracją
Wybierz reprezentatywny tydzień i pogrupuj żądania według przepływu pracy. Zachowaj liczbę tokenów i czasy bez przechowywania wrażliwych treści w analityce.
Przeczytaj przewodnikOpóźnienie i przepustowość odpowiadają na różne pytania
TTFT obejmuje kolejkowanie i prefill. Określa, jak długo użytkownik czeka, zanim zobaczy dane wyjściowe.
Przeczytaj przewodnikKwantyzacja to kompromis, a nie darmowa aktualizacja
Niższa precyzja zmniejsza zużycie pamięci i może poprawić przepustowość. To, czy jakość się zmieni, zależy od modelu, metody kwantyzacji i zadania.
Przeczytaj przewodnikHosting własny kontra API: przelicz to
Miesięczny koszt dedykowany podzielony przez efektywny koszt API za milion tokenów daje próg rentowności wolumenu, zanim uwzględni się koszty inżynieryjne i niezawodności. H100 w cenie $1,690 i efektywny koszt $0.16 za milion tokenów daje około 10.56 miliarda tokenów miesięcznie. To nie dowodzi, że pojedynczy H100 może obsłużyć takie obciążenie.
Przeczytaj przewodnik