SSE'yi etkinleştirin#
stream: true ve stream_options: { include_usage: true } ayarlayın. Her veri satırını JSON olarak okuyun; mevcut olduğunda choices[0].delta.content'i ekleyin. Bir ağ parçasının tek bir olay olduğunu varsaymayın.
Bitirme ve kullanım#
Bir finish_reason seçeneği kapatır; son kullanım çerçevesi ayrı olarak gelebilir. Yalnızca [DONE] veya ölümcül bir hata üzerine durun. Kullanım toplamlarını karakterlerden token tahmin etmek yerine saklayın.
Kesintiye uğrayan istekler#
Ağ geçidi, yetkili sağlayıcı kullanımı mevcut olana kadar bir faturalandırma rezervasyonu tutar. Tarayıcı bağlantısının kopması, sağlayıcının üretmeyi bıraktığının kanıtı değildir. Son kullanım eksikse, rezervasyon sessizce bir tahmin ücretlendirmek yerine mutabakat bekler.
Tarayıcıya teslim#
API anahtarını bir sunucuda tutun. SSE'yi tarayıcıya iletmek için kendi aynı kökenli uç noktanızı kullanın; tarayıcı akış tarifine bakın.
İstek örneği
curl https://weightsapi.com/v1/chat/completions \
-H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": true
}'