SSE inschakelen#
Stel stream: true en stream_options: { include_usage: true } in. Lees elke dataregel als JSON; voeg choices[0].delta.content toe wanneer aanwezig. Ga er niet van uit dat een netwerkchunk één gebeurtenis is.
Voltooiing en gebruik#
Een finish_reason sluit de keuze; het laatste gebruiksframe kan afzonderlijk arriveren. Stop alleen op [DONE] of een terminale fout. Bewaar gebruikstotalen in plaats van tokens te schatten op basis van tekens.
Onderbroken verzoeken#
De gateway behoudt een factureringsreservering totdat gezaghebbend providergebruik beschikbaar is. Een verbroken browserverbinding is geen bewijs dat de provider is gestopt met genereren. Als het uiteindelijke gebruik ontbreekt, blijft de reservering in afwachting van reconciliatie in plaats van stilzwijgend een schatting in rekening te brengen.
Browserlevering#
Bewaar de API-sleutel op een server. Gebruik uw eigen same-origin endpoint om SSE naar de browser door te sturen; zie het recept voor browserstreaming.
Voorbeeldverzoek
curl https://weightsapi.com/v1/chat/completions \
-H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": true
}'