SSE aktivieren#
Setzen Sie stream: true und stream_options: { include_usage: true }. Lesen Sie jede data-Zeile als JSON; fügen Sie choices[0].delta.content an, wenn vorhanden. Gehen Sie nicht davon aus, dass ein Netzwerk-Chunk ein Ereignis ist.
Abschluss und Nutzung#
Ein finish_reason schließt die Auswahl; der finale Nutzungsframe kann separat eintreffen. Stoppen Sie nur bei [DONE] oder einem terminalen Fehler. Bewahren Sie Nutzungssummen auf, statt Token aus Zeichen zu schätzen.
Unterbrochene Anfragen#
Das Gateway hält eine Abrechnungsreservierung, bis maßgebliche Anbieter-Nutzungsdaten verfügbar sind. Ein Browser-Disconnect ist kein Beweis dafür, dass der Anbieter die Generierung gestoppt hat. Wenn die finale Nutzung fehlt, bleibt die Reservierung bis zum Abgleich ausstehend, statt stillschweigend eine Schätzung in Rechnung zu stellen.
Browser-Bereitstellung#
Bewahren Sie den API-Schlüssel auf einem Server auf. Verwenden Sie Ihren eigenen Same-Origin-Endpunkt, um SSE an den Browser weiterzuleiten; siehe Browser-Streaming-Rezept.
Anfragebeispiel
curl https://weightsapi.com/v1/chat/completions \
-H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": true
}'