Abilita SSE#
Imposta stream: true e stream_options: { include_usage: true }. Leggi ogni riga data come JSON; aggiungi choices[0].delta.content quando presente. Non dare per scontato che un blocco di rete sia un singolo evento.
Completamento e utilizzo#
finish_reason chiude la scelta; il frame finale di utilizzo può arrivare separatamente. Fermati solo su [DONE] o su un errore terminale. Conserva i totali di utilizzo invece di stimare i token dai caratteri.
Richieste interrotte#
Il gateway mantiene una prenotazione di fatturazione finché non è disponibile l'utilizzo autorevole del provider. Una disconnessione del browser non è la prova che il provider abbia smesso di generare. Se l'utilizzo finale manca, la prenotazione resta in attesa di riconciliazione invece di addebitare silenziosamente una stima.
Consegna al browser#
Conserva la chiave API su un server. Usa il tuo endpoint same-origin per inoltrare gli SSE al browser; consulta la guida allo streaming browser.
Esempio di richiesta
curl https://weightsapi.com/v1/chat/completions \
-H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": true
}'