weightsapi.推理控制台
导航
流式传输

流式传输

消费服务器发送的事件并处理断开连接。

启用 SSE#

设置 stream: true 和 stream_options: { include_usage: true }。将每个 data 行读取为 JSON;当存在时追加 choices[0].delta.content。不要假设一个网络数据块就是一个事件。

完成与使用量#

finish_reason 关闭该选项;最终的使用量帧可能会单独到达。仅在 [DONE] 或终止性错误时停止。保留使用量总计,而不是根据字符估算 token。

中断的请求#

网关会保留账单预留,直到获得权威的提供方使用量。浏览器断开并不能证明提供方已停止生成。如果缺少最终使用量,预留将保持待对账状态,而不是静默收取估算费用。

浏览器传送#

将 API 密钥保存在服务器上。使用您自己的同源端点将 SSE 转发到浏览器;请参阅浏览器流式传输配方

请求示例

curl https://weightsapi.com/v1/chat/completions \
  -H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "Qwen/Qwen3-32B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "stream": true
}'