SSE 활성화#
stream: true 및 stream_options: { include_usage: true }를 설정하십시오. 각 데이터 줄을 JSON으로 읽고, 존재하는 경우 choices[0].delta.content를 추가하십시오. 네트워크 청크가 하나의 이벤트라고 가정하지 마십시오.
완료 및 사용량#
finish_reason이 선택을 닫으며, 최종 사용량 프레임은 별도로 도착할 수 있습니다. [DONE] 또는 치명적 오류에서만 중지하십시오. 문자에서 토큰을 추정하지 말고 사용량 합계를 유지하십시오.
중단된 요청#
게이트웨이는 신뢰할 수 있는 공급자 사용량을 사용할 수 있을 때까지 청구 예약을 유지합니다. 브라우저 연결 해제는 공급자가 생성을 중단했다는 증거가 아닙니다. 최종 사용량이 누락된 경우 예약은 추정치를 조용히 청구하는 대신 조정 대기 상태로 유지됩니다.
브라우저 전달#
API 키를 서버에 보관하십시오. 자체 동일 출처 엔드포인트를 사용하여 SSE를 브라우저로 전달하십시오. 브라우저 스트리밍 레시피를 참조하십시오.
요청 예시
curl https://weightsapi.com/v1/chat/completions \
-H "Authorization: Bearer $WEIGHTSAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-32B",
"messages": [
{
"role": "user",
"content": "Hello!"
}
],
"stream": true
}'