weightsapi.INFERENTIEConsole
Navigatie
Stream naar een browser

Stream naar een browser

Een same-origin Node-server bewaart de API-sleutel en stuurt SSE door.

Vereisten#

Node 22 of nieuwer. Stel WEIGHTSAPI_API_KEY in op uw eigen sleutel. AI-toegang vereist aanmelding, één bevestigde opwaardering van ten minste USD 100, een geautoriseerde API-sleutel en voldoende beschikbaar tegoed voor het verzoek. Elke latere opwaardering heeft ook een minimum van USD 100; kleinere resterende saldi blijven bruikbaar wanneer ze het verzoek dekken. Tegoed vereist transactieverificatie. Controleer de servicestatus voor modelbeschikbaarheid voordat u verkeer verzendt.

Voer het recept uit#

// Node 22+. Save as server.mjs, set WEIGHTSAPI_API_KEY, then node server.mjs.
import http from "node:http";
const base = process.env.WEIGHTSAPI_BASE_URL || "https://weightsapi.com/v1";
http.createServer(async (req, res) => {
  if (req.url !== "/stream") {
    res.setHeader("Content-Type", "text/html");
    return res.end('<button id="run">Run</button><pre id="out"></pre><script>run.onclick=async()=>{out.textContent="";const r=await fetch("/stream");const reader=r.body.getReader();const decoder=new TextDecoder();for(;;){const {value,done}=await reader.read();if(done)break;out.textContent+=decoder.decode(value,{stream:true});}}<\/script>');
  }
  try {
    const upstream = await fetch(base+"/chat/completions", {method:"POST",
      headers:{"Content-Type":"application/json",Authorization:"Bearer "+process.env.WEIGHTSAPI_API_KEY},
      body:JSON.stringify({model:"Qwen/Qwen3-32B",messages:[{role:"user",content:"Explain SSE."}],stream:true,max_tokens:256})});
    res.writeHead(upstream.status, {"Content-Type":upstream.headers.get("content-type")||"text/plain","Cache-Control":"no-store"});
    for await (const chunk of upstream.body) res.write(chunk);
    res.end();
  } catch {res.writeHead(502);res.end("Upstream unavailable");}
}).listen(8080,"127.0.0.1");

Voor productie#

Begrens gelijktijdigheid en nieuwe pogingen, valideer outputs en handel fouten af voordat u de workflow aan gebruikers blootstelt.