weightsapi.INFERENCJAKonsola
Nawigacja
Strumieniuj do przeglądarki

Strumieniuj do przeglądarki

Serwer Node tej samej domeny przechowuje klucz API i przekazuje SSE.

Wymagania#

Node 22 lub nowszy. Ustaw WEIGHTSAPI_API_KEY na własny klucz. Dostęp do AI wymaga zalogowania, jednego potwierdzonego doładowania co najmniej 100 USD, autoryzowanego klucza API i wystarczającego dostępnego kredytu na żądanie. Każde kolejne doładowanie również ma minimum 100 USD; mniejsze pozostałe salda pozostają użyteczne, gdy pokrywają żądanie. Kredyt wymaga weryfikacji transakcji. Sprawdź status usługi pod kątem dostępności modeli przed wysłaniem ruchu.

Uruchom przepis#

// Node 22+. Save as server.mjs, set WEIGHTSAPI_API_KEY, then node server.mjs.
import http from "node:http";
const base = process.env.WEIGHTSAPI_BASE_URL || "https://weightsapi.com/v1";
http.createServer(async (req, res) => {
  if (req.url !== "/stream") {
    res.setHeader("Content-Type", "text/html");
    return res.end('<button id="run">Run</button><pre id="out"></pre><script>run.onclick=async()=>{out.textContent="";const r=await fetch("/stream");const reader=r.body.getReader();const decoder=new TextDecoder();for(;;){const {value,done}=await reader.read();if(done)break;out.textContent+=decoder.decode(value,{stream:true});}}<\/script>');
  }
  try {
    const upstream = await fetch(base+"/chat/completions", {method:"POST",
      headers:{"Content-Type":"application/json",Authorization:"Bearer "+process.env.WEIGHTSAPI_API_KEY},
      body:JSON.stringify({model:"Qwen/Qwen3-32B",messages:[{role:"user",content:"Explain SSE."}],stream:true,max_tokens:256})});
    res.writeHead(upstream.status, {"Content-Type":upstream.headers.get("content-type")||"text/plain","Cache-Control":"no-store"});
    for await (const chunk of upstream.body) res.write(chunk);
    res.end();
  } catch {res.writeHead(502);res.end("Upstream unavailable");}
}).listen(8080,"127.0.0.1");

Przed produkcją#

Ogranicz współbieżność i ponowienia, waliduj dane wyjściowe i obsługuj błędy przed udostępnieniem przepływu pracy użytkownikom.