Gereksinimler#
Python 3.11 veya daha yeni. Ek paket yok. WEIGHTSAPI_API_KEY'i kendi anahtarınıza ayarlayın. AI erişimi oturum açmayı, en az 100 USD tutarında bir onaylanmış yüklemeyi, yetkili bir API anahtarını ve istek için yeterli kullanılabilir krediyi gerektirir. Sonraki her yükleme de minimum 100 USD'dir; daha küçük kalan bakiyeler isteği karşıladığında kullanılabilir kalır. Kredi işlem doğrulaması gerektirir. Trafik göndermeden önce model kullanılabilirliği için hizmet durumunu kontrol edin.
Tarifi çalıştırın#
import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
for i in range(100_000):
f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
"body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")
Üretimden önce#
Bu tarif yerel olarak bir JSONL dosyası oluşturur. Yükleme, gönderim ve sonuç alma desteklenen bir toplu dağıtım gerektirir. Bir iş yükü göndermeden önce hizmet durumunu kontrol edin ve toplu şartları onaylayın; listelenen bir indirim veya tamamlanma penceresi iş kabulünü garanti etmez.