weightsapi.INFERENZKonsole
Navigation
Hunderttausend Dokumente im Batch verarbeiten

Hunderttausend Dokumente im Batch verarbeiten

Bereiten Sie einen JSONL-Batch vor, senden Sie ihn ab und pollen Sie dann auf die Ausgabedatei.

Anforderungen#

Python 3.11 oder neuer. Keine zusätzlichen Pakete. Setzen Sie WEIGHTSAPI_API_KEY auf Ihren eigenen Schlüssel. Der KI-Zugriff erfordert eine Anmeldung, eine bestätigte Aufladung von mindestens 100 USD, einen autorisierten API-Schlüssel und ausreichend verfügbares Guthaben für die Anfrage. Jede spätere Aufladung hat ebenfalls ein Minimum von 100 USD; kleinere Restguthaben bleiben nutzbar, wenn sie die Anfrage abdecken. Guthaben erfordert Transaktionsverifizierung. Überprüfen Sie den Dienststatus auf Modellverfügbarkeit, bevor Sie Datenverkehr senden.

Rezept ausführen#

import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
    for i in range(100_000):
        f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
            "body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")

Vor der Produktion#

Dieses Rezept erstellt lokal eine JSONL-Datei. Upload, Übermittlung und Ergebnisabruf erfordern eine unterstützte Batch-Bereitstellung. Überprüfen Sie den Dienststatus und bestätigen Sie die Batch-Bedingungen, bevor Sie eine Arbeitslast übermitteln; ein aufgeführter Rabatt oder Abschlusszeitraum garantiert keine Jobannahme.