weightsapi.推論コンソール
ナビゲーション
10万ドキュメントのバッチ処理

10万ドキュメントのバッチ処理

JSONLバッチを準備し、送信して、出力ファイルをポーリングします。

要件#

Python 3.11以降。追加パッケージは不要です。WEIGHTSAPI_API_KEYを自分のキーに設定してください。AIアクセスにはサインイン、最低100米ドルの確認済みチャージ1回、承認されたAPIキー、リクエストに十分な利用可能クレジットが必要です。以降の各チャージも最低100米ドルです。残高が少なくてもリクエストをカバーできる場合は使用可能です。クレジットにはトランザクションの検証が必要です。トラフィックを送信する前に、モデルの可用性についてサービス状態を確認してください。

レシピを実行する#

import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
    for i in range(100_000):
        f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
            "body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")

本番環境の前に#

このレシピはローカルにJSONLファイルを作成します。アップロード、送信、結果取得にはサポートされているバッチデプロイメントが必要です。ワークロードを送信する前にサービス状態を確認し、バッチ条件を確認してください。記載された割引や完了ウィンドウはジョブの受け入れを保証するものではありません。