weightsapi.ИНФЕРЕНЦИЯКонсоль
Навигация
Пакетная обработка ста тысяч документов

Пакетная обработка ста тысяч документов

Подготовьте пакет JSONL, отправьте его, затем опрашивайте о выходном файле.

Требования#

Python 3.11 или новее. Без дополнительных пакетов. Установите WEIGHTSAPI_API_KEY на ваш собственный ключ. Для доступа к ИИ требуется вход, одно подтвержденное пополнение на сумму не менее 100 USD, авторизованный ключ API и достаточный доступный кредит для запроса. Каждое последующее пополнение также имеет минимум 100 USD; меньшие остатки остаются пригодными для использования, если они покрывают запрос. Кредит требует проверки транзакции. Проверьте статус сервиса на доступность модели перед отправкой трафика.

Запустите рецепт#

import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
    for i in range(100_000):
        f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
            "body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")

Перед продакшеном#

Этот рецепт создает файл JSONL локально. Загрузка, отправка и получение результатов требуют поддерживаемого пакетного развертывания. Проверьте статус сервиса и подтвердите условия пакетной обработки перед отправкой рабочей нагрузки; указанная скидка или окно завершения не гарантируют принятие задания.