weightsapi.INFERÊNCIAConsole
Navegação
Processe em lote cem mil documentos

Processe em lote cem mil documentos

Prepare um lote JSONL, envie-o e, em seguida, faça polling pelo arquivo de saída.

Requisitos#

Python 3.11 ou mais recente. Sem pacotes adicionais. Defina WEIGHTSAPI_API_KEY com sua própria chave. O acesso à IA requer login, uma recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito suficiente disponível para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade de modelos antes de enviar tráfego.

Execute a receita#

import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
    for i in range(100_000):
        f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
            "body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")

Antes da produção#

Esta receita cria um arquivo JSONL localmente. Upload, envio e recuperação de resultados requerem uma implantação em lote suportada. Verifique o status do serviço e confirme os termos de lote antes de enviar uma carga de trabalho; um desconto ou janela de conclusão listada não garante a aceitação do trabalho.