weightsapi.INFERENCIAConsola
Navegación
Procesar por lotes cien mil documentos

Procesar por lotes cien mil documentos

Prepare un lote JSONL, envíelo y luego consulte el archivo de salida.

Requisitos#

Python 3.11 o más reciente. No se requieren paquetes adicionales. Establezca WEIGHTSAPI_API_KEY con su propia clave. El acceso a IA requiere inicio de sesión, una recarga confirmada de al menos USD 100, una clave API autorizada y suficiente crédito disponible para la solicitud. Cada recarga posterior también tiene un mínimo de USD 100; los saldos restantes más pequeños siguen siendo utilizables cuando cubren la solicitud. El crédito requiere verificación de la transacción. Verifique el estado del servicio para conocer la disponibilidad del modelo antes de enviar tráfico.

Ejecute la receta#

import os, json, time, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
# Confirm batch-service availability before attempting upload or submission.
with open("batch.jsonl", "w", encoding="utf-8") as f:
    for i in range(100_000):
        f.write(json.dumps({"custom_id":str(i),"method":"POST","url":"/v1/chat/completions",
            "body":{"model":"Qwen/Qwen3-32B","messages":[{"role":"user","content":"Summarize document "+str(i)}],"max_tokens":64}})+"\n")
print("Wrote 100,000 independent requests to batch.jsonl.")
print("Upload with the provider's batch adapter, then submit /v1/batches with completion_window=24h.")
print("Do not send this file to the synchronous endpoint: the batch discount applies only to batch jobs.")

Antes de producción#

Esta receta crea un archivo JSONL localmente. La carga, el envío y la recuperación de resultados requieren una implementación por lotes compatible. Verifique el estado del servicio y confirme los términos del lote antes de enviar una carga de trabajo; un descuento o ventana de finalización listados no garantizan la aceptación del trabajo.