weightsapi.INFÉRENCEConsole
Navigation
Aiguiller selon la difficulté de la tâche

Aiguiller selon la difficulté de la tâche

Une heuristique explicite aiguille les tâches courtes et l'analyse complexe.

Exigences#

Python 3.11 ou plus récent. Aucun paquet supplémentaire. Définissez WEIGHTSAPI_API_KEY sur votre propre clé. L'accès à l'IA nécessite une connexion, un rechargement confirmé d'au moins 100 USD, une clé API autorisée et suffisamment de crédit disponible pour la requête. Chaque rechargement ultérieur a également un minimum de 100 USD ; les soldes restants plus petits restent utilisables lorsqu'ils couvrent la requête. Le crédit nécessite une vérification de transaction. Vérifiez le statut du service pour la disponibilité des modèles avant d'envoyer du trafic.

Exécuter la recette#

import os, json, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
def chat(messages, model="Qwen/Qwen3-32B", **options):
    payload = dict(model=model, messages=messages, max_tokens=512, **options)
    req = urllib.request.Request(BASE+"/chat/completions", json.dumps(payload).encode(),
        {"Authorization": "Bearer "+KEY, "Content-Type": "application/json"})
    with urllib.request.urlopen(req, timeout=120) as response:
        return json.load(response)
question = input("Question: ")
complex_task = len(question) > 300 or any(w in question.lower() for w in ("prove", "derive", "analyze", "debug"))
model = "deepseek-ai/DeepSeek-R1-0528" if complex_task else "meta-llama/Llama-3.1-8B-Instruct"
response = chat([{"role":"user","content":question}], model=model)
print("Selected:", model)
print(response["choices"][0]["message"]["content"])
print("Usage:", response.get("usage"))

Avant la mise en production#

Cette règle de routage est une heuristique transparente, pas un classificateur de difficulté validé. Évaluez-la par rapport à votre charge de travail avant de compter sur des économies de coûts.