weightsapi.推論コンソール
ナビゲーション
タスクの難易度でルーティング

タスクの難易度でルーティング

明示的なヒューリスティックが短いタスクと複雑な分析をルーティングします。

要件#

Python 3.11以降。追加パッケージは不要です。WEIGHTSAPI_API_KEYを自分のキーに設定してください。AIアクセスにはサインイン、最低100米ドルの確認済みチャージ1回、承認されたAPIキー、リクエストに十分な利用可能クレジットが必要です。以降の各チャージも最低100米ドルです。残高が少なくてもリクエストをカバーできる場合は使用可能です。クレジットにはトランザクションの検証が必要です。トラフィックを送信する前に、モデルの可用性についてサービス状態を確認してください。

レシピの実行#

import os, json, urllib.request
BASE = os.environ.get("WEIGHTSAPI_BASE_URL", "https://weightsapi.com/v1")
KEY = os.environ["WEIGHTSAPI_API_KEY"]
def chat(messages, model="Qwen/Qwen3-32B", **options):
    payload = dict(model=model, messages=messages, max_tokens=512, **options)
    req = urllib.request.Request(BASE+"/chat/completions", json.dumps(payload).encode(),
        {"Authorization": "Bearer "+KEY, "Content-Type": "application/json"})
    with urllib.request.urlopen(req, timeout=120) as response:
        return json.load(response)
question = input("Question: ")
complex_task = len(question) > 300 or any(w in question.lower() for w in ("prove", "derive", "analyze", "debug"))
model = "deepseek-ai/DeepSeek-R1-0528" if complex_task else "meta-llama/Llama-3.1-8B-Instruct"
response = chat([{"role":"user","content":question}], model=model)
print("Selected:", model)
print(response["choices"][0]["message"]["content"])
print("Usage:", response.get("usage"))

本番前#

このルーティングルールは透明性のあるヒューリスティックであり、検証済みの難易度分類器ではありません。コスト削減に依存する前に、ご自身のワークロードに対して評価してください。