weightsapi.推論コンソール
ナビゲーション
LlamaIndex (Python)

LlamaIndex (Python)

LlamaIndex (Python)をWeightsAPIのOpenAI互換エンドポイントで設定します。

接続前に#

AIアクセスには、サインイン、最低100米ドルの確認済みトップアップ1回、認可されたAPIキー、リクエストに十分な利用可能クレジットが必要です。以降の各トップアップも最低100米ドルです。残高が少なくてもリクエストをカバーできる場合は利用可能です。クレジットには取引の検証が必要です。トラフィックを送信する前に、サービスステータスでモデルの利用可能性を確認してください。 キーフィールドではBearer接頭辞を付けずに独自のAPIキーを使用してください。ベースURLには既に/v1が含まれています。これらの設定は公式ドキュメントに照らしてチェックされており、ライブGPUデプロイメントに対してテストされたものではありません。

設定#

llama-index-llms-openai-like をインストールし、次に:

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="Qwen/Qwen3-32B",
    api_base=os.environ["https://weightsapi.com/v1"],
    api_key=os.environ["WEIGHTSAPI_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))

任意の互換モデルIDには OpenAILike を使用します。正確なURLパラメータは api_base です。RAGや長い入力を使用する場合は、実際のデプロイメントから context_window を設定します。is_function_calling_model をtrueに変更するのは、エンドポイントのサポートが確認された後だけにしてください。

出典: 現在のOpenAILike APIリファレンス

接続を確認する#

モデルリストを取得し、短いメッセージを1件送信します。モデルリストの取得成功は、ツール、ビジョン、JSONスキーマのサポートを証明するものではありません。有効にする前に、選択したデプロイメントの機能を確認してください。