weightsapi.推論コンソール
ナビゲーション
LibreChat

LibreChat

LibreChatをWeightsAPIのOpenAI互換エンドポイントで設定します。

接続前に#

AIアクセスには、サインイン、最低100米ドルの確認済みトップアップ1回、認可されたAPIキー、リクエストに十分な利用可能クレジットが必要です。以降の各トップアップも最低100米ドルです。残高が少なくてもリクエストをカバーできる場合は利用可能です。クレジットには取引の検証が必要です。トラフィックを送信する前に、サービスステータスでモデルの利用可能性を確認してください。 キーフィールドではBearer接頭辞を付けずに独自のAPIキーを使用してください。ベースURLには既に/v1が含まれています。これらの設定は公式ドキュメントに照らしてチェックされており、ライブGPUデプロイメントに対してテストされたものではありません。

設定#

カスタムエンドポイントを librechat.yaml で設定し、その環境変数をLibreChatサーバーに提供し、必要に応じてこの設定をマウントし、LibreChatを再起動します。

endpoints:
  custom:
    - name: "Managed inference"
      apiKey: "${WEIGHTSAPI_API_KEY}"
      baseURL: "${https://weightsapi.com/v1}"
      models:
        default: ["Qwen/Qwen3-32B"]
        fetch: false
      titleConvo: false
      modelDisplayLabel: "Qwen3 32B"

apiKeybaseURLmodels.default は、文書化されているカスタムエンドポイントのフィールドです。fetch: false は明示的なモデルリストを使用します。provider を省略すると、OpenAI互換クライアントが使用されます。titleConvo: false は、追加のタイトル生成呼び出しを回避します。これを既存のファイルにマージし、インストール済みバージョンのトップレベル設定バージョンを保持してください。

出典: カスタムエンドポイント構造設定のインストール

接続を確認する#

モデルリストを取得し、短いメッセージを1件送信します。モデルリストの取得成功は、ツール、ビジョン、JSONスキーマのサポートを証明するものではありません。有効にする前に、選択したデプロイメントの機能を確認してください。