Zanim się połączysz#
Dostęp do AI wymaga zalogowania, jednego potwierdzonego doładowania w wysokości co najmniej 100 USD, autoryzowanego klucza API i wystarczających dostępnych środków na żądanie. Każde kolejne doładowanie również ma minimum 100 USD; mniejsze pozostałe salda pozostają użyteczne, gdy pokrywają żądanie. Środki wymagają weryfikacji transakcji. Sprawdź status usługi, aby poznać dostępność modeli przed wysłaniem ruchu. Użyj własnego klucza API bez prefiksu Bearer w polach klucza. Bazowy adres URL już zawiera /v1. Te konfiguracje zostały sprawdzone pod kątem oficjalnej dokumentacji, a nie przetestowane na działającym wdrożeniu GPU.
Konfiguracja#
Skonfiguruj niestandardowy punkt końcowy w librechat.yaml; podaj jego zmienne środowiskowe serwerowi LibreChat, zamontuj ten plik konfiguracyjny tam, gdzie jest to wymagane, i uruchom ponownie LibreChat.
endpoints:
custom:
- name: "Managed inference"
apiKey: "${WEIGHTSAPI_API_KEY}"
baseURL: "${https://weightsapi.com/v1}"
models:
default: ["Qwen/Qwen3-32B"]
fetch: false
titleConvo: false
modelDisplayLabel: "Qwen3 32B"
apiKey, baseURL i models.default to udokumentowane pola niestandardowego punktu końcowego. fetch: false używa jawnej listy modeli. Pominięcie provider powoduje użycie klienta zgodnego z OpenAI. titleConvo: false pozwala uniknąć dodatkowego wywołania generowania tytułu. Scal to z istniejącym plikiem, zachowując wersję konfiguracji najwyższego poziomu zainstalowanej wersji.
Źródła: Struktura niestandardowego punktu końcowego, instalacja konfiguracji.
Zweryfikuj połączenie#
Pobierz listę modeli, a następnie wyślij jedną krótką wiadomość. Pomyślne pobranie listy modeli nie dowodzi wsparcia dla narzędzi, wizji ani schematu JSON. Sprawdź możliwości wybranego wdrożenia przed ich włączeniem.