Перш ніж підключатися#
Доступ до ШІ вимагає входу, одного підтвердженого поповнення щонайменше на 100 доларів США, авторизованого ключа API та достатнього доступного кредиту для запиту. Кожне наступне поповнення також має мінімум 100 доларів США; менші залишки залишаються придатними, якщо вони покривають запит. Кредит вимагає верифікації транзакції. Перевірте статус сервісу щодо доступності моделей перед надсиланням трафіку. Використовуйте власний ключ API без префікса Bearer у полях ключа. Базова URL-адреса вже містить /v1. Ці конфігурації було перевірено за офіційною документацією, а не протестовано на живому GPU-розгортанні.
Конфігурація#
Налаштуйте користувацьку кінцеву точку в librechat.yaml; надайте її змінні середовища серверу LibreChat, змонтуйте цю конфігурацію там, де потрібно, і перезапустіть LibreChat.
endpoints:
custom:
- name: "Managed inference"
apiKey: "${WEIGHTSAPI_API_KEY}"
baseURL: "${https://weightsapi.com/v1}"
models:
default: ["Qwen/Qwen3-32B"]
fetch: false
titleConvo: false
modelDisplayLabel: "Qwen3 32B"
apiKey, baseURL і models.default — задокументовані поля користувацької кінцевої точки. fetch: false використовує явний список моделей. Якщо опустити provider, використовується OpenAI-сумісний клієнт. titleConvo: false дозволяє уникнути додаткового виклику генерації заголовка. Об’єднайте цей фрагмент з наявним файлом, зберігши верхньорівневу версію конфігурації встановленої версії.
Джерела: Структура користувацької кінцевої точки, встановлення конфігурації.
Перевірте підключення#
Отримайте список моделей, потім надішліть одне коротке повідомлення. Успішний список моделей не доводить підтримку інструментів, зору чи JSON-схеми. Перевірте можливості вибраного розгортання, перш ніж їх увімкнути.