Bağlanmadan önce#
AI erişimi, oturum açmayı, en az 100 USD tutarında onaylanmış bir yükleme, yetkili bir API anahtarı ve istek için yeterli kullanılabilir kredi gerektirir. Sonraki her yükleme de 100 USD minimuma sahiptir; daha küçük kalan bakiyeler isteği karşıladığında kullanılabilir kalır. Kredi, işlem doğrulaması gerektirir. Trafik göndermeden önce model kullanılabilirliği için hizmet durumunu kontrol edin. Anahtar alanlarında Bearer öneki olmadan kendi API anahtarınızı kullanın. Temel URL zaten /v1 içerir. Bu yapılandırmalar canlı bir GPU dağıtımına karşı test edilmedi, resmi belgelere göre kontrol edildi.
Yapılandırma#
librechat.yaml içinde özel uç noktayı yapılandırın; ortam değişkenlerini LibreChat sunucusuna sağlayın, bu yapılandırmayı gereken yere bağlayın ve LibreChat'i yeniden başlatın.
endpoints:
custom:
- name: "Managed inference"
apiKey: "${WEIGHTSAPI_API_KEY}"
baseURL: "${https://weightsapi.com/v1}"
models:
default: ["Qwen/Qwen3-32B"]
fetch: false
titleConvo: false
modelDisplayLabel: "Qwen3 32B"
apiKey, baseURL ve models.default belgelenmiş özel uç nokta alanlarıdır. fetch: false açık model listesini kullanır. provider atlanırsa OpenAI uyumlu istemci kullanılır. titleConvo: false, ek bir başlık oluşturma çağrısını önler. Yüklü sürümün üst düzey yapılandırma sürümünü koruyarak bunu mevcut dosyayla birleştirin.
Kaynaklar: Özel uç nokta yapısı, yapılandırma kurulumu.
Bağlantıyı doğrulayın#
Model listesini getirin, ardından kısa bir mesaj gönderin. Başarılı bir model listesi araç, görüntü veya JSON şeması desteğini kanıtlamaz. Seçilen dağıtımın yeteneklerini etkinleştirmeden önce kontrol edin.