weightsapi.INFERENZAConsole
Navigazione
LibreChat

LibreChat

Configura LibreChat con l'endpoint WeightsAPI compatibile con OpenAI.

Antes de conectar#

O acesso à IA requer login, um recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito disponível suficiente para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade do modelo antes de enviar tráfego. Use sua própria chave de API sem o prefixo Bearer nos campos de chave. A URL base já inclui /v1. Essas configurações foram verificadas contra a documentação oficial, não testadas contra uma implantação GPU ao vivo.

Configurazione#

Configura l'endpoint personalizzato in librechat.yaml; fornisci le sue variabili d'ambiente al server LibreChat, monta questa configurazione dove richiesto e riavvia LibreChat.

endpoints:
  custom:
    - name: "Managed inference"
      apiKey: "${WEIGHTSAPI_API_KEY}"
      baseURL: "${https://weightsapi.com/v1}"
      models:
        default: ["Qwen/Qwen3-32B"]
        fetch: false
      titleConvo: false
      modelDisplayLabel: "Qwen3 32B"

apiKey, baseURL e models.default sono campi documentati per endpoint personalizzati. fetch: false utilizza l'elenco esplicito dei modelli. L'omissione di provider utilizza il client compatibile con OpenAI. titleConvo: false evita una chiamata aggiuntiva per la generazione del titolo. Integra questo nel file esistente, preservando la versione della configurazione di primo livello della versione installata.

Fonti: Struttura dell'endpoint personalizzato, installazione della configurazione.

Verifica la connessione#

Recupera l'elenco dei modelli, quindi invia un breve messaggio. Un elenco modelli riuscito non dimostra il supporto di strumenti, visione o schema JSON. Controlla le capacità del deployment selezionato prima di abilitarle.