weightsapi.INFERÊNCIAConsole
Navegação
LibreChat

LibreChat

Configure o LibreChat com o endpoint compatível com OpenAI do WeightsAPI.

Antes de conectar#

O acesso à IA requer login, uma recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito disponível suficiente para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade do modelo antes de enviar tráfego. Use sua própria chave de API sem o prefixo Bearer nos campos de chave. A URL base já inclui /v1. Essas configurações foram verificadas em relação à documentação oficial, não testadas em uma implantação GPU ao vivo.

Configuração#

Configure o endpoint personalizado em librechat.yaml; forneça suas variáveis de ambiente ao servidor LibreChat, monte essa configuração onde necessário e reinicie o LibreChat.

endpoints:
  custom:
    - name: "Managed inference"
      apiKey: "${WEIGHTSAPI_API_KEY}"
      baseURL: "${https://weightsapi.com/v1}"
      models:
        default: ["Qwen/Qwen3-32B"]
        fetch: false
      titleConvo: false
      modelDisplayLabel: "Qwen3 32B"

apiKey, baseURL e models.default são campos documentados de endpoint personalizado. fetch: false usa a lista explícita de modelos. Omitir provider usa o cliente compatível com OpenAI. titleConvo: false evita uma chamada adicional de geração de título. Incorpore isso ao arquivo existente, preservando a versão de configuração de nível superior da versão instalada.

Fontes: Estrutura de endpoint personalizado, instalação de configuração.

Verifique a conexão#

Busque a lista de modelos e, em seguida, envie uma mensagem curta. Uma lista de modelos bem-sucedida não comprova suporte a ferramentas, visão ou esquema JSON. Verifique os recursos da implantação selecionada antes de habilitá-los.