weightsapi.INFERÊNCIAConsole
Navegação
LlamaIndex (Python)

LlamaIndex (Python)

Configure o LlamaIndex (Python) com o endpoint compatível com OpenAI do WeightsAPI.

Antes de conectar#

O acesso à IA requer login, uma recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito disponível suficiente para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade do modelo antes de enviar tráfego. Use sua própria chave de API sem o prefixo Bearer nos campos de chave. A URL base já inclui /v1. Essas configurações foram verificadas em relação à documentação oficial, não testadas em uma implantação GPU ao vivo.

Configuração#

Instale llama-index-llms-openai-like e, em seguida:

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="Qwen/Qwen3-32B",
    api_base=os.environ["https://weightsapi.com/v1"],
    api_key=os.environ["WEIGHTSAPI_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))

Use OpenAILike para IDs de modelo compatíveis arbitrários. O parâmetro de URL exato é api_base. Defina context_window a partir da implantação real ao usar RAG ou entradas longas. Altere is_function_calling_model para true somente após confirmar o suporte do endpoint.

Fonte: Referência atual da API OpenAILike.

Verifique a conexão#

Busque a lista de modelos e, em seguida, envie uma mensagem curta. Uma lista de modelos bem-sucedida não comprova suporte a ferramentas, visão ou esquema JSON. Verifique os recursos da implantação selecionada antes de habilitá-los.