weightsapi.INFERENZAConsole
Navigazione
LlamaIndex (Python)

LlamaIndex (Python)

Configura LlamaIndex (Python) con l'endpoint WeightsAPI compatibile con OpenAI.

Antes de conectar#

O acesso à IA requer login, um recarga confirmada de pelo menos USD 100, uma chave de API autorizada e crédito disponível suficiente para a solicitação. Cada recarga posterior também tem um mínimo de USD 100; saldos restantes menores permanecem utilizáveis quando cobrem a solicitação. O crédito requer verificação da transação. Verifique o status do serviço para disponibilidade do modelo antes de enviar tráfego. Use sua própria chave de API sem o prefixo Bearer nos campos de chave. A URL base já inclui /v1. Essas configurações foram verificadas contra a documentação oficial, não testadas contra uma implantação GPU ao vivo.

Configurazione#

Installa llama-index-llms-openai-like, quindi:

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="Qwen/Qwen3-32B",
    api_base=os.environ["https://weightsapi.com/v1"],
    api_key=os.environ["WEIGHTSAPI_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))

Usa OpenAILike per ID di modelli compatibili arbitrari. Il parametro URL esatto è api_base. Imposta context_window in base al deployment effettivo quando utilizzi RAG o input lunghi. Modifica is_function_calling_model su true solo dopo aver confermato il supporto dell'endpoint.

Fonte: Riferimento API OpenAILike attuale.

Verifica la connessione#

Recupera l'elenco dei modelli, quindi invia un breve messaggio. Un elenco modelli riuscito non dimostra il supporto di strumenti, visione o schema JSON. Controlla le capacità del deployment selezionato prima di abilitarle.