Zanim się połączysz#
Dostęp do AI wymaga zalogowania, jednego potwierdzonego doładowania w wysokości co najmniej 100 USD, autoryzowanego klucza API i wystarczających dostępnych środków na żądanie. Każde kolejne doładowanie również ma minimum 100 USD; mniejsze pozostałe salda pozostają użyteczne, gdy pokrywają żądanie. Środki wymagają weryfikacji transakcji. Sprawdź status usługi, aby poznać dostępność modeli przed wysłaniem ruchu. Użyj własnego klucza API bez prefiksu Bearer w polach klucza. Bazowy adres URL już zawiera /v1. Te konfiguracje zostały sprawdzone pod kątem oficjalnej dokumentacji, a nie przetestowane na działającym wdrożeniu GPU.
Konfiguracja#
Zainstaluj llama-index-llms-openai-like, a następnie:
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="Qwen/Qwen3-32B",
api_base=os.environ["https://weightsapi.com/v1"],
api_key=os.environ["WEIGHTSAPI_API_KEY"],
is_chat_model=True,
is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))
Użyj OpenAILike dla dowolnych zgodnych identyfikatorów modeli. Dokładny parametr URL to api_base. Ustaw context_window na podstawie rzeczywistego wdrożenia, gdy używasz RAG lub długich danych wejściowych. Zmień is_function_calling_model na true dopiero po potwierdzeniu obsługi punktu końcowego.
Źródło: Aktualna dokumentacja API OpenAILike.
Zweryfikuj połączenie#
Pobierz listę modeli, a następnie wyślij jedną krótką wiadomość. Pomyślne pobranie listy modeli nie dowodzi wsparcia dla narzędzi, wizji ani schematu JSON. Sprawdź możliwości wybranego wdrożenia przed ich włączeniem.