Перш ніж підключатися#
Доступ до ШІ вимагає входу, одного підтвердженого поповнення щонайменше на 100 доларів США, авторизованого ключа API та достатнього доступного кредиту для запиту. Кожне наступне поповнення також має мінімум 100 доларів США; менші залишки залишаються придатними, якщо вони покривають запит. Кредит вимагає верифікації транзакції. Перевірте статус сервісу щодо доступності моделей перед надсиланням трафіку. Використовуйте власний ключ API без префікса Bearer у полях ключа. Базова URL-адреса вже містить /v1. Ці конфігурації було перевірено за офіційною документацією, а не протестовано на живому GPU-розгортанні.
Конфігурація#
Встановіть llama-index-llms-openai-like, потім:
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="Qwen/Qwen3-32B",
api_base=os.environ["https://weightsapi.com/v1"],
api_key=os.environ["WEIGHTSAPI_API_KEY"],
is_chat_model=True,
is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))
Використовуйте OpenAILike для довільних сумісних ідентифікаторів моделей. Точний параметр URL — api_base. Встановіть context_window відповідно до фактичного розгортання при використанні RAG або довгих вхідних даних. Змініть is_function_calling_model на true лише після підтвердження підтримки кінцевої точки.
Джерело: Поточна довідка OpenAILike API.
Перевірте підключення#
Отримайте список моделей, потім надішліть одне коротке повідомлення. Успішний список моделей не доводить підтримку інструментів, зору чи JSON-схеми. Перевірте можливості вибраного розгортання, перш ніж їх увімкнути.