Bağlanmadan önce#
AI erişimi, oturum açmayı, en az 100 USD tutarında onaylanmış bir yükleme, yetkili bir API anahtarı ve istek için yeterli kullanılabilir kredi gerektirir. Sonraki her yükleme de 100 USD minimuma sahiptir; daha küçük kalan bakiyeler isteği karşıladığında kullanılabilir kalır. Kredi, işlem doğrulaması gerektirir. Trafik göndermeden önce model kullanılabilirliği için hizmet durumunu kontrol edin. Anahtar alanlarında Bearer öneki olmadan kendi API anahtarınızı kullanın. Temel URL zaten /v1 içerir. Bu yapılandırmalar canlı bir GPU dağıtımına karşı test edilmedi, resmi belgelere göre kontrol edildi.
Yapılandırma#
llama-index-llms-openai-like yükleyin, ardından:
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="Qwen/Qwen3-32B",
api_base=os.environ["https://weightsapi.com/v1"],
api_key=os.environ["WEIGHTSAPI_API_KEY"],
is_chat_model=True,
is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))
Rastgele uyumlu model kimlikleri için OpenAILike kullanın. Tam URL parametresi api_base'dir. RAG veya uzun girdiler kullanırken context_window değerini gerçek dağıtımdan ayarlayın. is_function_calling_model değerini yalnızca uç nokta desteği doğrulandıktan sonra true yapın.
Kaynak: Güncel OpenAILike API başvurusu.
Bağlantıyı doğrulayın#
Model listesini getirin, ardından kısa bir mesaj gönderin. Başarılı bir model listesi araç, görüntü veya JSON şeması desteğini kanıtlamaz. Seçilen dağıtımın yeteneklerini etkinleştirmeden önce kontrol edin.