weightsapi.INFERENZKonsole
Navigation
LlamaIndex (Python)

LlamaIndex (Python)

Konfigurieren Sie LlamaIndex (Python) mit dem WeightsAPI OpenAI-kompatiblen Endpunkt.

Bevor Sie sich verbinden#

Der KI-Zugriff erfordert eine Anmeldung, eine bestätigte Aufladung von mindestens USD 100, einen autorisierten API-Schlüssel und ausreichend verfügbares Guthaben für die Anfrage. Jede spätere Aufladung hat ebenfalls ein Minimum von USD 100; kleinere Restguthaben bleiben nutzbar, wenn sie die Anfrage abdecken. Das Guthaben erfordert eine Transaktionsverifizierung. Prüfen Sie den Servicestatus auf Modellverfügbarkeit, bevor Sie Traffic senden. Verwenden Sie Ihren eigenen API-Schlüssel ohne das Bearer-Präfix in Schlüsselfeldern. Die Basis-URL enthält bereits /v1. Diese Konfigurationen wurden anhand der offiziellen Dokumentation geprüft, nicht gegen ein Live-GPU-Deployment getestet.

Konfiguration#

Installieren Sie llama-index-llms-openai-like, dann:

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="Qwen/Qwen3-32B",
    api_base=os.environ["https://weightsapi.com/v1"],
    api_key=os.environ["WEIGHTSAPI_API_KEY"],
    is_chat_model=True,
    is_function_calling_model=False,
)
print(llm.complete("Say hello in one sentence."))

Verwenden Sie OpenAILike für beliebige kompatible Modell-IDs. Der exakte URL-Parameter ist api_base. Setzen Sie context_window aus der tatsächlichen Bereitstellung, wenn Sie RAG oder lange Eingaben verwenden. Ändern Sie is_function_calling_model erst auf true, nachdem die Endpunktunterstützung bestätigt wurde.

Quelle: Aktuelle OpenAILike-API-Referenz.

Verbindung überprüfen#

Rufen Sie die Modellliste ab und senden Sie dann eine kurze Nachricht. Eine erfolgreiche Modellliste beweist keine Unterstützung für Tools, Vision oder JSON-Schema. Überprüfen Sie die Funktionen der ausgewählten Bereitstellung, bevor Sie sie aktivieren.