Avant de vous connecter#
L'accès à l'IA nécessite une connexion, un premier rechargement confirmé d'au moins 100 USD, une clé API autorisée et suffisamment de crédit disponible pour la requête. Chaque rechargement ultérieur a également un minimum de 100 USD ; les soldes restants plus petits restent utilisables lorsqu'ils couvrent la requête. Le crédit nécessite une vérification de transaction. Consultez le statut du service pour la disponibilité des modèles avant d'envoyer du trafic. Utilisez votre propre clé API sans le préfixe Bearer dans les champs de clé. L'URL de base comprend déjà /v1. Ces configurations ont été vérifiées par rapport à la documentation officielle, pas testées contre un déploiement GPU en direct.
Configuration#
Configurez le point de terminaison personnalisé dans librechat.yaml ; fournissez ses variables d'environnement au serveur LibreChat, montez cette configuration là où c'est requis, puis redémarrez LibreChat.
endpoints:
custom:
- name: "Managed inference"
apiKey: "${WEIGHTSAPI_API_KEY}"
baseURL: "${https://weightsapi.com/v1}"
models:
default: ["Qwen/Qwen3-32B"]
fetch: false
titleConvo: false
modelDisplayLabel: "Qwen3 32B"
apiKey, baseURL et models.default sont des champs de point de terminaison personnalisé documentés. fetch: false utilise la liste de modèles explicite. Omettre provider utilise le client compatible OpenAI. titleConvo: false évite un appel supplémentaire de génération de titre. Fusionnez ceci dans le fichier existant, en préservant la version de configuration de niveau supérieur de la version installée.
Sources : Structure de point de terminaison personnalisé, installation de la configuration.
Vérifier la connexion#
Récupérez la liste des modèles, puis envoyez un message court. Une récupération réussie de la liste des modèles ne prouve pas la prise en charge des outils, de la vision ou du schéma JSON. Vérifiez les capacités du déploiement sélectionné avant de les activer.