Commencez par un résultat que vous pouvez vérifier
Choisissez une tâche reproductible et collectez un petit ensemble d'entrées représentatives, y compris des requêtes ambiguës et des informations manquantes. Définissez qui examine la sortie et ce qui rend une réponse acceptable.
Utilisez ces scénarios pour définir vos propres critères d'acceptation. Lisez comment ça marche, consultez la FAQ et examinez le traitement des données avant d'introduire du matériel sensible. Consultez l'état du service avant d'exécuter une charge de travail.
L'accès à l'IA nécessite une connexion, une recharge qualifiante confirmée d'au moins 100 USD, une clé API autorisée et un crédit disponible suffisant pour la requête. Chaque recharge ultérieure a également un minimum de 100 USD ; les soldes restants plus petits restent utilisables lorsqu'ils couvrent la requête. Le crédit nécessite la vérification de la transaction. Consultez l'état du service pour la disponibilité des modèles avant d'envoyer du trafic.
Rédigez des réponses à partir d'une courte conversation
Pour une équipe de support ou un helpdesk interne, fournissez des faits approuvés, la conversation récente et un style d'écriture clair ; le résultat utile est une réponse révisable.
Si un atelier indique des horaires de collecte du mardi au vendredi et qu'un client demande pour dimanche, la réponse doit expliquer que dimanche ne fait pas partie des horaires fournis et recommander de confirmer la disponibilité. Elle ne doit pas promettre de rendez-vous.
Contrôle qualité : vérifiez chaque affirmation factuelle, préservez le contexte de conversation pertinent et signalez les informations manquantes. Gardez l'envoi ou la réservation derrière votre propre étape d'examen. Commencez par la recette de chatbot et le guide Open WebUI, puis validez le déploiement sélectionné avant utilisation.
Examinez le code et contraignez les actions des outils
Pour un assistant d'inventaire, fournissez le code pertinent, la tâche et les définitions d'outils autorisées. Demandez le niveau de stock du SKU keyboard, et vérifiez comment l'application gère un SKU manquant.
Comportement attendu : proposez un appel get_stock autorisé avec des arguments validés, utilisez ses données retournées dans la réponse et expliquez la vérification des entrées manquantes. Votre application décide si un appel est exécuté ; exigez des vérifications de permission et un examen explicite avant les modifications de fichiers, les commandes ou les actions externes.
Contrôle qualité : rejetez les outils inconnus, les arguments inattendus et les actions non autorisées, et testez les entrées manquantes ou mal formées. Suivez la recette d'outil borné et la configuration Cline ; vérifiez les capacités de déploiement avant d'activer les outils.
Répondez aux questions à partir de documents que vous contrôlez
Pour un assistant de connaissances interne, votre application fournit la collection de documents et le récupérateur, puis passe des extraits sélectionnés avec des ID de source stables au modèle. WeightsAPI ne fournit actuellement pas d'incorporations ; la recette RAG utilise un petit exemple de classement lexical.
Si la source S1 exige l'approbation du manager et que la source S2 indique que les demandes urgentes suivent le même processus, une réponse sur l'accès urgent doit citer les deux sources et préserver l'exigence d'approbation. Elle ne doit pas inventer de délai d'approbation.
Contrôle qualité : confirmez que les extraits pertinents ont été récupérés, que chaque citation soutient son affirmation, et qu'une preuve manquante produit une limitation explicite. Appliquez les autorisations de documents dans votre couche de récupération et testez les questions auxquelles la collection ne peut pas répondre.
Comparez la qualité et le coût avant de basculer le trafic
Utilisez un déploiement disponible pour comparer des modèles candidats avec les mêmes entrées et des paramètres comparables. Évaluez l'exactitude factuelle, le suivi des instructions, les citations et les arguments d'outils valides ; enregistrez les jetons d'entrée et de sortie ainsi que le temps jusqu'au premier jeton et le temps de complétion.
Utilisez le tableau de tarification actuel avec la consommation réelle, y compris le contexte répété et les reprises. Définissez des budgets de clé, bornez les reprises et conservez un chemin de retour en arrière. Ne déplacez le trafic qu'après que vos propres critères d'acceptation sont satisfaits.