Casos de uso que puede evaluar

Elija una tarea repetible y reúna un pequeño conjunto de entradas representativas, incluidas solicitudes ambiguas y casos con información ausente. Defina quién revisa el resultado y qué hace que una respuesta sea aceptable.

Utilice estos escenarios para definir sus propios criterios de aceptación. Lea cómo funciona, consulte las preguntas frecuentes y revise el tratamiento de datos antes de introducir material sensible. Consulte el estado del servicio antes de ejecutar una carga de trabajo.

El acceso a la IA requiere iniciar sesión, una recarga confirmada de al menos 100 USD, una clave API autorizada y crédito disponible suficiente para la solicitud. Cada recarga posterior también tiene un mínimo de 100 USD; un saldo restante menor sigue siendo utilizable si cubre la solicitud. El crédito requiere verificar la transacción. Consulte el estado del servicio para conocer la disponibilidad de los modelos antes de enviar tráfico.

Para un equipo de asistencia o una mesa de ayuda interna, proporcione hechos aprobados, la conversación reciente y un estilo de escritura claro; el resultado útil es una respuesta que pueda revisarse.

Si un taller indica un horario de recogida de martes a viernes y un cliente pregunta por el domingo, la respuesta debe explicar que el domingo no figura en el horario proporcionado y recomendar confirmar la disponibilidad. No debe prometer una cita.

Control de calidad: compruebe cada afirmación factual, conserve el contexto relevante y señale la información ausente. Someta el envío o la reserva a su propia revisión. Empiece con la receta de chatbot y la guía de Open WebUI, y valide el despliegue seleccionado antes de utilizarlo.

Para un asistente de inventario, proporcione el código relevante, la tarea y las definiciones de las herramientas permitidas. Pregunte por las existencias del SKU keyboard y compruebe cómo trata la aplicación un SKU ausente.

Comportamiento esperado: proponer una llamada permitida a get_stock con argumentos validados, utilizar los datos devueltos en la respuesta y explicar la comprobación de datos ausentes. Su aplicación decide si se ejecuta una llamada; exija comprobaciones de permisos y una revisión explícita antes de editar archivos, ejecutar comandos o realizar acciones externas.

Control de calidad: rechace herramientas desconocidas, argumentos inesperados y acciones no autorizadas, y pruebe entradas ausentes o mal formadas. Siga la receta de herramientas limitadas y la configuración de Cline; verifique las capacidades del despliegue antes de habilitar herramientas.

Para un asistente de conocimiento interno, su aplicación aporta la colección de documentos y el sistema de recuperación, y pasa al modelo fragmentos seleccionados con identificadores de fuente estables. WeightsAPI no proporciona embeddings actualmente; la receta RAG utiliza un pequeño ejemplo de clasificación léxica.

Si la fuente S1 exige la aprobación de un responsable y S2 indica que las solicitudes urgentes siguen el mismo proceso, una respuesta sobre acceso urgente debe citar ambas fuentes y mantener el requisito de aprobación. No debe inventar un plazo para obtenerla.

Control de calidad: confirme que se recuperaron los fragmentos pertinentes, que cada cita respalda la afirmación y que la falta de pruebas da lugar a una limitación explícita. Aplique los permisos de los documentos en la capa de recuperación y pruebe preguntas que la colección no pueda responder.

Utilice un despliegue disponible para comparar modelos candidatos con las mismas entradas y parámetros comparables. Evalúe la precisión factual, el seguimiento de instrucciones, las citas y la validez de los argumentos de herramientas; registre los tokens de entrada y salida junto con el tiempo hasta el primer token y el tiempo total de respuesta.

Utilice la tabla de precios con el consumo real, incluidos el contexto repetido y los reintentos. Fije presupuestos por clave, limite los reintentos y conserve una vía de reversión. Cambie el tráfico solo cuando se cumplan sus propios criterios de aceptación.