Evaluación

La evaluación es una herramienta fundamental para probar el rendimiento de tu agente y garantizar que se comporte como se espera en situaciones específicas. Te permite automatizar las pruebas, detectar regresiones después de realizar cambios y medir la calidad de las respuestas de tu agente para mejorarla.

Para comenzar, haz clic en el botón Evaluar en la parte superior del compilador de agentes.

Conceptos de evaluación

Caso de prueba: Cada caso de prueba es una instrucción o un escenario de prueba específico y autónomo diseñado para evaluar el rendimiento del agente. Puedes crear tres tipos diferentes de casos de prueba:

  • Situación: Es una función potenciada por IA para iniciar tus pruebas y garantizar una cobertura de pruebas integral. Describes el objetivo de un usuario y el sistema simula automáticamente al usuario y genera conversaciones para probar la capacidad del agente de manejar la situación de forma sólida. Los escenarios son una forma útil de experimentar y ayudar a definir las conversaciones de oro.
  • Simulación: Es ideal para probar recorridos de varios pasos. En lugar de un solo objetivo de usuario abierto, desglosas la conversación en una lista ordenada de objetivos (también llamados hitos). El usuario simulado trabaja en los objetivos uno por uno y solo pasa al siguiente después de que se cumplen los criterios de éxito del objetivo actual. Las simulaciones te brindan la flexibilidad de un usuario simulado, a la vez que mantienen la conversación en una ruta predecible.
  • Doradas: Son ideales para las pruebas de regresión. Proporcionas una ruta de conversación específica e "ideal", y la evaluación comprueba si el comportamiento del agente coincide con esta ruta ideal, incluidas las llamadas a herramientas.

Ejecución: Una ejecución de evaluación representa una ejecución completa y única de un conjunto de casos de prueba de referencia, de situación y de simulación en comparación con el rendimiento del agente que estás probando. Cada ejecución puede incluir uno o más casos de prueba.

Resultado: El resultado de un caso de prueba se refiere a una sola ejecución de un caso de prueba específico en una sola ejecución. Si un caso de prueba se ejecuta varias veces durante una sola ejecución de evaluación (por ejemplo, para verificar la coherencia, la inestabilidad, etcétera), cada ejecución individual es un resultado individual. Los resultados se muestran como íconos rectangulares en columnas en cada fila de caso de prueba, con una X roja si la ejecución falló y una marca de verificación verde si se aprobó.

Etiquetas: Los casos de prueba se pueden agrupar con etiquetas para facilitar la administración.

Crea casos de prueba

Para crear casos de prueba para tu agente y acceder a ellos, haz clic en el botón Evaluar en la parte superior del compilador de agentes. Puedes crear y administrar casos de prueba basados en referencias, situaciones o simulaciones. La columna Tipo de la lista de casos de prueba muestra el tipo de cada caso de prueba.

Situación

El caso de prueba basado en situaciones usa la IA para generar automáticamente una variedad de conversaciones en función de un objetivo de alto nivel del usuario que definas. Con estos casos de prueba, en lugar de proporcionar conversaciones de referencia específicas, seleccionas situaciones generadas o describes situaciones específicas que se deben probar. Esta es una herramienta potente que te ayuda a explorar casos extremos y probar la solidez de tu agente sin tener que escribir manualmente cada ruta de conversación posible.

Una vez que estas situaciones funcionen bien, puedes guardarlas como conversaciones de referencia.

Para crear una situación, sigue estos pasos:

  1. Haz clic en Crear situación. Se te sugieren varias situaciones.
  2. Puedes generar situaciones en función de las selecciones o crear una situación nueva desde cero.

Cuando veas la lista de situaciones, puedes ver los detalles y la lista de conversaciones de cada situación haciendo clic en ella.

Para guardar una situación como una conversación de referencia, sigue estos pasos:

  1. Selecciona la situación.
  2. Haz clic en el botón de menú en la esquina superior derecha.
  3. Selecciona Guardar como conversación de referencia.

Objetivo del usuario en el caso de uso

Cada situación tiene un objetivo de usuario, que describe los objetivos del usuario final cuando usa la aplicación del agente. Por ejemplo:

Securely book a specific room at a chosen hotel and receive a confirmation.

Según el objetivo del usuario, CX Agent Studio genera automáticamente conversaciones que se usan para la evaluación.

Variables de escenario

Cuando definas un escenario, puedes proporcionar variables que se deben usar para el escenario.

Expectativas de la situación

Para realizar una evaluación, debes definir las expectativas del caso de prueba.

Las expectativas pueden ser de uno de los siguientes dos tipos:

  • Mensaje: Es una respuesta esperada del agente.
  • Llamada a la herramienta: Es una llamada a la herramienta con entradas y salidas esperadas.

Las expectativas pueden tener las siguientes condiciones:

  • Indispensable
  • No debe tener
  • Después de la llamada a la herramienta
  • Valor de la variable

Para crear una expectativa, sigue estos pasos:

  • Haz clic en una situación en particular para abrir sus detalles.
  • En la sección Expectativas, haz clic en Ver todo.
  • Sigue las instrucciones de la interfaz para crear expectativas para la situación.

Simulación

Un caso de prueba de simulación divide una conversación en una lista ordenada de pasos, llamados objetivos (también conocidos como hitos). Cada objetivo describe una etapa del recorrido del usuario y los criterios que se deben cumplir antes de que el usuario simulado pase a la siguiente etapa.

Una simulación se encuentra entre un escenario y un caso de prueba de referencia:

  • Un escenario le da al usuario simulado un único objetivo de usuario abierto y le permite improvisar toda la conversación. Esto es útil para explorar, pero la conversación puede tomar una ruta diferente en cada ejecución.
  • Un caso de prueba dorado define cada turno del usuario. Esto es preciso para las pruebas de regresión, pero es rígido para los recorridos largos y no se puede adaptar a las variaciones válidas en la redacción del agente.
  • Una simulación mantiene un usuario simulado en vivo, pero lo restringe a tus objetivos, en orden. Esto hace que los recorridos de varios pasos, como la autenticación seguida de una búsqueda seguida de una actualización, se puedan repetir sin hard-coding en cada turno.

Usa una simulación en los siguientes casos:

  • El recorrido tiene varias etapas distintas que deben ocurrir en un orden fijo.
  • Debes confirmar que el agente alcance un estado intermedio, como verificar correctamente a un emisor, antes de que haga cualquier otra cosa.
  • Una conversación ideal sería demasiado rígida, pero una situación de un solo objetivo no ejercita de manera confiable toda la ruta.

Crea una simulación

  1. Navega a la pestaña Evaluación.
  2. Haz clic en + Agregar caso de prueba.
  3. Selecciona Simulación. Se abrirá el editor de simulaciones con un objetivo vacío.
  4. Ingresa un Nombre del caso de prueba y agrega las Etiquetas que quieras.
  5. Completa el Objetivo del usuario y los Criterios de éxito para el primer objetivo y establece los Turnos máximos para lograrlo.
  6. Haz clic en Agregar objetivo y repite el proceso para cada etapa del recorrido, en orden. Para obtener detalles de cada tipo de paso, consulta Objetivos.
  7. De manera opcional, en la sección Anulación de variables, haz clic en Agregar anulaciones para establecer variables de sesión antes de que comience la conversación. Una vez que el caso de prueba tiene al menos una anulación, el botón etiquetado se reemplaza por un botón de ícono de agregar (+) junto a los chips de anulación existentes.
  8. De manera opcional, haz clic en Agregar expectativas para adjuntar expectativas a nivel de la conversación que se verifican con toda la transcripción.
  9. Haz clic en Crear.

El editor tiene una pestaña IU y una pestaña YAML, que editan el mismo caso de prueba. Para obtener detalles sobre el formato YAML, consulta Edita una simulación como YAML.

Objetivos

Haz clic en Agregar objetivo para agregar un paso a la simulación. Cada paso es uno de los siguientes tipos, que seleccionas en el menú de tipos del paso:

  • Objetivo del usuario: El usuario simulado genera sus propias expresiones hasta que se cumplen los criterios de éxito. Estos pasos se etiquetan como Objetivo en el editor. Configura lo siguiente:
    • Objetivo del usuario: Es lo que el usuario simulado intenta lograr en este paso, como Ask for a refund on the most recent order.
    • Criterios de éxito: Es la condición que determina si el paso se completó, como Agent asks for the reason for the refund.
    • Cantidad máxima de turnos para lograrlo: Es la cantidad máxima de turnos permitidos para este paso antes de que se detenga la simulación. El valor predeterminado es 3.
    • Información del usuario: Son sugerencias opcionales de arquetipo y contexto que solo son visibles para el usuario simulado, no para el agente. Úsala para proporcionar detalles que el usuario conozca, como un número de pedido o un motivo para llamar. Para agregar este campo, abre el menú de más opciones del paso y haz clic en Agregar información del usuario.
  • Enunciado estático: El usuario simulado envía exactamente el texto que proporcionas, sin generación. Usa esta opción cuando la redacción precisa sea importante, por ejemplo, cuando pruebes cómo el agente maneja un número de cuenta alfanumérico.
  • Evento: Envía un evento con nombre al agente en lugar de una expresión. Usa esto para reproducir entradas que no sean de conversación, como un evento de telefonía.

Los pasos de eventos y de enunciados estáticos se etiquetan como Turn en el editor. Al igual que los objetivos del usuario, pueden tener criterios de éxito, pero no tienen sus propios campos Cantidad máxima de turnos para lograrlo ni Información del usuario.

Escribe los criterios de éxito como un comportamiento observable del agente. Los criterios que describen lo que el agente debe decir o hacer se evalúan de manera confiable; los criterios que describen el estado interno que nunca aparece en la conversación no lo son.

Cómo se ejecuta una simulación

  1. El usuario simulado comienza en el primer paso.
  2. En cada turno, el usuario simulado genera una expresión que funciona solo para el paso actual.
  3. Después de que el agente responde, se evalúa el paso actual en función de sus criterios de éxito. Si se cumplen los criterios, el paso se marca como completado y el usuario simulado avanza al siguiente paso. Un paso que se completó nunca se vuelve a abrir.
  4. Si un paso no se completa dentro de su límite de Cantidad máxima de turnos para lograrlo, la simulación se detiene. Nunca se intentan los pasos posteriores.
  5. Cuando finaliza la conversación, se evalúa la transcripción para producir una justificación escrita de cada paso que se intentó realizar.

Además de los límites por paso, toda la conversación tiene el mismo límite general que cualquier otra conversación simulada, que es de 100 turnos. En la práctica, los límites de Turnos máximos para lograrlo por paso detienen una simulación primero.

Una simulación solo se aprueba si se completan todos los pasos, además de los otros criterios de aprobación o reprobación que se aplican a las conversaciones simuladas. Debido a que los pasos son estrictamente secuenciales, un paso con errores bloquea el resto del caso de prueba. Ordena los pasos de modo que una falla indique claramente la etapa que falló.

Resultados de la simulación

Abre un resultado de la simulación para ver una sección de objetivos cuyo encabezado muestra cuántos pasos se completaron del total, por ejemplo, Goals (2/3). La sección se expande automáticamente cuando no se completan todos los pasos. En su interior, hay un panel contraíble por paso:

  • Una marca de verificación verde significa que se cumplieron los criterios de éxito del paso.
  • Una X roja significa que el paso no se completó, ya sea porque nunca se cumplieron los criterios o porque un paso anterior lo bloqueó.

Cada panel contiene una Justificación que explica en lenguaje sencillo por qué el paso se consideró completo o no. Cuando finaliza la ejecución, los pasos que no se completaron se expanden para que puedas ver su justificación, y los pasos completados se contraen. Un paso que nunca se intentó se justifica con un mensaje que indica el texto del objetivo que lo bloqueó.

El panel Conversación que se encuentra debajo de los objetivos contiene la transcripción simulada completa, por lo que puedes volver a reproducir exactamente lo que dijo el usuario simulado y cómo respondió el agente.

Si la ejecución finalizó con un error, una tarjeta en la parte superior del resultado muestra el mensaje de error. Si la ejecución se completó, pero no se completó un paso de Enunciado estático, esa tarjeta repite la justificación del primer paso de ese tipo. Debido a que los pasos de expresión estática y de evento se etiquetan como Turn en el editor, consulta la sección de objetivos para ver a qué paso se refiere la tarjeta. Los pasos de Objetivo del usuario y Evento sin completar solo se informan en la sección de objetivos.

Edita una simulación como YAML

En el editor de simulaciones, haz clic en la pestaña YAML para editar el caso de prueba como YAML. La lista de objetivos se expresa como steps, y cada paso se asigna a los campos descritos en Objetivos:

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."
Clave YAML Campo de la consola
name Nombre del caso de prueba
tags Etiquetas
session_parameters Anulación de variables
goal Objetivo del usuario
success_criteria Criterios para alcanzar el éxito
max_turns Cantidad máxima de turnos para lograrlo
response_guide Información del usuario
static_utterance Paso de enunciado estático
event Paso del evento
expectations Expectativas

El editor valida el archivo YAML a medida que escribes y aplica las siguientes reglas:

  • El documento debe contener una lista evals, y el editor solo lee la primera entrada de esa lista.
  • Cada entrada debe tener un name y, al menos, un paso.
  • Cada paso debe tener al menos uno de los siguientes elementos: goal, static_utterance o event.
  • Cada clave en session_parameters debe ser una variable que se declare en la aplicación del agente.
  • Cada cadena en expectations debe ser el texto de la instrucción de una expectativa que ya existe en la aplicación del agente. La coincidencia ignora las mayúsculas y minúsculas, y los espacios en blanco circundantes. Para crear una expectativa, usa Agregar expectativas en la pestaña IU y, luego, haz referencia a su instrucción aquí.
  • Se rechazan las claves no reconocidas en una entrada de la lista evals.

Golden

Estos casos de prueba se usan para definir rutas de conversación ideales para las pruebas de regresión, de modo que las rutas de conversación principales y fundamentales no se interrumpan cuando actualices el agente. Existen varias opciones para crear una conversación de referencia:

Para importar una conversación desde el simulador, sigue estos pasos:

  1. Inicia una conversación con el simulador.
  2. Haz clic en los tres puntos verticales de la esquina superior derecha del simulador para abrir el menú.
  3. Haz clic en Guardar como versión de referencia.
  4. Ingresa un nombre para el caso de prueba de referencia y haz clic en Guardar. Ahora aparecerá en la pestaña Evaluación.

Para crear un caso de prueba a partir del historial de conversaciones, sigue estos pasos:

  1. Navega a la pestaña Evaluación.
  2. Haz clic en + Agregar caso de prueba.
  3. Selecciona Golden.
  4. Haz clic en Siguiente.
  5. Haz clic en Seleccionar del historial de conversaciones.
  6. En la ventana que aparece, selecciona la conversación que deseas guardar como un caso de prueba de referencia. Tienes la opción de buscar por ID de conversación.
  7. Si habilitaste la ocultación, verifica las respuestas y las variables del agente para ocultarlas antes de continuar con la información faltante.
  8. Haz clic en Agregar.

Para crear un caso de prueba desde cero, sigue estos pasos:

  1. Navega a la pestaña Evaluación.
  2. Haz clic en + Agregar caso de prueba.
  3. Selecciona Golden.
  4. Haz clic en Siguiente.
  5. Haz clic en Crear desde cero.
  6. En la ventana que aparece, agrega un Nombre visible para el caso de prueba.
  7. Agrega texto para la entrada del usuario y la expectativa del agente según sea necesario. Haz clic en + Agregar entrada del usuario y + Agregar expectativa del agente para agregar respuestas. Haz clic en Agregar turno + para agregar un turno de conversación nuevo al caso de prueba.
  8. Haz clic en Crear para agregar el caso de prueba de referencia a tu lista de casos de prueba.

Para crear un caso de prueba a partir de una conversación simulada en un caso de prueba de situación, sigue estos pasos:

  1. Navega a la página de resultados de la ejecución de la evaluación.
  2. Haz clic en el ícono de menú (tres puntos verticales) a la derecha de la conversación seleccionada y, luego, en Guardar como conversación de referencia.

Para subir casos de prueba por lotes desde un archivo, sigue estos pasos:

Para obtener detalles sobre el formato de archivo y una plantilla de CSV, consulta la página Formato CSV de casos de prueba de referencia.

Expectativas ideales

Para realizar una evaluación, debes definir las expectativas del caso de prueba de referencia. Una expectativa es un resultado específico que esperas del agente en un punto particular de la conversación. Durante la evaluación, el comportamiento real del agente se compara con estas expectativas.

Las expectativas pueden ser de uno de los siguientes tipos:

  • Mensaje: Es una respuesta de texto esperada del agente para el usuario final. La evaluación verifica si la respuesta del agente coincide semánticamente con esta expectativa.
  • Llamada a la herramienta: Es una expectativa de que el agente llame a una herramienta y una respuesta específicas. También puedes especificar los argumentos de entrada esperados para la llamada a la herramienta.
  • Transferencia de agente: Es la expectativa de que el agente transfiera la conversación a un agente humano o a otro bot.

Para crear una expectativa, sigue estos pasos:

  1. Haz clic en un caso de prueba de oro en particular para abrir sus detalles.
  2. En la sección Detalles, haz clic en Ver versión de referencia.
  3. Sigue las instrucciones de la interfaz para agregar o modificar expectativas.

Configuración de la evaluación

En la fila de encabezado de la lista de casos de prueba, puedes configurar los parámetros de evaluación:

  • Goldens:
    • Criterios de aprobación o rechazo de Golden: Establece la lógica para determinar si una conversación simulada se aprueba o se rechaza.
    • Nivel de turno: Estas reglas juzgan cada turno individual. Si no se cumple alguno de estos umbrales, la métrica específica se marcará con el color rojo como un error.
      • Similitud semántica: Es el valor de umbral para la similitud semántica.
      • Precisión de la herramienta: Es el valor de umbral para la precisión de la herramienta.
      • Alucinaciones: Si se inhabilita, las alucinaciones se excluyen de la aprobación o el rechazo.
    • Nivel de expectativa: Estas reglas juzgan las expectativas dentro de un turno. Si no se cumple alguno de estos umbrales, la métrica específica se marcará con el color rojo como un error.
      • Precisión de la herramienta: Es el valor de umbral para la precisión de la herramienta.
    • Método de ejecución de referencia: Elige entre la validación de reproducción ingenua o estable.
    • Falsificación de herramientas: Usa datos simulados en lugar de llamadas a la API de producción reales.
  • Scenarios:
    • Criterios de aprobación o reprobación de la situación: Establece la lógica para determinar si una conversación simulada se aprueba o se reprueba.
    • Iniciador de la conversación: Establece quién inicia la conversación, el usuario o el modelo.
    • Falsificación de herramientas: Usa datos simulados en lugar de llamadas a la API de producción reales.
  • Evaluación de audio
    • Grabaciones de evaluación de audio

Ejecuta evaluaciones

Para ejecutar una evaluación, puedes hacer clic en el botón de ejecución en la fila del caso de prueba o seleccionar varios casos de prueba y ejecutarlos.

Si guardaste varias versiones, puedes seleccionar qué versión del agente usar o guardar automáticamente el agente de borrador como una versión nueva para la ejecución.

Después de una ejecución de evaluación, se actualizarán las métricas y se presentarán los resultados.

Si haces clic en una evaluación de ejecución en particular, puedes ver los resultados detallados de una ejecución. Además de las métricas estándar, se muestran las siguientes:

  • Giros fallidos
  • Es la lista paginada de todos los detalles de los turnos, que incluye las respuestas reales y esperadas del agente.

En el caso de los casos de prueba de referencia, es posible que veas el término "reproducción estable", que aclara que la prueba se ejecutó en un entorno coherente (es decir, sin cambiar el contexto ni la entrada).

En el caso de los casos de prueba de simulación, el resultado muestra el resultado de cada objetivo en lugar de una comparación paso a paso con las respuestas esperadas. Para obtener más información, consulta Resultados de la simulación.

Usa la IA para mejorar los casos de prueba (VERSIÓN PRELIMINAR)

De manera opcional, puedes usar la IA para solucionar problemas de una ejecución y sugerir formas de mejorar la calidad del agente. Las sugerencias de IA son óptimas cuando la cantidad de ejecuciones (recuento de ejecuciones) es de 3 o más. Para habilitar la IA, selecciona los casos de prueba que quieras evaluar y haz clic en Run selected. En la ventana emergente, marca la casilla junto a Encontrar problemas con la IA.

Una vez que se complete la ejecución, verás sugerencias basadas en IA en la página de resultados. Gemini genera automáticamente un archivo loss_report descargable que resume aspectos del rendimiento del agente y destaca las áreas que se pueden mejorar.

Cualquier usuario puede ver las correcciones sugeridas por la IA, pero solo la persona que inició la ejecución puede tomar medidas en función de los resultados.

Haz clic en Preguntarle a Gemini para interactuar con el agente de ayuda. Primero, verás el informe de pérdidas que explica los problemas de alto nivel con el modelo o el agente. Puedes pedirle al agente de ayuda que explique el informe, lo que resumirá el informe y puede sugerir correcciones. Después de aplicar las correcciones, puedes pedirle al agente de ayuda que vuelva a ejecutar la evaluación.

Importación y exportación

Puedes importar y exportar casos de prueba, ejecuciones y resultados de evaluación en formato YAML o JSON. Cuando importes, asegúrate de que el agente receptor contenga todos los recursos (herramientas, variables y agentes secundarios) definidos en los datos exportados.

Para exportar casos de prueba, haz lo siguiente:

  1. Selecciona uno o más casos de prueba.
  2. Haz clic en Exportar casos de prueba.
  3. Seleccione un formato.
  4. Se descargará un archivo ZIP.

Para importar casos de prueba, haz lo siguiente:

  1. Haz clic en + Agregar caso de prueba.
  2. Selecciona Golden.
  3. Haz clic en Siguiente.
  4. Sube el archivo ZIP.
  5. Si hay algún conflicto con la importación, se te guiará para que lo resuelvas.
  6. Haz clic en Crear.

Para exportar las ejecuciones y los resultados de la evaluación, sigue estos pasos:

  1. Selecciona una o más ejecuciones de evaluación.
  2. Haz clic en Exportar ejecución.
  3. Seleccione un formato.
  4. Se descargará un archivo ZIP.

Métricas

Cada resultado de caso de prueba incluye un conjunto de métricas que miden el rendimiento del agente en relación con los casos de prueba que seleccionaste. Las métricas se calculan a nivel de turno o de expectativa (conversación), como se indica en la consola.

En todos los casos, puedes personalizar los valores necesarios para que se apruebe la ejecución en el menú Configuración de la pestaña Evaluar.

Precisión de la herramienta

Se calcula para los casos de prueba de referencia, situación y simulación. Esta métrica refleja el porcentaje de parámetros esperados que coincidieron con una llamada a la herramienta esperada y sus valores de parámetro esperados. Las llamadas a herramientas que no se realizaron se puntúan como 0, y las llamadas a herramientas sin parámetros de entrada se puntúan como 1 si están presentes. Si se realiza una llamada a una herramienta inesperada durante una evaluación de referencia, el resultado se considerará un error, pero esto no afectará el valor de corrección de la herramienta.

Satisfacción del objetivo del usuario

Se calcula para los casos de prueba de situación y simulación. La satisfacción del objetivo del usuario es una métrica binaria diseñada para evaluaciones de simulación de usuarios. Mide si el usuario simulado cree que se alcanzaron sus objetivos (0=no, 1=sí). Las entradas son el user_goal, según lo define la configuración del usuario simulado, y una transcripción de la conversación. Si el user_goal proporcionado no especifica un objetivo explícito o implícito, la puntuación de salida es -1.

Una simulación no tiene un campo separado para un objetivo general del usuario, por lo que esta métrica se evalúa en función del nombre del caso de prueba. Asigna a las simulaciones un nombre que describa lo que el usuario intenta lograr en general.

Este no es el único indicador a nivel de la conversación para una simulación. Una simulación también puede tener expectativas, que se comparan con toda la transcripción y se informan en la sección Expectativas del resultado. Estas son las mismas expectativas que usan los escenarios; consulta Expectativas de escenarios. Los resultados por paso se informan por Consecución de objetivos.

Consecución de objetivos

Solo se informa para las simulaciones. En lugar de una sola puntuación para la conversación, cada paso de la simulación se informa de forma individual como completado o no completado, junto con una justificación que explica el resultado. La consola resume esto en el encabezado de la sección de objetivos como la cantidad de pasos completados del total, por ejemplo, Goals (2/3). El recuento incluye cada paso de la simulación, incluidos los pasos de enunciados estáticos y de eventos.

Debido a que los pasos se intentan en orden, el primer paso que no se completa es la causa de la falla, y los pasos posteriores nunca se intentan.

Alucinaciones

Disponible para los casos de prueba de referencia y de situación. Las puntuaciones de alucinación se calculan para cada turno generado. Esta métrica refleja si el agente hizo o no afirmaciones que no están justificadas por su contexto (0=no, 1=sí). El contexto se compone de cualquier turno anterior en la conversación, las variables de sesión, las llamadas a herramientas y las instrucciones del agente. Esta métrica solo se calcula para los turnos que contienen llamadas a herramientas. No detecta alucinaciones en las llamadas a herramientas; se supone que las llamadas a herramientas proporcionadas como contexto son correctas. Para minimizar los falsos positivos, la métrica podría devolver una puntuación de N/A si una respuesta no contiene afirmaciones fácticas o solo conocimiento común que ya se estableció.

Puedes habilitar e inhabilitar las alucinaciones en la configuración de la evaluación.

Coincidencia semántica

Se calcula solo para los casos de prueba de referencia, no para los casos de prueba de situaciones o simulaciones. Esta métrica mide el grado en que un enunciado observado del agente coincide con un enunciado esperado del agente. La coincidencia semántica se calcula a nivel del turno. Los valores devueltos varían de 0 (completamente incoherente o contradictorio) a 4 (completamente coherente).

Expectativas de la situación

Se calcula para los casos de prueba de situación y simulación. Esta métrica mide si el comportamiento del agente, según lo esperado por los usuarios simulados, fue satisfactorio o no (0=no, 1=sí). Se admiten dos tipos de expectativas de usuarios simulados:

  • Expectativas de la llamada a la herramienta: Se calcula de manera similar a la precisión de la llamada a la herramienta con las siguientes excepciones:
    • Los resultados son 0 (no) o 1 (sí).
    • Las llamadas a herramientas inesperadas no se penalizan. Las expectativas están diseñadas para especificar el conjunto de llamadas a herramientas que son esenciales para que una conversación cumpla con las expectativas del usuario simulado.
    • Cuando se cumple una expectativa de entrada de llamada de herramienta, la llamada se intercepta y se reemplaza por un valor de retorno simulado en el entorno de ejecución.
  • Expectativas de respuesta del agente: Verifica si alguna respuesta del agente en la conversación contiene una cadena esperada.

Finalización de la tarea

Se calcula para los casos de prueba de situación y simulación. La finalización de tareas es una medida de la calidad de la conversación. Mide de forma conjunta si se alcanzaron o no los objetivos del usuario Y si el comportamiento del agente fue correcto. Se define de la siguiente manera:

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

En el caso de las simulaciones, se agrega un cuarto término: también se deben completar todos los pasos de la simulación. La finalización de la tarea es lo que la consola informa como el estado general de aprobación o falla del resultado del caso de prueba.

Personas

Los personajes son personajes de usuario simulados que puedes personalizar y usar para probar agentes con casos de prueba de situación y simulación. Esta función es útil para garantizar que el agente interactúe de forma adecuada con los tipos de usuarios humanos con los que es probable que se encuentre durante el tiempo de ejecución.

Si no seleccionas un perfil, se seleccionará uno al azar para cada resultado de la situación.

Esta función está disponible para usarse con entradas de texto y audio.

Crea una personificación

  1. Para crear un perfil, navega a la pestaña Evaluar y haz clic en Administración de perfiles (junto al ícono de Configuración).
  2. Haz clic en + Agregar persona.
  3. En el menú que aparece, ingresa un Nombre, una Personalidad del usuario y cualquier Contexto del usuario adicional (como la edad, la ubicación, el motivo de la llamada, etcétera).
  4. Haz clic en + Agregar.

Para ejecutar una evaluación con un perfil, sigue estos pasos:

  1. Regresa a la página principal Evaluar y selecciona uno o más casos de prueba de situaciones o simulaciones. Haz clic en Ejecutar seleccionados.
  2. En la ventana que aparece, selecciona el rol que acabas de crear en el menú desplegable Roles y haz clic en Ejecutar.

Prácticas recomendadas para las evaluaciones y el hillclimbing

Cuando crees un agente nuevo con componentes modulares, crea casos de prueba dedicados para cada variante de agente que tengas, por ejemplo:

  • Voz y chat
  • SDK de SMS y chat
  • Marca A, B y C, etcétera

Crea casos adicionales para verificar si hay filtraciones de instrucciones entre variantes. Por ejemplo, las instrucciones específicas del chat no deben aparecer en los casos que se ejecutan en el modo de voz y viceversa.

Asegúrate de que los casos se ejecuten con el agente correcto:

  • Para la modalidad (chat o voz) o los canales, ejecutar el caso con la implementación correcta garantiza la alineación de forma automática.
  • Cada implementación encapsula la modalidad, el modelo usado y el canal.
  • Para las condicionales de variables definidas por el compilador, inserta el valor de la variable cuando ejecutes el caso. Por ejemplo: brand_name == "Cymbal Retail" o brand_name == "Acme Corp".

Pídele a tu agente de programación favorito que mejore de forma iterativa el agente de CX Agent Studio hasta que todos los casos de prueba cumplan con sus métricas objetivo o cualquier otro objetivo de calidad.

  • Pídele a tu agente de programación que concilie los cambios sugeridos de diferentes casos de prueba que afecten las mismas instrucciones del agente. Indícale que marque los conflictos difíciles para que los revise un humano, de modo que puedas proporcionar información detallada si es necesario.
  • Pídele a tu agente de programación que cree comparaciones en paralelo de todas las variantes del agente para los cambios realizados. Esto ayuda a comprender y validar las correcciones que eligió.
  • Iterar según sea necesario La naturaleza específica de estas iteraciones dependerá del diseño de tu agente de CX Agent Studio, el diseño del agente de programación, el modelo usado y el encuadre de la conversación.
  • Asegúrate de que los resultados del agente de codificación sean precisos validando manualmente las muestras de transcripciones y resultados reales.
  • Indícale a tu agente de programación que busque situaciones faltantes del ejercicio de escalada de colinas y sugiera casos nuevos si corresponde. Continúa con las iteraciones según sea necesario.