Evaluaciones de guías

En esta guía, se explica cómo usar la función de evaluaciones integrada en la consola de Dialogflow CX para verificar las capacidades de tu agente y evitar cualquier regresión después de las actualizaciones. Dialogflow CX proporciona métricas listas para usar que ayudan a evaluar el rendimiento de tu agente.

Todas las métricas, excepto la latencia, requieren al menos un caso de prueba, una "respuesta ideal" con la que Dialogflow CX compara el rendimiento del agente para medir los resultados. Cada caso de prueba se puede medir en el contexto de un entorno, lo que te permite especificar diferentes versiones de guías, flujos y herramientas para usar en la evaluación del rendimiento del agente.

Crea un entorno (opcional)

Crear un entorno es opcional. Si no creas uno, el valor predeterminado es Borrador.

  1. Ve a Entornos y haz clic en Crear.
  2. Elige las versiones de las guías, los flujos y las herramientas que quieras usar para medir el rendimiento del agente.
  3. Haz clic en Guardar para guardar el entorno.

Crea un caso de prueba

Puedes crear un caso de prueba a partir de una conversación existente en tu historial de conversaciones, crear una conversación nueva para guardarla como un caso de prueba o importar casos de prueba a Dialogflow CX.

Crea un caso de prueba en la consola

  1. Ve a Historial de conversaciones en el menú de navegación.
  2. Para crear una conversación nueva, activa tu agente, por ejemplo, llamando al número de teléfono del agente. Cuando tengas una conversación que quieras usar como caso de prueba, selecciónala.
  3. Consulta la conversación y verifica las respuestas del agente, las herramientas invocadas y cómo suena cada respuesta. Cuando estés conforme, selecciona Crear caso de prueba.
  4. Proporciona un nombre visible para el caso de prueba y especifica tus expectativas de los eventos que deben ocurrir a nivel de la conversación. Esto puede incluir herramientas, guías y flujos que esperas que se llamen dentro de la conversación. Selecciona + Agregar expectativa para agregar más expectativas. Para que las expectativas se evalúen en orden secuencial, como se indica de arriba abajo, activa Validación secuencial.
  5. Haz clic en Save para guardar el caso de prueba.

Sube casos de prueba

  1. Los casos de prueba deben estar en el siguiente formato CSV.
  2. Para subir casos de prueba al sistema, haz clic en Importar en la parte superior del menú de casos de prueba.
  3. En el menú que aparece, selecciona el archivo almacenado de forma local o ingresa la ruta de acceso a su bucket de Cloud Storage.
  4. Tus casos de prueba ahora deberían aparecer en el menú de casos de prueba.

Ejecuta un caso de prueba

  1. Ve a Casos de prueba en el menú de navegación y selecciona los casos de prueba con los que deseas comparar tu agente. Puedes seleccionar un solo caso de prueba o varios.
  2. Haz clic en Ejecutar casos de prueba seleccionados.

Resultados de la prueba

  1. Accede a los resultados: Los resultados de la ejecución de la prueba más reciente aparecen para cada caso de prueba en la vista Caso de prueba después de que se completa:
    1. Similitud semántica: Mide qué tan similares fueron las conversaciones del agente a la "respuesta de referencia" (respuestas en el caso de prueba). Se requieren respuestas de referencia para recibir esta métrica. Los valores pueden ser 0 (incoherente), 0.5 (un poco coherente) o 1 (muy coherente).
    2. Exactitud de la llamada a la herramienta: Refleja con qué fidelidad la conversación incluye las herramientas que se espera que se invoquen durante la conversación. Los valores varían de 0 a 1. Si no se usan herramientas en la conversación, la exactitud aparece como -- (no aplicable).
    3. Latencia: Es el tiempo total que tarda el agente en procesar una solicitud del usuario y responderle, medido como la diferencia entre el final de la expresión del usuario y el comienzo de la respuesta del agente en segundos.
  2. Actualiza el caso de prueba de referencia: Si la última ejecución refleja los cambios esperados debido a una actualización del agente, selecciona Guardar como referencia para reemplazar el caso de prueba original.
  3. Filtra y ordena los resultados: Puedes filtrar y ordenar los resultados de la evaluación por cualquiera de las métricas generadas o por un entorno específico para hacer un seguimiento de los cambios en el rendimiento después de cada actualización.

Formato de los casos de prueba de importación por lotes

En esta sección, se describe cómo dar formato a un archivo CSV para importar casos de prueba por lotes para tu agente. El sistema lee este archivo para crear un conjunto estructurado de casos de prueba, cada uno de los cuales contiene uno o más turnos de conversación.

Un solo caso de prueba puede abarcar varias filas en el archivo CSV. La primera fila de un caso de prueba define sus propiedades generales, por ejemplo, su nombre y lenguaje. Cada fila posterior de ese caso de prueba define un solo turno de ida y vuelta en la conversación en la que el usuario dice algo y el agente responde.

El archivo CSV debe tener una fila de encabezado como la primera línea. Este encabezado define los datos de cada columna.

Encabezados obligatorios

Los dos encabezados obligatorios deben aparecer en el orden que se muestra. Ambos son obligatorios para la primera fila de un caso de prueba nuevo. Puedes iniciar un caso de prueba nuevo proporcionando valores nuevos de DisplayName y LanguageCode.

  • DisplayName: Es el nombre de tu caso de prueba. Este campo solo se completa para la primera fila de un caso de prueba nuevo.
  • LanguageCode: Es el código de idioma de la prueba (por ejemplo, en, en-US, es).

Encabezados opcionales

Puedes incluir los siguientes encabezados opcionales para proporcionar más detalles sobre tus casos de prueba. Pueden estar en cualquier orden después de las dos primeras columnas obligatorias.

Metadatos del caso de prueba:

  • Etiquetas: Son etiquetas separadas por espacios para organizar las pruebas (por ejemplo, "capacitación sobre pagos").
  • Nota: Son notas de texto libre o una descripción del propósito del caso de prueba.
  • TestCaseConfigV2.StartResource: Especifica el flujo o la guía con la que se iniciará la prueba.

Entrada del usuario:

  • UserInput.Input.Text: Es el texto que el usuario ingresa para un turno determinado.
  • UserInput.InjectedParameters: Son los parámetros que se insertarán en la conversación al comienzo de un turno, con formato de cadena JSON.

Resultado del agente:

  • AgentOutput.QueryResult.ResponseMessages.Text: Es el texto exacto con el que respondió el agente.
  • AgentOutput.QueryResult.Parameters: Son los parámetros que extrajo el agente, con formato de cadena JSON.

Expectativas ordenadas:

  • OrderedExpectations.ExpectedFlow: Es el flujo que esperas que esté activo después del turno.
  • OrderedExpectations.ExpectedIntent: Es el intent que esperas que coincida con el turno.
  • OrderedExpectations.ExpectedAgentReply: Es el texto con el que esperas que responda el agente, que puede ser una subcadena de la respuesta completa.
  • OrderedExpectations.ExpectedOutputParameter: Son los parámetros que esperas que se establezcan al final del turno, con formato de cadena JSON.

Metadatos de audio:

  • AudioTurnMetadata: Son los metadatos de las pruebas basadas en audio, con formato de cadena JSON.

Crea un caso de prueba

Los casos de prueba se organizan por filas de datos.

  1. Para iniciar un caso de prueba nuevo, completa su fila de metadatos:
    • Regla: Esta fila debe tener un valor en la columna DisplayName.
    • Acción: Ingresa valores para DisplayName y LanguageCode. Incluye etiquetas, notas o un TestCaseConfigV2.StartResource en esta fila según sea necesario. Deja vacías las columnas de turnos de conversación (como UserInput.Input.Text) en esta fila. Si usas etiquetas, separa cada una con un espacio (por ejemplo, tag1 tag2 tag3). Si usas TestCaseConfigV2.StartResource, agrega el prefijo start_flow: o start_playbook: al nombre del recurso (por ejemplo, start_flow:projects/p/locations/l/agents/a/flows/f).
  2. Agrega un turno de conversación al caso de prueba que acabas de iniciar. Para ello, agrega una fila nueva justo debajo de él:
    • Regla: La columna DisplayName debe estar vacía. Esto le indica al analizador que es un turno que pertenece al caso de prueba anterior.
    • Acción: Completa las columnas que describen la acción del usuario y la respuesta esperada del agente para este turno, como UserInput.Input.Text y OrderedExpectations.ExpectedAgentReply. En el caso de las columnas que requieren JSON, debes proporcionar un objeto JSON válido como una cadena (por ejemplo, {"param_name": "param_value", "number_param": 123}).