La evaluación automática de resúmenes valora la calidad de los resúmenes en función de tres métricas: precisión, integridad y coherencia. Esta función te ayuda a evaluar la calidad de los generadores de resúmenes, lo cual es fundamental a la hora de ajustar las definiciones de secciones personalizadas o de actualizar el software que afecta a los modelos de resumen. Para obtener más información sobre las métricas de evaluación, consulta los conceptos básicos de la autoevaluación de resúmenes.
Antes de empezar
- Crea un generador de resúmenes que genere resúmenes candidatos para tu evaluación.
- Las definiciones de sección del generador sirven como datos reales para la evaluación.
- Para que la puntuación final refleje la calidad del generador, las instrucciones de cada sección deben coincidir con las del generador.
Crear una solicitud de autoevaluación de resumen
Sigue estos pasos para crear un generador de resúmenes.
Ve a la consola de Asistente e inicia sesión.
Selecciona el proyecto.
Haz clic en Evaluaciones > Nueva evaluación.
Escribe un Nombre visible único y elige un Generador que se ajuste al resumen del candidato.
Haz clic en Siguiente.
Elige un conjunto de datos de evaluación con una de las dos opciones siguientes:
- Muestra aleatoria de conversaciones del periodo: si has pagado por la función de resumen de Agent Assist, especifica un Periodo y un Número de conversaciones máximo. Las evaluaciones seleccionan aleatoriamente hasta el número máximo de conversaciones y resúmenes de tu historial.
- Seleccionar un conjunto de datos específico: elige una muestra concreta de conversaciones que hayas seleccionado con Estadísticas de conversaciones.
Elige una fuente de resumen entre las siguientes opciones:
- Genera solo los resúmenes que falten con el generador especificado. Pagas el coste de generación del resumen
- Generar nuevos resúmenes de todas las conversaciones. Pagas el coste de generación del resumen
- No generar resúmenes. En su lugar, utilice los resúmenes que ya se hayan encontrado en el conjunto de datos. Debes pagar un coste diferente.
Haz clic en Siguiente.
Haz clic en Seleccionar carpeta, elige una carpeta de Cloud Storage en un segmento para almacenar el resultado y, a continuación, haz clic en Aceptar. Autoevaluación escribe en un archivo CSV y lo guarda en tu segmento de Cloud Storage.
Haz clic en Ejecutar. Se trata de una operación de larga duración. Tu nueva evaluación aparece en la tabla.
Evaluaciones
Sigue estos pasos para ver una lista de generadores de resúmenes y sesiones de evaluación completadas.
- Ve a la consola de Asistente e inicia sesión. Ir a la consola
- Selecciona el proyecto.
- Haz clic en Evaluaciones.
- Opcional: Para cambiar el orden de la hora de creación, haz clic en keyboard_arrow_down Abajo en el encabezado de la columna Hora de creación.
Filtrar la lista
Sigue estos pasos para filtrar la lista y buscar una evaluación específica:
- Haz clic en Filtrar evaluaciones.
Elige una de estas opciones:
- Nombre visible
- Nombre del generador
- Hora de creación
Introduce el valor del parámetro.
Eliminar una evaluación
- Espera a que el generador termine de ejecutar una evaluación.
- Haz clic en Eliminar Eliminar para borrar la evaluación.
Ver los resultados de la evaluación
Sigue estos pasos para ver los resultados detallados de la evaluación en la consola de Asistente.
- Ve a la consola de Asistente e inicia sesión. Ir a la consola
- Selecciona el proyecto.
- Haz clic en Evaluaciones.
- Haga clic en cualquier fila de la lista para ver los detalles de la evaluación, que incluyen la siguiente información:
- Nombre visible del generador
- Número de conversaciones
- Si hay conjuntos de datos de Conversational Insights, nombre del conjunto de datos de Conversational Insights asociado.
- Tiempo de ejecución
- Salida de Cloud Storage
- Resultados de rendimiento generales de todo un conjunto de datos
- Resultados a nivel de conversación de cada conversación de un conjunto de datos
Resultados a nivel de conversación
Agent Assist muestra los resultados de la evaluación a nivel de conversación en una tabla.
- En la página Detalles de la evaluación, haz clic en cualquier fila de la tabla Resultados a nivel de conversación para ver los resultados detallados, un resumen y una transcripción de la conversación.
- Haga clic en una sección para ver ejemplos de esa sección del resumen.
Comparación de resultados
Sigue estos pasos para comparar los resultados de diferentes evaluaciones:
- En la consola de Asistente, ve a Evaluaciones.
- Haz clic en una evaluación para ver sus detalles. Esta evaluación proporciona la base para la comparación y determina qué métricas incluye.
- Haz clic en Comparar > Añadir prueba para añadir otras evaluaciones y compararlas. Puedes comparar hasta cinco evaluaciones a la vez. Cada nombre visible se destaca en gris.
- Para quitar una evaluación de la comparación, haz clic en Cerrar Cerrar.
Comparar versiones del generador de resúmenes
También puedes usar la autoevaluación de resúmenes para comparar resúmenes de diferentes versiones de un generador de resúmenes. Necesitas una colección de transcripciones de conversaciones.
A continuación, se muestra un ejemplo de comparación de los resultados de la evaluación en función de los generadores de resúmenes de las versiones 4.0 y 5.0.
Paso 1: Crea una nueva versión de tu generador de resúmenes
Si aún no usas un generador de resúmenes, sigue las instrucciones para crear uno que use la versión 4.0 de resumir. A continuación, sigue estos pasos para crear un segundo generador que use la versión 5.0 de la función de resumen:
- Ve a la página Consola de Asistente > Resumen.
- Haz clic en more_vert en el generador > Duplicar generador > el nombre de la copia del generador.
- En Versión, elige 5.0 y haz clic en Guardar.
Paso 2: Crea un conjunto de datos
Sigue las instrucciones para crear un conjunto de datos con hasta 100 conversaciones. Puedes crear un máximo de 100 conversaciones por evaluación.
Paso 3: Crea evaluaciones de resumen
Sigue estos pasos para crear cada evaluación.
- Ve a la consola de Asistente, inicia sesión y selecciona tu proyecto.
- Haz clic en Evaluaciones > Nueva evaluación.
- Introduce un Nombre visible único.
- Elige el Generador de resúmenes 4.0.
- Haz clic en Siguiente.
- Seleccione Seleccionar un conjunto de datos específico.
- Selecciona Generar resúmenes.
- Haz clic en Siguiente > Seleccionar carpeta.
- Elige una carpeta de Cloud Storage en un segmento para almacenar el resultado y, a continuación, haz clic en Aceptar. La autoevaluación escribe en un archivo CSV y lo guarda en tu segmento de Cloud Storage.
- Haz clic en Ejecutar. Se trata de una operación de larga duración. Tu nueva evaluación aparece en la tabla.
Repite los pasos del 2 al 10 para tu generador de resúmenes 5.0 y usa el mismo conjunto de datos.
Paso 4: Comparar los resultados de la evaluación
Sigue las instrucciones para comparar los resultados. Asistencia del agente muestra la comparación de los dos resultados de la evaluación. Si un generador tiene puntuaciones más altas que el otro, estas se resaltarán en verde. Si ambos generadores tienen la misma puntuación, también se resaltarán en verde.
Limitación
La autoevaluación de resúmenes no es compatible con Controles de Servicio de VPC.
Regiones disponibles
La autoevaluación de resúmenes solo está disponible en tres regiones de Asistente. Para ver una lista de las regiones disponibles para cada función, consulta la tabla de regionalización.