La plataforma de agente virtual es una función de la IA de calidad que proporciona estadísticas sobre el rendimiento de los agentes conversacionales creados con Dialogflow y Customer Experience Agent Studio. Customer Experience Agent Studio es un creador de agente virtual que te ayuda a crear sistemas multiagente asíncronos con transmisión bidireccional.
Ver plataforma
Sigue estos pasos para ver la plataforma en la consola de Estadísticas de la experiencia del cliente.
- Haz clic en Calidad de la IA > Agentes > Agente virtual.
- Selecciona un agente.
Rendimiento del agente virtual
La plataforma de agente virtual proporciona detalles sobre el rendimiento de agente virtual. La plataforma muestra detalles de las métricas operativas y de calidad de la IA.
Métricas operativas
La plataforma del agente virtual muestra cada una de las siguientes métricas como un número o un porcentaje.
- Total de sesiones: Es la cantidad total de conversaciones que manejó este agente.
- Tasa de derivación: Es el porcentaje de conversaciones que se derivaron a un agente humano, calculado con un indicador de Dialogflow.
- Turnos por sesión: Es la cantidad promedio de turnos por conversación.
- Porcentaje de no coincidencias: Es el porcentaje de conversaciones que no coincidieron con ningún intent y solo se aplica a los agentes virtuales basados en flujos.
La plataforma del agente virtual muestra un gráfico del cambio a lo largo del tiempo para cada una de las siguientes métricas.
- Volumen: Es la cantidad total de conversaciones que manejó este agente.
- Tasa de derivación: Es el porcentaje de conversaciones que se derivaron a un agente humano.
Sigue estos métodos para calcular la tasa de derivación:
- Dialogflow: Se calcula con un indicador de Dialogflow.
- Customer Experience Agent Studio: Se calcula con un indicador del registro de
EndSessionde Customer Experience Agent Studio.
Sigue estos pasos en Agent Studio para experiencia del cliente y configura la tasa de derivación en end_session:
- Agrega la herramienta
end_sessional nodo del agente. Navega a la página Agent en Quality AI. Haz clic en Herramientas para ver la herramientaend_session. - Proporciona instrucciones al agente.
Ejemplo: Cuando el cliente solicita un agente humano, ejecuta la herramienta end_session con los argumentos {session_escalated = true}.
- Desglose del tipo de derivación: Cantidad de conversaciones por iniciador de derivación, que podría ser el usuario o el agente, analizada en función de la pregunta predefinida en el cuadro de evaluación prediseñado ¿Quién derivó la conversación?.
- Porcentaje de fallas de la herramienta: Es el porcentaje de llamadas a la herramienta que fallaron en todos los usos de la herramienta en las conversaciones de un agente específico durante el período seleccionado y para el medio de conversación especificado.
- Latencia de la herramienta: Es la latencia promedio de una llamada a la herramienta en todos los usos de la herramienta en las conversaciones del agente específico, en el período y el medio de conversación seleccionados.
- Porcentaje de no coincidencias: Es el porcentaje de conversaciones que no coincidieron con ningún intent y solo se aplica a los agentes virtuales basados en flujos.
Desglose de la latencia de extremo a extremo (E2E)
La latencia de extremo a extremo (E2E) es la cantidad de tiempo que transcurre entre el final de la expresión del usuario y el comienzo de la siguiente expresión del agente. La plataforma de agente virtual calcula la latencia de extremo a extremo para cada interacción del agente de usuario en las conversaciones de chat y de voz.
La plataforma de agente virtual muestra un gráfico titulado Desglose de la latencia de extremo a extremo, que ilustra la latencia de extremo a extremo a nivel de la expresión. El eje Y muestra el tiempo en incrementos de 50 milisegundos. El eje X indica que puedes ver la latencia de extremo a extremo para las herramientas, el modelo de lenguaje grande (LLM) y la conversión de texto a voz (TTS). Por último, el gráfico muestra la latencia de extremo a extremo como barras separadas para tres categorías de percentiles: P50 es el percentil 50, P90 es el percentil 90 y P99 es el percentil 99. Por ejemplo, si la latencia del P99 del LLM es de 5 segundos, significa que el 99% de los valores de latencia del LLM a nivel de la expresión son inferiores a 5 segundos.
Desglose del tipo de derivación
El desglose del tipo de derivación muestra la cantidad de conversaciones para cada iniciador de derivación: usuario o agente. La IA de calidad determina quién inició la derivación respondiendo la pregunta predefinida ¿Quién derivó la conversación? Puedes explorar en detalle un iniciador de derivación para ver una lista de conversaciones con él.
Herramientas
Las métricas de herramientas se calculan para las herramientas de agentes conversacionales. Las métricas agregadas, como la latencia de la herramienta y las tasas de fallas, ayudan a los creadores de bots a identificar los cuellos de botella de rendimiento en las conversaciones.
Métricas de la IA de calidad
La plataforma de agente virtual muestra las siguientes métricas de Calidad de la IA.
- Puntuación de calidad: Es la puntuación de calidad promedio por cuadro de evaluación en las conversaciones que maneja este agente.
- Opinión general: Es la puntuación promedio de opinión sobre las conversaciones que maneja este agente.
- Desglose de opiniones: Un gráfico de barras codificado por colores para ilustrar la cantidad de conversaciones de este agente por categoría de opinión a nivel de la conversación: negativa, neutra o positiva.
- Resultado de la conversación: Es la cantidad de conversaciones para cada resultado posible.
- Opinión por descubrimiento: Desglose de la cantidad de conversaciones por categoría de opinión a nivel de la conversación para esta métrica.
La plataforma también muestra gráficos del cambio a lo largo del tiempo para las siguientes métricas de Calidad de la IA.
- Nivel de calidad: Es el porcentaje de niveles de calidad de todas las conversaciones que manejó este agente.
- Desglose de la categoría de puntuación: Son las cifras de la Puntuación de calidad para cada categoría predefinida: empresa, cumplimiento, cliente y cualquier categoría personalizada.
Resultado de la conversación
El gráfico de resultados de la conversación muestra la cantidad de conversaciones que finalizaron con cada uno de los siguientes resultados posibles:
- Abandonada
- Parcialmente resuelta
- Derivación
- Redirigido
- Se resolvió correctamente
- Desconocido
Calcular los resultados de la conversación con preguntas predefinidas en el cuadro de evaluación prediseñado de la IA de calidad
- Para ver los datos de resultados en este gráfico, ejecuta un análisis de Calidad de la IA con un cuadro de evaluación prediseñado.
- Haz clic en un resultado para ver una lista de las conversaciones con ese resultado.
Desglose de opiniones
Después de ejecutar el análisis de opiniones en todas tus conversaciones, el gráfico de desglose de opiniones muestra la cantidad de conversaciones con una opinión general en cada categoría: negativa, neutra y positiva.