Esta guía está dirigida a administradores de datos y de catálogos. En él, se describe cómo evaluar y aprobar las propuestas de metadatos generadas por las ejecuciones de enriquecimiento.
Cada vez que ejecutas una tarea de enriquecimiento, se genera una ejecución de enriquecimiento. La ejecución procesa tu conjunto de contexto en función de tus indicadores de conocimiento, genera métricas de evaluación y propone nuevas propiedades de metadatos.
Puedes ver los detalles de las ejecuciones históricas, evaluar su rendimiento y decidir si apruebas o rechazas los cambios de metadatos propuestos.
Antes de comenzar
Para obtener los permisos que necesitas para evaluar y aprobar las ejecuciones de enriquecimiento, pídele a tu administrador que te otorgue uno de los siguientes roles de IAM en el proyecto:
- Editor del catálogo de Dataplex (
roles/dataplex.catalogEditor) - Administrador del catálogo de Dataplex (
roles/dataplex.catalogAdmin)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También debes tener una tarea de enriquecimiento activa ejecutada en tu proyecto. Para obtener más información, consulta Crea tareas de enriquecimiento.
Flujo de trabajo de evaluación
Puedes revisar una ejecución de enriquecimiento en tres fases:
Evalúa la viabilidad general: Verifica las puntuaciones agregadas en las pestañas Descripción general y Evaluación. Esto te indica si la ejecución es, en general, exitosa o una alucinación completa antes de que profundices en los detalles.
Analiza las propuestas individuales: Filtra la pestaña Resumen para ver las propuestas de confianza de
Low. Si la decisión de una propuesta no está clara, usa la pestaña Artefactos para auditar los seguimientos de conversaciones sin procesar y comprender por qué el agente hizo su sugerencia.Aprueba o rechaza la ejecución: Realiza una verificación final. Si la mayoría de las propuestas son sólidas y están bien fundamentadas, aprueba la ejecución para combinar los metadatos en tu catálogo. Si tiene muchos errores, rechaza la ejecución, mejora tus conjuntos de contexto y vuelve a intentarlo.
Cómo abrir una ejecución de enriquecimiento
Para ver los detalles de una ejecución de enriquecimiento, sigue estos pasos:
En la consola de Google Cloud , ve a la página Knowledge Studio.
En el panel de navegación izquierdo, selecciona Enriquecimientos.
Se abrirá la página Enriquecimiento y se mostrará una lista de las tareas activas, con errores y correctas. La lista de tareas incluye el nombre, el estado, el resumen de la ejecución, el activador y la fecha de la última modificación.
En la lista de tareas, haz clic en el nombre de la tarea de enriquecimiento que deseas investigar.
Haz clic en la pestaña Trabajos.
En la lista de trabajos, haz clic en el Nombre (ID) vinculado de la ejecución que deseas ver. Como alternativa, puedes hacer clic en Acciones junto a una ejecución y seleccionar Ver resultado.
Se abrirá la página Detalles de la ejecución de enriquecimiento.
La página de detalles organiza los resultados en las siguientes pestañas:
| Tab | Usa esta pestaña para lo siguiente: |
|---|---|
| Descripción general | Evalúa el estado y la confianza de alto nivel, y revisa y aprueba las propuestas de metadatos generadas. Responde las preguntas: ¿Esta ejecución es mayormente buena? y ¿Qué se publicará exactamente en el catálogo? |
| Evaluación | Verifica la puntuación cuantitativa y las métricas de aprobación o reprobación. Responde la siguiente pregunta: ¿La lógica de enriquecimiento realmente mejoró la usabilidad de los datos? |
| Artefactos | Inspecciona los diagnósticos, el aprendizaje tácito y las puntuaciones de fundamentación. Responde la pregunta: ¿Por qué el agente tomó esta decisión y es confiable la lógica? |
| Registros | Solucionar problemas de seguimientos de ejecución del sistema Responde la pregunta: ¿El trabajo falló técnicamente? |
Evalúa la viabilidad general de la ejecución
La pestaña Resumen es tu punto de partida. Visita esta pestaña para evaluar el éxito general de la ejecución, explorar las métricas de alto nivel y revisar o aprobar los cambios específicos de metadatos que propone la IA.
Para revisar el resumen de la ejecución, haz lo siguiente:
En la página Detalles de la ejecución de enriquecimiento, selecciona la pestaña Descripción general.
Revisa el informe de enriquecimiento. En esta sección, se muestra el estado general de la ejecución, incluida la puntuación agregada, el estado (por ejemplo, "Necesita revisión"), la duración, el total de tokens usados y un resumen que describe la confianza general de las propuestas.
Qué buscar: Revisa la puntuación agregada y el resumen para evaluar rápidamente si la ejecución se realizó correctamente a nivel macroscópico antes de profundizar en las propuestas individuales. Por ejemplo, una puntuación del 80% o más suele indicar una ejecución de alta confianza, mientras que las puntuaciones más bajas pueden requerir que revises las propuestas con más cuidado.
Revisa la sección Evaluación de extremo a extremo. Aquí se muestran los porcentajes de aprobación de referencia y proyectados para tus casos de evaluación. Por lo general, una ejecución aceptable genera un Delta positivo (por ejemplo, +5%), lo que indica que los metadatos propuestos mejoran la usabilidad general de los datos en comparación con el valor de referencia.
Revisa la sección Propuestas. En esta sección, se muestra un resumen de alto nivel de los cambios propuestos (como la cantidad total de creaciones, actualizaciones o borrados), seguido de una lista de propuestas agrupadas por tipo de recurso (por ejemplo, Documentos de la base de conocimiento). Puedes filtrar las propuestas por nivel de confianza (
High,Medium,Low,N/A) y expandir los tipos de recursos para ver entradas específicas.Qué buscar: Busca propuestas de confianza
Lowen particular, ya que suelen indicar que falta contexto o que hay alucinaciones que se deben rechazar.
Analiza las propuestas individuales
A menos que hayas habilitado la publicación automática en la tarea, las ejecuciones de enriquecimiento no modifican tus metadatos automáticamente. La ejecución genera cambios propuestos que debes aprobar.
Cuando revises las propuestas, te recomendamos que las filtres por puntuación de confianza y
que revises primero las propuestas de confianza Low, ya que requieren un mayor
escrutinio y es más probable que necesiten ajustes manuales o que se rechacen. Verifica
que el lenguaje de marcado, las etiquetas o las descripciones generados representen con precisión tu
lógica empresarial en el modo Vista previa y busca cualquier anulación de atributos
no deseada en la vista Cambios.
Para revisar las propuestas específicas que se generaron con la ejecución, sigue estos pasos:
En la pestaña Detalles de la ejecución de enriquecimiento, en la sección Propuestas, busca la propuesta que quieres revisar.
Haz clic en Ver propuesta para la entrada. Se abrirá el panel lateral Cambios propuestos.
En el panel lateral, revisa y, de manera opcional, edita los metadatos generados por la IA.
En el recurso específico que se modifica (por ejemplo, el aspecto Descripción general), usa el botón de activación de vista para cambiar de vista.
La vista Cambios te permite inspeccionar la diferencia exacta que se envía al catálogo.
En la vista Vista previa, se muestra el formato fácil de leer de los documentos y las tablas generados.
Para ajustar de forma manual la propuesta de la IA, haz clic en Editar junto al nombre del recurso, realiza los cambios en el editor de texto y, luego, haz clic en Guardar.
Si la propuesta es incorrecta, haz clic en Quitar de la solicitud en el panel lateral y, luego, en Quitar para confirmar. Esto quita de forma permanente el cambio propuesto, lo que evita que se agregue al catálogo cuando apruebes la ejecución.
Después de revisar todas las propuestas, haz clic en Aprobar en el encabezado de la sección Propuestas para combinar las propuestas restantes en tu catálogo. Como alternativa, si toda la carrera es imprecisa, puedes hacer clic en Rechazar.
Visualiza las métricas de evaluación de extremo a extremo
En la pestaña Evaluación, se mide el impacto de la ejecución del enriquecimiento. Compara qué tan bien responden tus datos las preguntas de prueba con los metadatos propuestos en comparación con sin ellos. Esto te ayuda a determinar si debes aprobar la ejecución o ajustar tus conjuntos de contexto.
Cuando evalúes los resultados, usa la columna Por qué para comprender el razonamiento. El agente proporciona un razonamiento detallado que compara su lógica con la referencia. Puedes usar estos comentarios para comprender por qué falló el agente (por ejemplo, si falta una unión de tablas fundamental). Luego, puedes usar esa información para mejorar tus datos de origen o aclarar tu conjunto de contexto.
Para interpretar los resultados de la evaluación, haz lo siguiente:
- En la página Detalles de la ejecución de enriquecimiento, haz clic en la pestaña Evaluación.
- Revisa las puntuaciones en la parte superior de la pestaña. Enfócate en el Delta, que muestra el cambio porcentual general en la tasa de aprobación, lo que indica el valor de alto nivel que agregan las propuestas de enriquecimiento.
- Revisa las Métricas de resumen para ver los cambios estadísticos (como el promedio o el máximo) en criterios específicos, como la Precisión de los resultados de los datos.
- Usa la tabla Resultados por caso para depurar las brechas cognitivas específicas. En esta tabla, se enumeran todas las preguntas de prueba evaluadas durante la ejecución.
- Filtra la lista para ubicar los resultados Fallidos o las entradas
Still failingen la columna Cambio. - Lee la explicación en la columna Por qué para comprender las fallas de la IA.
- Filtra la lista para ubicar los resultados Fallidos o las entradas
Artefactos de ejecución de auditoría
La pestaña Artefactos contiene diagnósticos y evidencias detallados que respaldan las decisiones de la IA. Visita esta pestaña cuando necesites comprender por qué una propuesta recibió una puntuación de confianza baja. También puedes usarlo para auditar los seguimientos de conversaciones sin procesar y las reglas aprendidas que extrae el agente.
Cuando veas la pestaña Aprendizajes, verifica los recuentos de Aplicados en comparación con Requiere atención. El recuento de Aplicados muestra cuántos hechos nuevos se
agregaron correctamente al sistema, mientras que Requiere atención marca los hallazgos contradictorios
o ambiguos que requieren una limpieza manual. Un recuento de 0 significa que no se extrajo conocimiento nuevo en esta ronda, lo que es un resultado normal. Si los elementos se
marcan como ambiguos o conflictos, significa que el agente encontró información contradictoria
en tus fuentes que debes resolver en tu conjunto de contexto.
Cuando veas la pestaña Puntuaciones de confianza, lee la oración de resumen (por ejemplo, Qué impidió que se aceptaran la mayoría de las propuestas). Ve a la sección Cambios propuestos para aislar los cambios con la calificación más baja. Si un cambio aparece aquí, es probable que no haya superado las verificaciones de fundamentación o que no haya tenido suficiente evidencia. Usa esta lista para priorizar qué propuestas rechazar.
Para ver los artefactos de ejecución, haz lo siguiente:
En la página Detalles de la ejecución de enriquecimiento, haz clic en la pestaña Artefactos.
Revisa las siguientes pestañas secundarias para inspeccionar los datos de diagnóstico:
Aprendizajes: Muestra si el agente extrajo correctamente un nuevo conocimiento tácito (por ejemplo, de registros de conversaciones o historiales de chat). También puedes ver los registros de conversación que llevaron a propuestas específicas.
Puntuaciones de confianza: Desglosa la calificación de confianza de la IA en tres dimensiones: Fundamentación, Corroboración y Calidad de la fuente. También puedes acceder al conjunto de datos sin procesar de
dynamic_eval.jsondesde esta sección si necesitas auditar las evaluaciones.
Soluciona problemas de ejecuciones fallidas
La pestaña Registros contiene seguimientos detallados de la ejecución del sistema. Visita esta pestaña para solucionar problemas de errores de backend o investigar por qué un trabajo de enriquecimiento no se ejecutó hasta completarse.
Para solucionar problemas de una ejecución con errores o inspeccionar los detalles de la ejecución, haz lo siguiente:
- En la página Detalles de la ejecución del enriquecimiento, haz clic en la pestaña Registros.
- Usa el menú desplegable Gravedad o la barra Filtro para limitar los resultados del registro.
- Revisar los seguimientos de ejecución y el registro del sistema
- Qué buscar: Busca entradas de gravedad
ERRORoFATALrojas que indiquen fallas de backend, como el agotamiento de la cuota o los tiempos de espera agotados de la API.
- Qué buscar: Busca entradas de gravedad
Como alternativa, puedes consultar los registros de diagnóstico directamente con Cloud Logging. Los registros de ejecución detallados del agente de enriquecimiento se enrutan automáticamente a Cloud Logging. Se ocultan las instrucciones del sistema y los datos sin procesar sensibles.
Usa las siguientes consultas en el Explorador de registros para filtrar los registros:
Consulta todos los registros de las tareas de enriquecimiento:
resource.type="dataplex.googleapis.com/EnrichmentWorkflow"Filtra los registros de una tarea específica:
text resource.labels.workflow_id="YOUR_TASK_NAME"Filtra los registros de una ejecución específica:
text labels.run_id="YOUR_RUN_ID"Filtra por advertencias y errores:
text severity>=WARNING
También puedes usar estas consultas para configurar políticas de alertas de Cloud Monitoring
en función de tus métricas de registros de Cloud Logging. Por ejemplo, puedes enrutar de forma proactiva
una alerta a Slack, PagerDuty o una lista de distribución de correo electrónico cada vez que
falle una ejecución de enriquecimiento (severity>=ERROR).
Itera en una tarea de enriquecimiento
Si una ejecución de enriquecimiento genera propuestas inexactas o falla las verificaciones de fundamentación
(informa una confianza de Low), no apruebes la ejecución. En su lugar, debes
mejorar la información que se le proporciona al agente y volver a ejecutar la tarea.
En la pestaña Descripción general, en la sección Propuestas, haz clic en Rechazar.
Si el agente interpretó de forma incorrecta tus esquemas de datos, ve a las definiciones de origen en Knowledge Catalog y mejora las descripciones del esquema.
Si el agente no tenía suficiente lógica empresarial o usó las tablas incorrectas para responder preguntas, ve al conjunto de contexto adjunto de la tarea.
- Agrega recursos: Agrega documentación interna faltante, ejemplos de consultas válidas o tablas relacionadas faltantes al conjunto de contexto para proporcionarle más datos al agente.
- Quita recursos: Quita los documentos desactualizados o los términos del glosario en conflicto si confundieron al agente.
Ve a la página Enriquecimiento y selecciona tu tarea.
Haz clic en Editar para verificar que apunte al conjunto de contexto actualizado y, luego, haz clic en Ejecutar para generar un nuevo conjunto de propuestas.