Realizar un seguimiento del linaje de los artefactos de canalización

Cada ejecución de canalización creada con Agent Platform Pipelines tiene varios artefactos y parámetros asociados, como modelos, conjuntos de datos, plantillas de canalizaciones y componentes. El linaje de un artefacto de canalización incluye los factores que contribuyeron a su creación, así como los artefactos y los metadatos derivados de él. Por ejemplo, en el linaje del modelo se puede incluir lo siguiente:

  • Los datos de entrenamiento, prueba y evaluación que se usan para crear el modelo

  • Los hiperparámetros usados durante el entrenamiento del modelo

  • Los metadatos que se obtuvieron del proceso de entrenamiento y evaluación, como la exactitud del modelo

  • Los artefactos que descienden de este modelo, como los resultados de las predicciones por lotes

Puedes usar estos metadatos para responder preguntas como las siguientes:

  • ¿Por qué una ejecución de canalización determinada produjo un modelo muy exacto?

  • ¿Qué ejecución de canalización produjo el modelo más exacto y qué hiperparámetros se usaron para entrenar el modelo?

  • Según los pasos en la canalización, es posible que puedas responder preguntas sobre la administración del sistema. Por ejemplo, puedes usar los metadatos para determinar qué versión de tu modelo estuvo en producción en un momento determinado.

Para ver y analizar el linaje de los artefactos de canalización, puedes usar Vertex ML Metadata o Knowledge Catalog.

En la siguiente tabla, se describen las diferencias entre Vertex ML Metadata y Knowledge Catalog:

Función Vertex ML Metadata Knowledge Catalog
Tipos de metadatos de canalización capturados Todos los artefactos de entrada y salida que produce una ejecución de canalización. Son artefactos de entrada y salida que se pueden asignar a nombres completamente calificados (FQN) compatibles con Knowledge Catalog, generalmente con los Google Cloud componentes de canalización.
Datos geográficos Lecturas de una sola región. Lecturas globales, es decir, en varias regiones
Proyectos Lecturas de un solo proyecto. Lecturas en toda la organización en varios proyectos.
Servicios integrados Integrado con Agent Platform Pipelines, Gemini Enterprise Agent Platform Experiments, Gemini Enterprise Agent Platform Model Registry y conjuntos de datos. Integrado con varios Google Cloud productos, como Gemini Enterprise Agent Platform, BigQuery, Managed Service para Apache Airflow y Managed Service para Apache Spark.
¿Habilitar? No, siempre activado. Habilita la API de Data Lineage para habilitar la opción por proyecto.

Asigna artefactos de Vertex ML Metadata a Knowledge Catalog

Para asignar artefactos de Vertex ML Metadata a los FQDN en Knowledge Catalog, debes hacer lo siguiente:

  • Usa los componentes de canalización cuando crees modelos de Agent Platform y conjuntos de datos administrados. Google Cloud

  • Usa títulos de esquemas personalizados (google.VertexDataset o google.VertexModel) mientras especificas el nombre del recurso del modelo o del conjunto de datos administrado en el campo metadata, como se ilustra en el siguiente ejemplo:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analiza el linaje de los artefactos de canalización con Vertex ML Metadata

Cuando ejecutas una canalización con Agent Platform Pipelines, los artefactos y parámetros de la ejecución de tu canalización se almacenan con Vertex ML Metadata. Vertex ML Metadata te permiten analizar el linaje de los artefactos de tu canalización con más facilidad, ya que evitan la dificultad de realizar un seguimiento de los metadatos de la canalización.

Si es la primera vez que usas los metadatos de AA de Vertex, lee la introducción a Vertex ML Metadata.

Sigue estas instrucciones para ver el gráfico de linaje de un artefacto de canalización con Vertex ML Metadata:

  1. En la Google Cloud consola de, en la sección Gemini Enterprise Agent Platform, ve a la Metadatos página.

    Ir a metadatos

    En la página de metadatos, se enumeran los artefactos que se crearon en el almacén de metadatos predeterminado.

  2. En la lista desplegable Región, selecciona la región en la que se creó la ejecución.

  3. Haz clic en el Nombre visible de un artefacto para ver el gráfico de linaje.

    Aparece un gráfico estático que muestra los artefactos y las ejecuciones que forman parte de este gráfico de linaje.

  4. Haz clic en un artefacto o una ejecución para obtener más información.

Analiza el linaje de los artefactos de canalización con Knowledge Catalog

Knowledge Catalog descubre los metadatos de Google Cloud los recursos, que incluyen artefactos de Agent Platform Pipelines como los modelos de Vertex AI, los conjuntos de datos administrados y otros Google Cloud recursos detectables en Knowledge Catalog. Puedes descubrir estos artefactos mediante la función de búsqueda de metadatos de Knowledge Catalog y ver sus gráficos de linaje.

Para obtener más información sobre la función de búsqueda de metadatos de Knowledge Catalog, consulta Busca recursos en Knowledge Catalog.

Ten en cuenta que es posible que Knowledge Catalog no esté disponible en todas las regiones en las que se admite Agent Platform Pipelines. Si Knowledge Catalog no es compatible con tu región, usa Vertex ML Metadata. Consulta la lista de regiones compatibles con Knowledge Catalog.

Sigue estas instrucciones para ver el gráfico de linaje de un artefacto de canalización en Knowledge Catalog:

  1. Para iniciar una consulta de búsqueda de Knowledge Catalog en la Google Cloud consola, ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. Si tu plataforma de búsqueda está configurada como Data Catalog, en el Elige una plataforma de búsqueda menú, selecciona Knowledge Catalog.

  3. Usa los filtros para buscar los artefactos. Por ejemplo, puedes usar el filtro Tipos de datos para especificar el tipo de artefacto, como modelo, conjunto de datos o tabla de BigQuery. Para obtener más información, consulta Busca recursos en Knowledge Catalog.

    También puedes definir tu consulta en el campo de búsqueda.

  4. Para ver el linaje de un artefacto, haz clic en su nombre y, luego, en la pestaña Lineage.

    En el gráfico de linaje, los procesos de Agent Platform están precedidos por Ícono de linaje de Agent Platform. Estos incluyen artefactos, componentes y plantillas de canalización.

    • Para ver los detalles de un proceso, haz clic en él en el gráfico de linaje.

    • En el caso de los procesos basados en tareas de canalización de ejecuciones de canalización, puedes hacer lo siguiente:

      • Para ver la ejecución de la canalización en Agent Platform, haz clic en Abrir en Agent Platform en la pestaña Detalles. Para ver los detalles del entorno de ejecución de una ejecución de canalización, como los estados, las marcas de tiempo y los atributos, haz clic en Más. Para ver la canalización que se ejecuta en Agent Platform, haz clic en Abrir en Agent Platform.

    • En el caso de los procesos basados en una plantilla de canalización, puedes hacer lo siguiente:

      • Para ver los detalles de la plantilla en Agent Platform, haz clic en Abrir en Agent Platform en la pestaña Detalles.

      • Consulta la lista de tareas de canalización creadas en las ejecuciones de canalización en la pestaña Ejecuciones. Para ver los detalles de la plantilla de canalización en Agent Platform, haz clic en Más y, luego, en Abrir en Agent Platform.

¿Qué sigue?