Rastrear a linhagem de artefatos de pipeline

Cada execução de pipeline criada usando o Agent Platform Pipelines tem vários artefatos e parâmetros associados, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um artefato de pipeline inclui os fatores que contribuíram para a criação, bem como artefatos e metadados derivados desse artefato. Por exemplo, a linhagem de um modelo pode incluir o seguinte:

  • Os dados de treinamento, teste e avaliação usados para criar o modelo.

  • Os hiperparâmetros usados durante o treinamento do modelo.

  • Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.

  • Artefatos descendentes desse modelo, como os resultados de previsões em lote.

Use esses metadados para responder a perguntas como as seguintes:

  • por que um pipeline específico executou um modelo especialmente preciso?

  • Qual execução de pipeline produziu o modelo mais preciso e quais hiperparâmetros foram usados para treinar o modelo?

  • Dependendo das etapas no pipeline, talvez seja possível responder a perguntas sobre a governança do sistema. Por exemplo, é possível usar metadados para determinar qual versão do seu modelo estava em produção em um determinado momento.

Para conferir e analisar a linhagem de artefatos do pipeline, é possível usar o Vertex ML Metadata ou o Knowledge Catalog.

A tabela a seguir descreve as diferenças entre o Vertex ML Metadata e o Knowledge Catalog:

Recurso Vertex ML Metadata Knowledge Catalog
Tipos de metadados de pipeline capturados Todos os artefatos de entrada e saída produzidos por uma execução de pipeline. Artefatos de entrada e saída que podem ser mapeados para nomes totalmente qualificados (FQNs) compatíveis com o Knowledge Catalog, geralmente usando componentes de pipeline Google Cloud .
Geografia Leituras de região única. Leituras globais, ou seja, em várias regiões.
Projetos Leituras de projeto único. Faz leituras em vários projetos em toda a organização.
Serviços integrados Integrado com os pipelines da Agent Platform, os Experiments da Gemini Enterprise Agent Platform, o Model Registry da Gemini Enterprise Agent Platform e os Datasets. Integrado a vários produtos do Google Cloud , como a plataforma de agentes do Gemini Enterprise, o BigQuery, o Serviço Gerenciado para Apache Airflow e o Serviço Gerenciado para Apache Spark.
Ativar? Não, sempre ativado. Ative a API Data Lineage para cada projeto.

Mapear artefatos do Vertex ML Metadata para o Knowledge Catalog

Para mapear artefatos do Vertex ML Metadata para FQNs no Knowledge Catalog, você precisa fazer o seguinte:

  • Use os componentes de pipeline Google Cloud ao criar modelos da Agent Platform e conjuntos de dados gerenciados.

  • Use títulos de esquema personalizados (google.VertexDataset ou google.VertexModel) ao especificar o nome do recurso do modelo ou do conjunto de dados gerenciado no campo metadata, conforme ilustrado no exemplo a seguir:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analisar a linhagem de artefatos de pipeline usando o Vertex ML Metadata

Ao executar um pipeline usando o Agent Platform Pipelines, os artefatos e os parâmetros da execução do pipeline são armazenados usando o Vertex ML Metadata. O Vertex ML Metadata facilita a análise da linhagem dos artefatos do pipeline, poupando a dificuldade de acompanhar os metadados do pipeline.

Se você não conhece o Vertex ML Metadata, leia a introdução ao Vertex ML Metadata.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline usando o Vertex ML Metadata:

  1. No console Google Cloud , na seção "Plataforma de agente do Gemini Enterprise", acesse a página Metadados.

    Acessar a página "Metadados"

    A página "Metadados" lista os artefatos criados no armazenamento de metadados padrão.

  2. Na lista suspensa Região, selecione a região em que sua execução foi criada.

  3. Clique no Nome do artefato de um artefato para ver o gráfico de linhagem dele.

    Será exibido um gráfico estático mostrando os artefatos e as execuções que fazem parte desse gráfico de linhagem.

  4. Clique em um artefato ou execução para saber mais sobre ele.

Analisar a linhagem de artefatos de pipeline usando o Knowledge Catalog

O Knowledge Catalog descobre metadados dos recursos doGoogle Cloud , que incluem artefatos do Agent Platform Pipelines, como modelos da Vertex AI, conjuntos de dados gerenciados e outros recursos doGoogle Cloud que podem ser descobertos no Knowledge Catalog. É possível descobrir esses artefatos usando o recurso de pesquisa de metadados do Knowledge Catalog e visualizar os respectivos gráficos de linhagem.

Para mais informações sobre o recurso de pesquisa de metadados do Knowledge Catalog, consulte Pesquisar recursos no Knowledge Catalog.

O Knowledge Catalog pode não estar disponível em todas as regiões em que o Agent Platform Pipelines é compatível. Se o Knowledge Catalog não tiver suporte na sua região, use o Vertex ML Metadata. Confira a lista de regiões com suporte para o Knowledge Catalog.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline no Knowledge Catalog:

  1. Para iniciar uma consulta de pesquisa do Knowledge Catalog no console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. Se a plataforma de pesquisa estiver definida como Data Catalog, no menu Escolher plataforma de pesquisa, selecione Knowledge Catalog.

  3. Use os filtros para pesquisar os artefatos. Por exemplo, use o filtro Tipos de dados para especificar o tipo de artefato, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações, consulte Pesquisar recursos no Knowledge Catalog.

    Também é possível definir sua consulta no campo de pesquisa.

  4. Para visualizar a linhagem de um artefato, clique no nome do artefato e, em seguida, na guia Linhagem.

    No gráfico de linhagem, os processos da Agent Platform são precedidos por Ícone de linhagem da Agent Platform. Isso inclui artefatos e componentes de pipeline e modelos de pipeline.

    • Para visualizar os detalhes de um processo, clique nele no gráfico de linhagem.

    • Para processos com base em tarefas de pipeline de execuções de pipeline, é possível fazer o seguinte:

      • Para conferir a execução do pipeline na Agent Platform, clique em Abrir na Agent Platform na guia Detalhes. Para visualizar os detalhes do ambiente de execução de uma execução de pipeline, como estados, carimbos de data/hora e atributos, clique em Mais. Para conferir a execução do pipeline na Agent Platform, clique em Abrir na Agent Platform.

    • Para processos baseados em um modelo de pipeline, faça o seguinte:

      • Para conferir os detalhes do modelo na Agent Platform, clique em Abrir na Agent Platform na guia Detalhes.

      • Veja a lista de tarefas de pipeline criadas em execuções de pipeline na guia Execuções. Para conferir os detalhes do modelo de pipeline na Agent Platform, clique em Mais e, em seguida, em Abrir na Agent Platform.

A seguir