Rastrear a linhagem de artefatos de pipeline

Cada execução de pipeline criada usando o Vertex AI Pipelines tem vários artefatos e parâmetros associados, como modelos, conjuntos de dados, modelos de pipeline e componentes. A linhagem de um artefato de pipeline inclui os fatores que contribuíram para a criação, bem como artefatos e metadados derivados desse artefato. Por exemplo, a linhagem de um modelo pode incluir o seguinte:

  • Os dados de treinamento, teste e avaliação usados para criar o modelo.

  • Os hiperparâmetros usados durante o treinamento do modelo.

  • Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.

  • Artefatos descendentes desse modelo, como os resultados de previsões em lote.

Use esses metadados para responder a perguntas como as seguintes:

  • por que um pipeline específico executou um modelo especialmente preciso?

  • Qual execução de pipeline produziu o modelo mais preciso e quais hiperparâmetros foram usados para treinar o modelo?

  • Dependendo das etapas no pipeline, talvez seja possível responder a perguntas sobre a governança do sistema. Por exemplo, é possível usar metadados para determinar qual versão do seu modelo estava em produção em um determinado momento.

Para conferir e analisar a linhagem de artefatos do pipeline, é possível usar o Vertex ML Metadata ou o Knowledge Catalog.

A tabela a seguir descreve as diferenças entre o Vertex ML Metadata e o Knowledge Catalog:

Recurso Vertex ML Metadata Knowledge Catalog
Tipos de metadados de pipeline capturados Todos os artefatos de entrada e saída produzidos por uma execução de pipeline. Artefatos de entrada e saída que podem ser mapeados para nomes totalmente qualificados (FQNs) com suporte do Knowledge Catalog, geralmente usando Google Cloud componentes de pipeline.
Geografia Leituras de região única. Leituras globais, ou seja, em várias regiões.
Projetos Leituras de projeto único. Faz leituras em vários projetos em toda a organização.
Serviços integrados Integrado com o Vertex AI Pipelines, os Experimentos da Vertex AI, o Vertex AI Model Registry e os conjuntos de dados. Integrado a vários Google Cloud produtos, como Vertex AI, BigQuery, Serviço Gerenciado para Apache Airflow e Serviço Gerenciado para Apache Spark.
Ativar? Não, sempre ativado. Ative a API Data Lineage para cada projeto.

Mapear artefatos do Vertex ML Metadata para o Knowledge Catalog

Para mapear artefatos do Vertex ML Metadata para FQNs no Knowledge Catalog, você precisa fazer o seguinte:

  • Usar Google Cloud componentes de pipeline ao criar modelos da Vertex AI e conjuntos de dados gerenciados.

  • Use títulos de esquema personalizados (google.VertexDataset ou google.VertexModel) ao especificar o nome do recurso do modelo ou do conjunto de dados gerenciado no campo metadata, conforme ilustrado no exemplo a seguir:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analisar a linhagem de artefatos de pipeline usando o Vertex ML Metadata

Ao executar um pipeline usando o Vertex AI Pipelines, os artefatos e os parâmetros da execução do pipeline são armazenados usando o Vertex ML Metadata. O Vertex ML Metadata facilita a análise da linhagem dos artefatos do pipeline, poupando a dificuldade de acompanhar os metadados do pipeline.

Se você não conhece o Vertex ML Metadata, leia a introdução ao Vertex ML Metadata.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline usando o Vertex ML Metadata:

  1. No Google Cloud console, na seção "Vertex AI", acesse a página Metadados.

    Acessar a página "Metadados"

    A página "Metadados" lista os artefatos criados no armazenamento de metadados padrão.

  2. Na lista suspensa Região, selecione a região em que sua execução foi criada.

  3. Clique no Nome do artefato de um artefato para ver o gráfico de linhagem dele.

    Será exibido um gráfico estático mostrando os artefatos e as execuções que fazem parte desse gráfico de linhagem.

  4. Clique em um artefato ou execução para saber mais sobre ele.

Analisar a linhagem de artefatos de pipeline usando o Knowledge Catalog

O Knowledge Catalog descobre metadados de Google Cloud recursos, que incluem artefatos do Vertex AI Pipelines como modelos da Vertex AI, conjuntos de dados gerenciados e outros Google Cloud recursos que podem ser descobertos no Knowledge Catalog. É possível descobrir esses artefatos usando o recurso de pesquisa de metadados do Knowledge Catalog e visualizar os respectivos gráficos de linhagem.

Para mais informações sobre o recurso de pesquisa de metadados do Knowledge Catalog, consulte Pesquisar recursos no Knowledge Catalog.

O Knowledge Catalog pode não estar disponível em todas as regiões em que o Vertex AI Pipelines é compatível. Se o Knowledge Catalog não tiver suporte na sua região, use o Vertex ML Metadata. Confira a lista de regiões com suporte para o Knowledge Catalog.

Siga estas instruções para visualizar o gráfico de linhagem de um artefato de pipeline no Knowledge Catalog:

  1. Para iniciar uma consulta de pesquisa do Knowledge Catalog no Google Cloud console, acesse a página Pesquisar do Knowledge Catalog.

    Acesse Pesquisar

  2. Selecione Dataplex Universal Catalog como o modo de pesquisa.

  3. Use os filtros para pesquisar os artefatos. Por exemplo, use o filtro Tipos de dados para especificar o tipo de artefato, como modelo, conjunto de dados ou tabela do BigQuery. Para mais informações, consulte Pesquisar recursos no Knowledge Catalog.

    Também é possível definir sua consulta no campo de pesquisa.

  4. Para visualizar a linhagem de um artefato, clique no nome do artefato e, em seguida, na guia Linhagem.

    No gráfico de linhagem, os processos da Vertex AI são precedidos por Ícone de linhagem da Vertex AI. Isso inclui artefatos e componentes de pipeline e modelos de pipeline.

    • Para visualizar os detalhes de um processo, clique nele no gráfico de linhagem.

    • Para processos com base em tarefas de pipeline de execuções de pipeline, é possível fazer o seguinte:

      • Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes. Para visualizar os detalhes do ambiente de execução de uma execução de pipeline, como estados, carimbos de data/hora e atributos, clique em Mais. Para conferir a execução do pipeline na Vertex AI, clique em Abrir na Vertex AI.

    • Para processos baseados em um modelo de pipeline, faça o seguinte:

      • Para conferir os detalhes do modelo na Vertex AI, clique em Abrir na Vertex AI na guia Detalhes.

      • Veja a lista de tarefas de pipeline criadas em execuções de pipeline na guia Execuções. Para conferir os detalhes do modelo de pipeline na Vertex AI, clique em Mais e, em seguida, em Abrir na Vertex AI.

A seguir