Etiquetagem de recursos pelos Vertex AI Pipelines

Consoante o tipo de componente, recurso e a Google Cloud versão do SDK de componentes de pipelines, o Vertex AI Pipelines propaga automaticamente as etiquetas da execução do pipeline para os recursos gerados a partir de Google Cloud componentes de pipelines ou exige que etiquete os recursos gerados. Para componentes definidos pelo utilizador, tem de criar o código do componente para anexar as etiquetas a partir de uma variável de ambiente. Para mais informações, consulte o artigo Recursos gerados a partir de componentes definidos pelo utilizador.

Recursos com etiquetagem automática

O Vertex AI Pipelines etiqueta automaticamente os seguintes recursos, independentemente da Google Cloud versão do SDK de componentes de pipelines:

CustomJob recursos

O Vertex AI Pipelines propaga automaticamente as etiquetas da execução do pipeline para os recursos CustomJob. Isto é suportado pelos seguintes componentes em todas as versões do Google Cloud SDK de componentes da pipeline:

Recursos com etiquetagem automática no Google Cloud SDK de componentes de pipeline v1.0.31 ou posterior

Os Vertex AI Pipelines etiquetam automaticamente os seguintes recursos se usar o Google Cloud SDK de componentes de pipelines v1.0.31 ou posterior:

BatchPredictionJob recursos

O Vertex AI Pipelines propaga automaticamente as etiquetas da execução do pipeline para os recursos BatchPredictionJob gerados a partir do componente ModelBatchPredictOp se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline.

Recursos do Vertex AI endpoint

Os Vertex AI Pipelines propagam automaticamente as etiquetas da execução do pipeline para os recursos do Vertex AI endpoint gerados a partir do componente EndpointCreateOp se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline.

HyperparameterTuningJob recursos

O Vertex AI Pipelines propaga automaticamente as etiquetas da execução do pipeline para os recursos HyperparameterTuningJob gerados a partir do componente HyperparameterTuningJobRunOp se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline.

Recursos de conjuntos de dados do Vertex AI

Os pipelines do Vertex AI propagam automaticamente as etiquetas da execução do pipeline para os recursos do conjunto de dados do Vertex AI gerados a partir dos seguintes componentes do Vertex AI se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline:

Google Cloud Recursos de tarefas do BigQuery

Os Vertex AI Pipelines propagam automaticamente as etiquetas da execução do pipeline para os Google Cloud recursos de tarefas do BigQuery gerados a partir de qualquer um dos componentes do BigQuery ML se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline.

Google Cloud Recursos de tarefas do Dataproc

Os Vertex AI Pipelines propagam automaticamente as etiquetas da execução do pipeline para os recursos de trabalhos do Dataproc gerados a partir de qualquer um dos Google Cloud componentes sem servidor para o Apache Spark se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline. Google Cloud

TrainingPipeline e Model recursos

O Vertex AI Pipelines propaga automaticamente as etiquetas da execução do pipeline para os recursos TrainingPipeline e Model gerados a partir dos seguintes componentes do AutoML se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipelines:

Google Cloud Recursos de tabelas do BigQuery

Os Vertex AI Pipelines propagam automaticamente as etiquetas da execução do pipeline Google Cloud recursos de tabelas do BigQuery gerados a partir do componente ForecastingPreprocessingOp se usar a versão 1.0.31 ou posterior do Google Cloud SDK de componentes de pipeline.

Recursos sem etiquetagem automática

O Vertex AI Pipelines não etiqueta automaticamente os seguintes recursos, independentemente da Google Cloud versão do SDK de componentes de pipeline:

Google Cloud Recursos do Dataflow

O Vertex AI Pipelines não etiqueta automaticamente os recursos do Dataflow gerados pelo componente DataflowPythonJobOp. Pode incluir instruções no seu código para etiquetar os recursos.

Use o seguinte exemplo de código para propagar etiquetas de faturação da execução do pipeline para qualquer recurso do Google Cloud Dataflow gerado com o componente DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Recursos gerados a partir de componentes definidos pelo utilizador

Os pipelines da Vertex AI não etiquetam automaticamente Google Cloud os recursos gerados a partir de componentes definidos pelo utilizador. Pode incluir instruções no seu código para obter as etiquetas da variável de ambiente VERTEX_AI_PIPELINES_RUN_LABELS e anexar essas etiquetas aos recursos Google Cloud gerados através do componente no tempo de execução.

A variável de ambiente VERTEX_AI_PIPELINE_RUN_LABELS contém as etiquetas no formato JSON como pares de chave-valor.

Por exemplo: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Se estiver a usar o SDK da Vertex AI para Python, use o seguinte exemplo de código no código do componente para propagar etiquetas da variável de ambiente para um novo recurso gerado a partir do componente:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...ß
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Substitua o seguinte:

  • PROJECT_ID: o Google Cloud projeto que contém a execução do pipeline.

  • LOCATION: a localização da execução da pipeline.

  • RESOURCE: Google Cloud recurso gerado a partir do componente, por exemplo, CustomJob ou Model.

Também pode usar o utilitário gcp_labels_util.attach_system_labels se quiser usar o Python para analisar a variável de ambiente. Só pode usar esta utilidade se tiver acesso à biblioteca Google Cloud Pipeline Components e estiver a usar Python. Para mais informações, consulte o código fonte da função de utilidade no GitHub.

Recursos sem suporte de etiquetagem

O Vertex AI Pipelines não suporta a propagação de etiquetas de faturação para os seguintes recursos:

Recursos de metadados de AA

Os recursos de metadados de ML são faturados ao nível da loja. Não pode usar etiquetas de faturação para compreender o custo ao nível do recurso.

Recursos do Cloud Storage

O Vertex AI Pipelines não propaga etiquetas de faturação para recursos do Cloud Storage, como contentores do Cloud Storage.

O que se segue?