Compreenda os custos de execução do pipeline

Pode rever o custo das execuções da sua pipeline através da exportação da faturação do Google Cloud para o BigQuery.

Também pode usar o ID de faturação da execução da pipeline exclusivo da execução da pipeline para rever os custos dos recursos criados pela execução da pipeline, da seguinte forma:

  1. O Vertex AI Pipelines anexa automaticamente a etiqueta vertex-ai-pipelines-run-billing-id à execução do pipeline. O valor desta etiqueta é o ID de faturação da execução da pipeline exclusivo.

  2. O Vertex AI Pipelines propaga esta etiqueta aos Google Cloud recursos gerados pelos componentes do pipeline durante a execução do pipeline. Tenha em atenção que, para alguns componentes e recursos, tem de atualizar o Google Cloud SDK de componentes de pipeline ou atualizar o código do componente para propagar as etiquetas. Para mais informações sobre a etiquetagem de Google Cloud recursos, consulte o artigo Etiquetagem de recursos pelos Vertex AI Pipelines.

  3. A etiqueta vertex-ai-pipelines-run-billing-id associa a utilização de Google Cloud recursos gerados pela execução do pipeline nos relatórios de faturação. Com o valor desta etiqueta, pode rever o custo da utilização de recursos na execução do pipeline com a exportação da faturação do Google Cloud para o BigQuery.

Esta página mostra como fazer o seguinte:

Antes de começar

Antes de usar o Cloud Billing para compreender o custo da execução de um pipeline, use as seguintes instruções para configurar o seu Google Cloud projeto e ambiente de desenvolvimento:

Para mais informações acerca do esquema dos dados de custos de utilização padrão da Faturação do Google Cloud, consulte o artigo Esquema dos dados de custos de utilização padrão.

Apresente uma lista das dez execuções de pipelines mais caras

Execute a seguinte consulta para ver uma lista das dez execuções de pipelines mais caras durante um período especificado:

SQL padrão

SELECT
  project.id,
  location.region,
  L.value,
  SUM(cost) AS total_cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >= "START_DATE"
  AND DATE(_PARTITIONTIME) < "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
GROUP BY
  project.id,
  location.region,
  L.value
ORDER BY
  total_cost DESC
LIMIT
  10;

Substitua o seguinte:

  • START_DATE: data de início do período.

  • END_DATE: data de fim do período.

Deve ver as seguintes colunas nos resultados da consulta:

  • project_id

  • region

  • pipeline_run_billing_id

  • total_cost

Agora, pode usar o ID de faturação da execução do pipeline exclusivo da coluna pipeline_run_billing_id dos resultados da consulta para fazer o seguinte:

Use o ID de faturação para localizar uma execução de pipeline

Pode usar o ID de faturação da execução do pipeline exclusivo dos resultados da consulta em Liste as dez execuções do pipeline mais caras para localizar uma execução do pipeline.

Consola

Use as instruções seguintes para obter uma execução do pipeline na Google Cloud consola.

  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Pipelines.

    Aceda a Pipelines

  2. Para localizar a execução da pipeline, filtre a lista através de um ID de faturação de execução da pipeline exclusivo dos resultados da consulta em Liste as dez execuções da pipeline mais caras. Para o fazer:

    1. Clique em Filtrar e, de seguida, em Etiquetas.

    2. Introduza o ID de faturação da execução do pipeline exclusivo no seguinte formato e prima Enter:
      labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID
      onde PIPELINE_RUN_BILLING_ID é o ID de faturação da execução do pipeline exclusivo.

SDK Vertex AI para Python

Use o seguinte exemplo de código para obter a execução do pipeline:

runs = aip.PipelineJob.list(
  project=PROJECT_ID,
  location=LOCATION,
  filter="labels.vertex-ai-pipelines-run-billing-id=PIPELINE_RUN_BILLING_ID")

Substitua o seguinte:

  • PROJECT_ID: O Google Cloud projeto no qual esta pipeline é executada.

  • LOCATION: a região em que o pipeline é executado. Para mais informações sobre as regiões em que o Vertex AI Pipelines está disponível, consulte o guia de localizações da Vertex AI.

  • PIPELINE_RUN_BILLING_ID: ID de faturação da execução do pipeline exclusivo dos resultados da consulta em Liste as dez execuções do pipeline mais caras.

Veja os custos dos recursos Google Cloud numa execução de pipeline

Pode usar o ID de faturação da execução da pipeline exclusivo dos resultados da consulta em Liste as dez execuções da pipeline mais caras para ver os custos dos Google Cloud recursos gerados pela execução da pipeline.

Execute a seguinte consulta para ver a lista de Google Cloud recursos gerados numa execução da pipeline, juntamente com o custo de cada recurso:

SQL padrão

SELECT
  service,
  sku,
  cost
FROM
  `project.dataset.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX` B,
  UNNEST (B.labels) L
WHERE
  DATE(_PARTITIONTIME) >=  "START_DATE"
  AND DATE(_PARTITIONTIME) <  "END_DATE"
  AND L.key = "vertex-ai-pipelines-run-billing-id"
  AND L.value = "PIPELINE_RUN_BILLING_ID";

Substitua o seguinte:

  • START_DATE: data de início do período.

  • END_DATE: data de fim do período.

  • PIPELINE_RUN_BILLING_ID: ID de faturação da execução do pipeline exclusivo dos resultados da consulta em Liste as dez execuções do pipeline mais caras.

Deve ver as seguintes colunas nos resultados da consulta:

  • service.id

  • service.description

  • sku.id

  • sku_description

  • cost

A coluna cost representa o custo de um recurso correspondente ao sku.id na execução do pipeline.