Introdução aos componentes de pipeline do Google Cloud

O SDK de componentes do pipeline Google Cloud (GCPC, na sigla em inglês) fornece um conjunto de componentes pré-criados do Kubeflow Pipelines com qualidade de produção, desempenho e facilidade de uso. É possível usar Google Cloud componentes do pipeline para definir e executar pipelines de ML nos pipelines do Gemini Enterprise Agent Platform e outros back-ends de execução de pipeline de ML em conformidade com o Kubeflow Pipelines.

Por exemplo, é possível usar componentes para concluir o seguinte:

  • Crie um novo conjunto de dados e carregue diferentes tipos de dados nele (imagem, tabular, texto ou vídeo).
  • Exportar dados de um conjunto de dados para o Cloud Storage.
  • Use o AutoML para treinar um modelo usando dados de imagem, tabulares ou de vídeo.
  • Execute um job de treinamento personalizado usando um contêiner personalizado ou um pacote do Python.
  • Faça upload de um modelo existente para a plataforma de agentes do Gemini Enterprise para previsão em lote.
  • Criar um novo endpoint e implantar um modelo nele para previsões on-line.

Além disso,os componentes do pipeline oferecem suporte a esses componentes pré-criados nos pipelines da Gemini Enterprise Agent Platform e oferecem os seguintes benefícios: Google Cloud

  • Depuração mais fácil: mostra os recursos subjacentes iniciados a partir do componente para a depuração simplificada.
  • Tipos de artefato padronizados: fornecem interfaces consistentes para usar tipos de artefato padrão para entrada e saída. O Vertex ML Metadata rastreia esses artefatos padrão, facilitando a análise da linhagem dos artefatos do pipeline. Para mais detalhes sobre a linhagem de artefatos, consulte Como rastrear a linhagem de artefatos de pipeline.
  • Entender os custos de pipeline com rótulos de faturamento: os rótulos de recursos são propagados automaticamente para Google Cloud os serviços gerados pelos Google Cloud componentes do pipeline na execução do pipeline. Use rótulos de faturamento com a exportação do Cloud Billing para o BigQuery para analisar o custo da execução do pipeline. Para saber mais sobre o uso de rótulos para entender o custo da execução de um pipeline, consulte Entender os custos de execução do pipeline. Para mais informações sobre como os rótulos são propagados de uma execução de pipeline para recursos gerados pelos Google Cloud componentes do pipeline, consulte Rotulagem de recursos pelos Vertex AI Pipelines.
  • Eficiência de custos*: os pipelines da plataforma de agentes do Gemini Enterprise otimizam a execução desses componentes ao lançar os Google Cloud recursos sem precisar lançar o contêiner. Isso reduz a latência de inicialização e os custos do contêiner ocupado em espera.
* Esse recurso se aplica somente aos seguintes componentes:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (para Dataflow)
  • DataflowPythonJobOp

A seguir