Adicione a execução do pipeline à experiência

Pode usar a Google Cloud consola ou o SDK Vertex AI para Python para adicionar uma execução de pipeline a uma experiência ou a uma execução de experiência.

Google Cloud consola

Use as instruções seguintes para executar um pipeline de ML e associar o pipeline a uma experiência e, opcionalmente, a uma execução da experiência através da Google Cloud consola. As execuções de experiências só podem ser criadas através do SDK Vertex AI para Python (consulte o artigo Crie e faça a gestão de execuções de experiências).
  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Pipelines.
    Aceda a Pipelines
  2. Na lista pendente Região, selecione a região na qual quer criar uma execução do pipeline.
  3. Clique em Criar execução para abrir o painel Criar execução da pipeline.
  4. Especifique os seguintes detalhes de execução.
    • No campo Ficheiro, clique em Escolher para abrir o seletor de ficheiros. Navegue para o ficheiro JSON da pipeline compilada que quer executar, selecione a pipeline e clique em Abrir.
    • O Nome do pipeline é predefinido para o nome que especificou na definição do pipeline. Opcionalmente, especifique um nome do pipeline diferente.
    • Especifique um nome de execução para identificar exclusivamente esta execução da pipeline.
  5. Para especificar que esta execução da pipeline usa uma conta de serviço personalizada, uma chave de encriptação gerida pelo cliente ou uma rede da VPC com intercâmbio, clique em Opções avançadas (opcional).
    Use as seguintes instruções para configurar opções avançadas, como uma conta de serviço personalizada.
    • Para especificar uma conta de serviço, selecione uma conta de serviço na lista pendente Conta de serviço.
      Se não especificar uma conta de serviço, o Vertex AI Pipelines executa o seu pipeline através da conta de serviço do Compute Engine predefinida.
      Saiba mais sobre a configuração de uma conta de serviço para utilização com os Vertex AI Pipelines.
    • Para usar uma chave de encriptação gerida pelo cliente (CMEK), selecione Usar uma chave de encriptação gerida pelo cliente. É apresentada a lista pendente Selecione uma chave gerida pelo cliente. Na lista pendente Selecione uma chave gerida pelo cliente, selecione a chave que quer usar.
    • Para usar uma rede VPC com peering nesta execução da pipeline, introduza o nome da rede VPC na caixa Rede VPC com peering.
  6. Clique em Continuar.
    É apresentado o painel de localização do Cloud Storage e os parâmetros do pipeline.
    • Obrigatório: introduza o diretório de saída do Cloud Storage, por exemplo: gs://location_of_directory.
    • Opcional: especifique os parâmetros que quer usar para esta execução da pipeline.
  7. Clique em Enviar para criar a execução do pipeline.
  8. Depois de enviada, a conduta aparece na tabela da Google Cloud consola da conduta.
  9. Na linha associada ao seu pipeline, clique em  Ver mais > Adicionar à experiência
    • Selecione uma experiência existente ou crie uma nova.
    • Opcional: se as execuções de experiências estiverem associadas à experiência, são apresentadas no menu pendente. Selecione uma execução de experiência existente.
  10. Clique em Guardar.

Compare a execução de um pipeline com as execuções de experiências através da Google Cloud consola

  1. Na Google Cloud consola, aceda à página Experiências.
    Aceda a Experiências.
    É apresentada uma lista de experiências na página Experiências.
  2. Selecione a experiência à qual quer adicionar a execução da pipeline.
    É apresentada uma lista de execuções.
  3. Selecione as execuções que quer comparar e, de seguida, clique em Comparar
  4. Clique no botão Adicionar execução. É apresentada uma lista de execuções
  5. Selecione a execução do pipeline que quer adicionar. A corrida é adicionada.

SDK Vertex AI para Python {:#sdk-add-pipeline-run}

Os exemplos seguintes usam a API PipelineJob.

Associe a execução do pipeline a uma experiência

Este exemplo mostra como associar uma execução de pipeline a uma experiência. Quando quiser comparar as execuções de pipelines, deve associar as execuções de pipelines a uma experiência. Consulte init na documentação de referência do SDK Vertex AI para Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)
  • experiment_name: indique um nome para a sua experiência. Pode encontrar a sua lista de experiências na Google Cloud consola selecionando Experiências na navegação da secção.
  • pipeline_job_display_name: o nome definido pelo utilizador deste pipeline.
  • template_path: O caminho do ficheiro JSON ou YAML de PipelineJob ou PipelineSpec. Pode ser um caminho local ou um URI do Cloud Storage. Exemplo: "gs://project.name"
  • pipeline_root: a raiz das saídas do pipeline. Predefinição para o segmento de preparação.
  • parameter_values: o mapeamento dos nomes dos parâmetros de tempo de execução para os respetivos valores que controlam a execução do pipeline.
  • project: . Pode encontrar estes IDs na página de Google Cloud boas-vindas da consola.
  • location: consulte a lista de localizações disponíveis.

Associe a execução do pipeline à execução da experiência

O exemplo fornecido inclui a associação de uma execução do pipeline a uma execução da experiência.

Exemplos de utilização:

  • Quando faz a preparação de um modelo local e, em seguida, executa a avaliação nesse modelo (a avaliação é feita através de um pipeline). Neste caso, deve escrever as métricas de avaliação da execução do pipeline num ExperimentRun
  • Quando executa novamente o mesmo pipeline várias vezes. Por exemplo, se alterar os parâmetros de entrada ou se um componente falhar e tiver de o executar novamente.

Quando associa uma execução de pipeline a uma execução de experiência, os parâmetros e as métricas não são apresentados automaticamente e têm de ser registados manualmente através das APIs de registo.

Nota: quando o parâmetro resume opcional é especificado como TRUE, a execução iniciada anteriormente é retomada. Quando não é especificado, o valor predefinido de resume é FALSE e é criada uma nova execução.

Consulte init, start_run e log na documentação de referência do SDK Vertex AI para Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)

Veja a lista de execuções de pipelines na Google Cloud consola

  1. Na Google Cloud consola, na secção Vertex AI, aceda à página Pipelines.

    Aceda à página Pipelines

  2. Verifique se está no projeto correto.

  3. É apresentada uma lista de experiências e execuções associadas às execuções da pipeline do seu projeto nas colunas Experiment e Experiment run, respetivamente.

Vertex AIList of experiments

Codelab

O que se segue?

Exemplo de bloco de notas relevante