Reutilizar clusters

A reutilização de clusters do Serviço Gerenciado para Apache Spark no Cloud Data Fusion permite reduzir a sobrecarga de provisionamento e acelerar a execução do pipeline em todas as execuções. Para mais informações, consulte Quando reutilizar clusters e Executar um pipeline em um cluster do Managed Service for Apache Spark.

Antes de começar

  • É preciso ter uma instância do Cloud Data Fusion na versão 6.5.0 ou posterior.

Ativar a reutilização de clusters

É possível reutilizar clusters em um novo perfil de computação ou em um que tenha sido usado em um pipeline implantado.

Ativar a reutilização de cluster em um novo perfil

  1. Acesse sua instância:

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Administrador do sistema > Configuração > Perfis de computação do sistema.

  3. Clique em Criar novo perfil.

  4. Escolha o provisionador do Serviço Gerenciado para Apache Spark.

  5. Na janela Criar um perfil para o Serviço Gerenciado para Apache Spark, insira os detalhes sobre o cluster:

    1. Nos campos Rótulo do perfil e Nome do perfil, insira um nome para identificar o perfil, por exemplo, execution_compute-profile.
    2. No campo Descrição, descreva a finalidade do perfil, por exemplo, Profile used for pipeline execution.
    3. No campo Tempo máximo de inatividade, insira um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    4. Defina o campo Ignorar exclusão do cluster como True. Para mais informações, consulte Quando reutilizar clusters.
    5. Opcional: configure outros campos opcionais.
    6. Clique em Criar.

Ativar a reutilização de clusters em um pipeline implantado

  1. Acesse sua instância:

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e em Ver instância.

      Acesse "Instâncias"

  2. Clique em Lista.

  3. Clique na guia Implantado e em um nome de pipeline. O pipeline implantado é aberto na página Studio na interface da Web do Cloud Data Fusion.

  4. Clique em Configurar.

  5. Na janela Configuração de computação, acesse o perfil escolhido e clique em Personalizar.

  6. Na janela que se abre, insira os seguintes valores:

    1. No campo Tempo máximo de inatividade, insira um valor. Para mais informações, consulte Definir o tempo máximo de inatividade.
    2. Defina Ignorar exclusão do cluster como True. Para mais informações, consulte Quando reutilizar clusters.

  7. Clique em Concluído.

A seguir