Executar um pipeline em um cluster atual do Managed Service for Apache Spark

Nesta página, descrevemos como executar um pipeline no Cloud Data Fusion em um cluster atual do Managed Service for Apache Spark.

Por padrão, o Cloud Data Fusion cria clusters efêmeros para cada pipeline: cria um cluster no início da execução do pipeline e o exclui após a conclusão da execução do pipeline. Embora esse comportamento economize custos, garantindo que os recursos sejam criados somente quando necessário, esse comportamento padrão pode não ser desejável nos seguintes cenários:

  • Se o tempo necessário para criar um novo cluster para cada pipeline for adequado para seu caso de uso.

  • Se a organização exigir que a criação de cluster seja gerenciada centralmente; por exemplo, quando você quiser aplicar políticas específicas a todos os clusters do Managed Service for Apache Spark.

Para esses cenários, execute pipelines em um cluster atual seguindo as etapas a seguir.

Antes de começar

Você precisará do seguinte:

Conectar-se ao cluster atual

Nas versões 6.2.1 e posteriores do Cloud Data Fusion, é possível se conectar a um cluster atual do Managed Service for Apache Spark ao criar um novo perfil do Compute Engine.

  1. Acesse sua instância:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. Clique em Administrador do sistema.

  3. Clique na guia Configuração.

  4. Clique em Perfis de computação do sistema.

  5. Clique em Criar novo perfil. Uma página de provisionadores será aberta.

  6. Clique em Managed Service for Apache Spark atual.

  7. Insira o perfil, o cluster e as informações de monitoramento.

  8. Clique em Criar.

Como configurar o pipeline para usar o perfil personalizado

  1. Acesse sua instância:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. Acesse o pipeline na página do Studio.

  3. Clique em Configurar.

  4. Clique em Compute config.

  5. Clique no perfil que você criou.

    Use o perfil personalizado.
    Figura 1: clique no perfil personalizado
  6. Execute o pipeline. Ele é executado no cluster atual do Managed Service for Apache Spark.

A seguir