Criar um cluster usando o Google Cloud console

Criar um cluster usando o Google Cloud console

Esta página mostra como usar o Google Cloud console para criar um cluster do Managed Service for Apache Spark, executar um job básico do Apache Spark no cluster e modificar o número de workers no cluster.

---

Para seguir as instruções detalhadas desta tarefa diretamente no Google Cloud console, clique em Orientações:

Orientações

---

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Funções exigidas

Alguns papéis do IAM são necessários para executar os exemplos nesta página. Dependendo das políticas da organização, esses papéis já podem ter sido concedidos. Para verificar as concessões de papéis, consulte Você precisa conceder papéis?.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Papéis do usuário

Para receber as permissões necessárias para criar um cluster do Managed Service for Apache Spark, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Editor do Dataproc (roles/dataproc.editor) no projeto
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço padrão do Compute Engine

Papel de conta de serviço

Para garantir que a conta de serviço padrão do Compute Engine tenha as permissões necessárias para criar um cluster do Managed Service for Apache Spark, peça ao administrador para conceder o papel do IAM de Worker do Dataproc (roles/dataproc.worker) à conta de serviço padrão do Compute Engine no projeto.

Importante: conceda esse papel à conta de serviço padrão do Compute Engine, não à sua conta de usuário. Se o papel não for concedido ao principal correto, poderão ocorrer erros de permissão.

Criar um cluster

1. Noconsole, acesse a página Clusters do Managed Service for Apache Spark. Google Cloud

   Acessar Clusters

2. Clique em Criar cluster.

3. Na caixa de diálogo Criar cluster do Dataproc, clique em Criar na linha Cluster no Compute Engine.

4. No campo Nome do cluster, insira example-cluster.

5. Nas listas Região e Zona, selecione uma região e uma zona.

   Selecione uma região (por exemplo, us-east1 ou europe-west1) para isolar recursos, como instâncias de máquina virtual (VM) e locais de armazenamento de metadados e do Cloud Storage usados pelo Managed Service for Apache Spark na região. Para mais informações, consulte Regiões e zonas disponíveis e Região do cluster.

6. Para todas as outras opções, use as configurações padrão.

7. Para criar o cluster, clique em Criar.

   O novo cluster aparece em uma lista na página Clusters. O status é Em provisionamento até que o cluster esteja pronto para uso, e depois o status muda para Em execução. O provisionamento do cluster pode levar alguns minutos.

Enviar um job do Spark

Envie um job do Spark que estima um valor de Pi:

1. No menu de navegação do Managed Service for Apache Spark, clique em Jobs.

2. Na página Jobs, clique em Enviar job e faça o seguinte:

   1. No campo código da tarefa, use a configuração padrão ou forneça um ID que seja exclusivo para seu Google Cloud projeto.
   2. No menu suspenso Cluster, selecione example-cluster.
   3. Em Tipo de serviço, selecione Spark.
   4. No campo Classe principal ou jar, insira org.apache.spark.examples.SparkPi.
   5. No campo Arquivos JAR, insira file:///usr/lib/spark/examples/jars/spark-examples.jar.

   6. No campo Argumentos, insira 1000 para definir o número de tarefas.

      Observação: o job do Spark estima Pi usando o método de Monte Carlo. Ele gera pontos x e y em um plano de coordenadas que modela um círculo dentro de um quadrado unitário. O argumento de entrada (1000) determina o número de pares x-y a serem gerados. Quanto mais pares gerados, maior a precisão da estimativa. Essa estimativa usa nós de workers do Managed Service for Apache Spark para paralelizar o cálculo. Para mais informações, consulte Estimativa de Pi usando o método de Monte Carlo (em inglês) e JavaSparkPi.java no GitHub (em inglês).

   7. Clique em Enviar.

      Seu job é mostrado na página Detalhes do job. O status do job é Em execução ou Iniciando e, em seguida, muda para Concluído após o envio.

      Para evitar a rolagem na saída, clique em Quebra de linha: desativada. A saída é semelhante a esta:

      Pi is roughly 3.1416759514167594
      

      Para conferir os detalhes do job, clique na guia Configuração.

Atualize um cluster

Atualize o cluster mudando o número de instâncias de worker:

1. No menu de navegação do Managed Service for Apache Spark, clique em Clusters.
2. Na lista de clusters, clique em example-cluster.

3. Na página Detalhes do cluster, clique na guia Configuração.

   As configurações do cluster são mostradas.

4. Clique em Editar.

5. No campo Nós de trabalho, insira 5.

6. Clique em Salvar.

Seu cluster foi atualizado. Para diminuir o número de worker nodes para o valor original, siga o mesmo procedimento.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

1. Para excluir o cluster, na página Detalhes do cluster de example-cluster, clique em Excluir.
2. Para confirmar que você quer excluir o cluster, clique em Excluir.

A seguir

• Siga este guia de início rápido usando outras ferramentas:
  • Use o API Explorer.
  • Use a Google Cloud CLI.
• Saiba como criar regras de firewall robustas ao criar um projeto.
• Aprenda a gravar e executar um job do Spark Scala.