Criar um cluster usando um modelo

Criar um cluster usando um modelo

Nesta página, mostramos como usar um modelo inline APIs Explorer do Google para criar um cluster do serviço gerenciado para Apache Spark.

Para outras maneiras de criar um cluster, consulte:

• Criar um cluster usando o Google Cloud console
• Criar um cluster usando a Google Cloud CLI
• Criar um cluster usando bibliotecas de cliente

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Funções exigidas

Alguns papéis do IAM são necessários para executar os exemplos nesta página. Dependendo das políticas da organização, esses papéis já podem ter sido concedidos. Para verificar as concessões de papéis, consulte É necessário conceder papéis?.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos,pastas e organizações.

Papéis do usuário

Para receber as permissões necessárias para criar um cluster do Managed Service for Apache Spark, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Editor do Dataproc (roles/dataproc.editor) no projeto
• Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço padrão do Compute Engine

Papel de conta de serviço

Para garantir que a conta de serviço padrão do Compute Engine tenha as permissões necessárias para criar um cluster do Managed Service for Apache Spark, peça ao administrador para conceder o papel do IAM de Worker do Dataproc (roles/dataproc.worker) à conta de serviço padrão do Compute Engine no projeto.

Importante: conceda esse papel à conta de serviço padrão do Compute Engine, não à sua conta de usuário. Se o papel não for concedido ao principal correto, poderão ocorrer erros de permissão.

Criar um cluster

Antes de executar jobs do Managed Service for Apache Spark, é necessário criar um cluster de máquinas virtuais em que eles serão executados. Para criar um cluster do Managed Service for Apache Spark no seu projeto, preencha e execute o modelo Testar este método do APIs Explorer do Google nesta página. Role a tela ou clique em Testar para acessar o modelo.

Observação: os valores dos parâmetros region e clusterName são preenchidos por você. Aceite ou substitua esses valores de parâmetro "seed".

1. Parâmetros de solicitação:

   1. Insira seu projectId.
   2. Especifique a região em que o cluster estará localizado (aceite ou substitua "us-central1"). Como você não está especificando uma zona na região neste guia de início rápido, a posição de zona automática do Managed Service for Apache Spark escolherá uma zona dentro da região em que o cluster será criado.

2. Corpo da solicitação:

   1. Especifique um clusterName (aceite ou substitua "example-cluster"). Esse nome será usado para interagir com o cluster, por exemplo, quando você enviar jobs ou atualizar o cluster.

3. Clique em EXECUTAR. Na primeira vez que você executar o modelo da API, talvez seja necessário escolher e fazer login na sua Conta do Google e autorizar o Google APIs Explorer a acessar sua conta. Se a solicitação for bem-sucedida, a resposta JSON mostrará que a criação do cluster está pendente.

4. Para confirmar a criação do cluster, abra a página Clusters do Managed Service for Apache Spark no Google Cloud console. Após a conclusão do provisionamento do cluster, o status dele será exibido como "Em execução".

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

1. Se você não precisar do cluster para explorar os outros guias de início rápido ou executar outros jobs, ele pode ser excluído com a APIs Explorer, o Google Cloud console, a ferramenta de linha de comando gcloud da CLI gcloud gcloud ou as bibliotecas de cliente do Cloud.

A seguir

• Saiba como enviar um job do Spark usando um modelo.