Crie um cluster do Dataproc com um modelo

Crie um cluster do Dataproc com um modelo

Esta página mostra como usar um modelo do Google APIs Explorer inline para chamar a API Dataproc e criar um cluster Dataproc.

Para outras formas de criar um cluster, consulte:

• Crie um cluster do Dataproc através da Google Cloud consola
• Crie um cluster do Dataproc através da CLI do Google Cloud
• Crie um cluster do Dataproc através de bibliotecas cliente

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verifique se tem as autorizações necessárias para concluir este guia.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verifique se tem as autorizações necessárias para concluir este guia.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Funções necessárias

São necessárias determinadas funções de IAM para executar os exemplos nesta página. Consoante as políticas da organização, estas funções podem já ter sido concedidas. Para verificar as concessões de funções, consulte a secção Precisa de conceder funções?.

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Funções do utilizador

Para receber as autorizações de que precisa para criar um cluster do Dataproc, peça ao seu administrador para lhe conceder as seguintes funções do IAM:

• Editor do Dataproc (roles/dataproc.editor) no projeto
• Utilizador da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço predefinida do Compute Engine

Função da conta de serviço

Para garantir que a conta de serviço predefinida do Compute Engine tem as autorizações necessárias para criar um cluster do Dataproc, peça ao seu administrador para conceder à conta de serviço predefinida do Compute Engine a função de IAM Trabalhador do Dataproc (roles/dataproc.worker) no projeto.

Importante: tem de conceder esta função à conta de serviço predefinida do Compute Engine e não à sua conta de utilizador. Se não conceder a função ao principal correto, podem ocorrer erros de autorização.

Crie um cluster

Antes de poder executar tarefas do Dataproc, tem de criar um cluster de máquinas virtuais para as executar. Para criar um cluster do Dataproc no seu projeto, preencha e execute o modelo Experimentar esta API do Google APIs Explorer.

Nota: os valores dos parâmetros region e clusterName são preenchidos automaticamente. Aceite ou substitua estes valores de parâmetros "predefinidos".

1. Parâmetros do pedido:

   1. Insira o seu projectId.
   2. Especifique a região onde o cluster vai estar localizado (aceite ou substitua "us-central1"). Uma vez que não está a especificar uma zona na região neste início rápido, o posicionamento automático de zonas do Dataproc seleciona uma zona na região onde cria o cluster.

2. Corpo do pedido:

   1. Especifique um clusterName, (aceite ou substitua "example-cluster"). Vai usar este nome para interagir com o cluster, por exemplo, quando envia tarefas ou atualiza o cluster.

3. Clique em EXECUTE. Quando executar o modelo de API pela primeira vez, pode ser-lhe pedido que escolha e inicie sessão na sua Conta Google e, em seguida, autorize o Google APIs Explorer a aceder à sua conta. Se o pedido for bem-sucedido, a resposta JSON mostra que a criação do cluster está pendente.

4. Para confirmar a criação do cluster, abra a página Dataproc Clusters na Google Cloud consola. Após o aprovisionamento do cluster estar concluído, o estado do cluster é apresentado como "Em execução".

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

1. Se não precisar do cluster para explorar os outros inícios rápidos ou executar outros trabalhos, use o APIs Explorer, a Google Cloud consola, a CLI gcloud, a ferramenta de linha de comandos gcloud ou as bibliotecas cliente da Google Cloud para eliminar o cluster.

O que se segue?

• Saiba como enviar uma tarefa do Spark através de um modelo.