Crea un cluster Dataproc utilizzando un modello

Crea un cluster Dataproc utilizzando un modello

Questa pagina mostra come utilizzare un modello inline Explorer API di Google per chiamare l'API Dataproc per creare un cluster Dataproc.

Per altri modi per creare un cluster, vedi:

• Crea un cluster Dataproc utilizzando la Google Cloud console
• Crea un cluster Dataproc utilizzando Google Cloud CLI
• Crea un cluster Dataproc utilizzando le librerie client

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that you have the permissions required to complete this guide.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Ruoli obbligatori

Per eseguire gli esempi in questa pagina sono necessari alcuni ruoli IAM. A seconda delle policy dell'organizzazione, questi ruoli potrebbero essere già stati concessi. Per verificare le concessioni dei ruoli, consulta Hai bisogno di concedere ruoli?.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Ruoli utente

Per ottenere le autorizzazioni necessarie per creare un cluster Dataproc, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Dataproc Editor (roles/dataproc.editor) sul progetto
• Utente account di servizio (roles/iam.serviceAccountUser) sul service account predefinito di Compute Engine

Ruolo dell'account di servizio

Per assicurarti che il account di servizio predefinito di Compute Engine disponga delle autorizzazioni necessarie per creare un cluster Dataproc, chiedi all'amministratore di concedere il Dataproc Worker (roles/dataproc.worker) ruolo IAM al account di servizio predefinito di Compute Engine sul progetto.

Importante: devi concedere questo ruolo al account di servizio predefinito di Compute Engine, non al tuo account utente. La mancata concessione del ruolo all'entità corretta potrebbe comportare errori di autorizzazione.

Crea un cluster

Prima di poter eseguire i job Dataproc, devi creare un cluster di macchine virtuali su cui eseguirli. Per creare un cluster Dataproc nel tuo progetto, compila ed esegui il modello Prova questa API di Explorer API di Google.

Nota: i valori dei parametri region e clusterName vengono inseriti automaticamente. Accetta o sostituisci questi valori dei parametri "iniziali".

1. Parametri di richiesta:

   1. Inserisci il tuo projectId.
   2. Specifica la region in cui si troverà il cluster (accetta o sostituisci "us-central1"). Poiché in questa guida rapida non stai specificando una zona all'interno della regione, il posizionamento automatico della zona di Dataproc selezionerà una zona all'interno della regione in cui verrà creato il cluster.

2. Corpo della richiesta:

   1. Specifica un clusterName, (accetta o sostituisci "example-cluster"). Utilizzerai questo nome per interagire con il cluster, ad esempio quando invii job o aggiorni il cluster.

3. Fai clic su EXECUTE. La prima volta che esegui il modello API, potrebbe esserti chiesto di scegliere e accedere al tuo Account Google, quindi di autorizzare Explorer API di Google ad accedere al tuo account. Se la richiesta ha esito positivo, la risposta JSON indica che la creazione del cluster è in attesa.

4. Per confermare la creazione del cluster, apri la pagina Cluster Dataproc nella Google Cloud console. Al termine del provisioning del cluster, lo stato del cluster verrà visualizzato come "In esecuzione".

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

1. Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza Explorer API, la Google Cloud console, lo strumento a riga di comando gcloud CLI gcloud, o le librerie client Cloud per eliminare il cluster.

Passaggi successivi

• Scopri come inviare un job Spark utilizzando un modello.