Crea un'istanza di Agent Platform Workbench abilitata per Spark di Managed Service for Apache Spark

Dataproc Serverless è diventato Managed Service for Apache Spark. Fino all'aggiornamento, le Google Cloud pagine della console e di JupyterLab faranno riferimento al nome precedente.

Questa pagina descrive come creare un'istanza di Gemini Enterprise Agent Platform Workbench con Managed Service for Apache Spark e Spark abilitato. Questa pagina descrive anche i vantaggi dell'estensione JupyterLab di Managed Service for Apache Spark e fornisce una panoramica su come utilizzare l'estensione con Managed Service for Apache Spark e Managed Service for Apache Spark su Compute Engine.

Panoramica dell'estensione JupyterLab di Managed Service for Apache Spark

A partire dalla versione M113 e successive, le istanze di Agent Platform Workbench hanno l'estensione JupyterLab di Managed Service for Apache Spark preinstallata.

Nota: puoi anche installare e utilizzare l'estensione JupyterLab di Managed Service for Apache Spark sulla tua macchina locale o su un'istanza VM di Compute Engine.

L'estensione JupyterLab di Managed Service for Apache Spark offre due modi per eseguire i job dei notebook Apache Spark: cluster Managed Service for Apache Spark e Managed Service for Apache Spark.

• I cluster Managed Service for Apache Spark includono un ricco set di funzionalità con il controllo dell'infrastruttura su cui viene eseguito Spark. Scegli le dimensioni e la configurazione del cluster Spark, consentendo la personalizzazione e il controllo dell'ambiente. Questo approccio è ideale per workload complessi, job a lunga esecuzione e gestione granulare delle risorse.
• Managed Service for Apache Spark elimina i problemi di infrastruttura. Invii i job Spark e Google gestisce il provisioning, la scalabilità e l'ottimizzazione delle risorse in background. Questo approccio serverless offre un 'opzione conveniente per i workload di data science e ML.

Con entrambe le opzioni, puoi utilizzare Spark per l'elaborazione dei dati e l'analisi. La scelta tra i cluster Managed Service for Apache Spark e Managed Service for Apache Spark dipende dai requisiti specifici del workload, dal livello di controllo richiesto e dai pattern di utilizzo delle risorse.

I vantaggi dell'utilizzo di Managed Service for Apache Spark per i workload di data science e ML includono:

• Nessuna gestione dei cluster: non devi preoccuparti del provisioning, della configurazione o della gestione dei cluster Spark. In questo modo, risparmierai tempo e risorse.
• Scalabilità automatica: Managed Service for Apache Spark esegue automaticamente lo scale up e lo scale down in base al workload, quindi paghi solo le risorse che utilizzi.
• Prestazioni elevate: Managed Service for Apache Spark è ottimizzato per le prestazioni e sfrutta l'infrastruttura di Google Cloud's.
• Integrazione con altre Google Cloud tecnologie: Managed Service for Apache Spark si integra con altri Google Cloud prodotti, come BigQuery e Knowledge Catalog.

Per ulteriori informazioni, consulta la documentazione di Managed Service for Apache Spark.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Resource Manager, Managed Service for Apache Spark, and Notebooks APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Cloud Resource Manager, Managed Service for Apache Spark, and Notebooks APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

Ruoli obbligatori

Per assicurarti che il account di servizio disponga delle autorizzazioni necessarie per eseguire un file di notebook su un cluster Managed Service for Apache Spark o su un cluster Managed Service for Apache Spark, chiedi all'amministratore di concedere i seguenti ruoli IAM al account di servizio:

Importante: devi concedere questi ruoli al account di servizio, non al tuo account utente. La mancata concessione dei ruoli all'entità corretta potrebbe comportare errori di autorizzazione.

• Dataproc Worker (roles/dataproc.worker) nel tuo progetto
• Dataproc Editor (roles/dataproc.editor) nel cluster per l'autorizzazione dataproc.clusters.use

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per eseguire un file di notebook su un cluster Managed Service for Apache Spark o su un cluster Managed Service for Apache Spark. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per eseguire un file di notebook su un cluster Managed Service for Apache Spark o su un cluster Managed Service for Apache Spark sono necessarie le seguenti autorizzazioni:

• dataproc.agents.create
• dataproc.agents.delete
• dataproc.agents.get
• dataproc.agents.update
• dataproc.tasks.lease
• dataproc.tasks.listInvalidatedLeases
• dataproc.tasks.reportStatus
• dataproc.clusters.use

L'amministratore potrebbe anche essere in grado di concedere al account di servizio queste autorizzazioni tramite ruoli personalizzati o altri ruoli predefiniti.

Creare un'istanza con Managed Service for Apache Spark abilitato

Per creare un'istanza di Agent Platform Workbench con Managed Service for Apache Spark abilitato:

1. Nella Google Cloud console, vai alla pagina Istanze.

   Vai a Istanze

2. Fai clic su  Crea nuovo.

3. Nella finestra di dialogo Nuova istanza, fai clic su Opzioni avanzate.

4. Nella finestra di dialogo Crea istanza, nella sezione Dettagli, assicurati che sia selezionata l'opzione Abilita sessioni interattive serverless di Dataproc.

5. Assicurati che Tipo di Workbench sia impostato su Istanza.

6. Nella sezione Ambiente, assicurati di utilizzare l'ultima versione o una versione numerata M113 o successiva.

7. Fai clic su Crea.

   Agent Platform Workbench crea un'istanza e la avvia automaticamente. Quando l'istanza è pronta per l'uso, Agent Platform Workbench attiva un link Apri JupyterLab.

Nota: configurazioni di rete specifiche potrebbero influire sulla tua capacità di utilizzare l'estensione Managed Service for Apache Spark. Per ulteriori informazioni su come assicurarti che la configurazione di rete sia compatibile, consulta Opzioni di configurazione di rete.

Apri JupyterLab

Fai clic su Apri JupyterLab accanto al nome dell'istanza.

Nel browser si apre la scheda Avvio app di JupyterLab. Per impostazione predefinita, contiene le sezioni Notebook Managed Service for Apache Spark e Job e sessioni Managed Service for Apache Spark. Se nel progetto e nella regione selezionati sono presenti cluster pronti per Jupyter, sarà presente una sezione denominata Notebook cluster Managed Service for Apache Spark.

Utilizzare l'estensione con Managed Service for Apache Spark

I modelli di runtime di Managed Service for Apache Spark che si trovano nella stessa regione e nello stesso progetto dell'istanza di Agent Platform Workbench vengono visualizzati nella sezione Notebook Managed Service for Apache Spark della scheda Avvio app di JupyterLab.

Per creare un modello di runtime, consulta Creare un modello di runtime di Managed Service for Apache Spark runtime template.

Per aprire un nuovo notebook Spark serverless, fai clic su un modello di runtime. L'avvio del kernel Spark remoto richiede circa un minuto. Dopo l'avvio del kernel, puoi iniziare a scrivere il codice.

Utilizzare l'estensione con Managed Service for Apache Spark su Compute Engine

Se hai creato un cluster Jupyter Managed Service for Apache Spark su Compute Engine , la scheda Avvio app ha una sezione Notebook cluster Managed Service for Apache Spark.

Per ogni cluster Managed Service for Apache Spark pronto per Jupyter a cui hai accesso in quella regione e in quel progetto vengono visualizzate quattro schede.

Per modificare la regione e il progetto:

1. Seleziona Impostazioni > Impostazioni di Managed Service for Apache Spark su cloud.

2. Nella scheda Configurazione, in Informazioni sul progetto, modifica ID progetto e Regione, quindi fai clic su Salva.

   Queste modifiche non diventano effettive finché non riavvii JupyterLab.

3. Per riavviare JupyterLab, seleziona File > Arresta, e quindi fai clic su Apri JupyterLab nella pagina Istanze di Agent Platform Workbench.

Per creare un nuovo notebook, fai clic su una scheda. Dopo l'avvio del kernel remoto sul cluster Managed Service for Apache Spark, puoi iniziare a scrivere il codice ed eseguirlo sul cluster.

Gestire Managed Service for Apache Spark su un'istanza utilizzando la gcloud CLI e l'API

Questa sezione descrive i modi per gestire Managed Service for Apache Spark su un'istanza di Agent Platform Workbench.

Modificare la regione del cluster Managed Service for Apache Spark

I kernel predefiniti dell'istanza di Agent Platform Workbench, come Python e TensorFlow, sono kernel locali che vengono eseguiti nella VM dell'istanza. Su un'istanza di Agent Platform Workbench con Managed Service for Apache Spark e Spark abilitato, il notebook viene eseguito su un cluster Managed Service for Apache Spark tramite un kernel remoto. Il kernel remoto viene eseguito su un servizio esterno alla VM dell'istanza, che ti consente di accedere a qualsiasi cluster Managed Service for Apache Spark all'interno dello stesso progetto.

Per impostazione predefinita, Agent Platform Workbench utilizza i cluster Managed Service for Apache Spark nella stessa regione dell'istanza, ma puoi modificare la regione di Managed Service for Apache Spark a condizione che il gateway dei componenti e il componente Jupyter facoltativo siano abilitati nel cluster Managed Service for Apache Spark.

Controllare l'accesso

L'estensione JupyterLab di Managed Service for Apache Spark è abilitata per impostazione predefinita per le istanze di Agent Platform Workbench. Per testare l'accesso a Managed Service for Apache Spark, puoi controllare l'accesso ai kernel remoti dell'istanza inviando la seguente richiesta curl al dominio kernels.googleusercontent.com:

curl --verbose -H "Authorization: Bearer $(gcloud auth print-access-token)" https://PROJECT_ID-dot-REGION.kernels.googleusercontent.com/api/kernelspecs | jq .

Se il comando curl non riesce, verifica che:

1. Le voci DNS siano configurate correttamente.

2. Nel progetto sia disponibile un cluster (o dovrai crearne uno se non esiste).

3. Nel cluster siano abilitati sia il gateway dei componenti sia il componente Jupyter facoltativo enabled.

Disattivare Managed Service for Apache Spark

Per impostazione predefinita, le istanze di Agent Platform Workbench vengono create con Managed Service for Apache Spark abilitato. Puoi creare un'istanza di Agent Platform Workbench con Managed Service for Apache Spark disattivato impostando la chiave metadata disable-mixer su true.

gcloud workbench instances create INSTANCE_NAME --metadata=disable-mixer=true

Abilitare Managed Service for Apache Spark

Puoi abilitare Managed Service for Apache Spark su un'istanza di Agent Platform Workbench arrestata aggiornando il valore dei metadati.

gcloud workbench instances update INSTANCE_NAME --metadata=disable-mixer=false

Gestire Managed Service for Apache Spark utilizzando Terraform

Managed Service for Apache Spark per le istanze di Agent Platform Workbench su Terraform viene gestito utilizzando la chiave disable-mixer nel campo dei metadati. Attiva Managed Service for Apache Spark impostando la chiave metadata disable-mixer su false. Disattiva Managed Service for Apache Spark impostando la chiave dei metadati disable-mixer su true.

Per scoprire come applicare o rimuovere una configurazione Terraform, consulta Comandi Terraform di base.

resource "google_workbench_instance" "default" {
  name     = "workbench-instance-example"
  location = "us-central1-a"

  gce_setup {
    machine_type = "n1-standard-1"
    vm_image {
      project = "cloud-notebooks-managed"
      family  = "workbench-instances"
    }
    metadata = {
      disable-mixer = "false"
    }
  }
}

Risoluzione dei problemi

Per diagnosticare e risolvere i problemi relativi alla creazione di un'istanza con Managed Service for Apache Spark e Spark abilitato, consulta Risoluzione dei problemi di Agent Platform Workbench.

Passaggi successivi

• Per ulteriori informazioni sull'estensione JupyterLab di Managed Service for Apache Spark, consulta Utilizzare l'estensione JupyterLab per sviluppare workload Spark serverless.

• Per scoprire di più su Managed Service for Apache Spark, consulta la documentazione di Managed Service for Apache Spark.

• Scopri come eseguire i workload di Managed Service for Apache Spark senza eseguire il provisioning e la gestione dei cluster.

• Per scoprire di più sull'utilizzo di Spark con Google Cloud prodotti e servizi, consulta Spark su Google Cloud.

• Sfoglia i modelli di Managed Service for Apache Spark disponibili su GitHub.

• Scopri di più su Spark serverless tramite il serverless-spark-workshop su GitHub.

• Leggi la documentazione di Apache Spark.