Creare sessioni interattive e modelli di sessione

Questa pagina mostra come creare sessioni interattive e modelli di sessione di Managed Service for Apache Spark. Un modello di sessione può essere utilizzato per creare più sessioni interattive in base alla configurazione del modello di sessione.

Nota: le sessioni interattive di Managed Service for Apache Spark sono associate a notebook interattivi. Per un esempio di utilizzo delle sessioni con i notebook Jupyter, consulta Utilizzare il plug-in JupyterLab di Managed Service for Apache Spark per sessioni batch e interattive del notebook serverless. Per esempi di utilizzo delle sessioni nei notebook BigQuery Studio, consulta Eseguire il codice PySpark nei notebook BigQuery Studio.

Creare una sessione interattiva

Puoi utilizzare Google Cloud CLI o l'API Managed Service for Apache Spark per creare una sessione interattiva Managed Service for Apache Spark.

gcloud

Puoi utilizzare gcloud beta dataproc sessions create command SESSION_NAME per creare una sessione interattiva Managed Service for Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Sostituisci o aggiungi quanto segue:

• SESSION_ID: obbligatorio. Un ID per la sessione.

• REGION: obbligatorio. Una regione disponibile per individuare la sessione.

• --version: Facoltativo. Una versione del runtime Spark supportata. Se non utilizzi questo flag per specificare una versione, viene utilizzata la versione runtime Spark predefinita corrente.

• --container-image: Facoltativo. Un'immagine container personalizzata da utilizzare per la sessione.

• --property: Facoltativo. Una o più proprietà Spark separate da virgole per la sessione.

• --service-account: Facoltativo. L'account di servizio da utilizzare per la sessione. Se non viene specificato, viene utilizzato il service account Compute Engine predefinito.

• --subnet: Facoltativo. Il nome di una subnet nella regione della sessione. Se non specificata, Managed Service for Apache Spark utilizza la subnet default nella regione della sessione. Managed Service for Apache Spark attiva l'accesso privato Google (PGA) sulla subnet. Per i requisiti di connettività di rete, consulta la sezione Configurazione di rete di Managed Service for Apache Spark.

REST

Puoi utilizzare l'API Managed Service for Apache Spark sessions.create per creare una sessione interattiva di Managed Service for Apache Spark.

Note:

• name: Obbligatorio. Nome della sessione.

• version: Facoltativo. Una delle versioni di runtime Spark supportate per la sessione. Se non specifichi una versione, viene utilizzata quella predefinita corrente.

• containerImage: Facoltativo. Un'immagine container personalizzata da utilizzare per la sessione.

• properties: Facoltativo. Una mappatura dei nomi delle proprietà di sessione ai valori. Vedi Proprietà Spark.

• serviceAccount: Facoltativo. Il service account da utilizzare per eseguire la sessione. Se non viene specificato, viene utilizzato il service account Compute Engine predefinito.

• subnetworkUri: Facoltativo. Il nome di una subnet nella regione della sessione. Se non specificata, Managed Service for Apache Spark utilizza la subnet default nella regione della sessione. Managed Service for Apache Spark attiva l'accesso privato Google (PGA) sulla subnet. Per i requisiti di connettività di rete, consulta la sezione Configurazione di rete di Managed Service for Apache Spark.

Creare un modello di sessione

Un modello di sessione Managed Service for Apache Spark definisce le impostazioni di configurazione per la creazione di una o più sessioni interattive di Managed Service for Apache Spark. Puoi utilizzare la console Google Cloud , gcloud CLI o l'API Managed Service for Apache Spark per creare un modello di sessione Managed Service for Apache Spark per una sessione Jupyter o Spark Connect.

Nota: puoi creare una sessione in un notebook BigQuery Studio da un modello di sessione Managed Service for Apache Spark. Questa sezione spiega come configurare il modello per utilizzarlo in un notebook BigQuery Studio.

Console

Per creare un modello di sessione Managed Service for Apache Spark utilizzando la console Google Cloud , completa i seguenti passaggi:

1. Nella console Google Cloud , vai alla pagina Modelli di sessione.

   Vai a Modelli di sessione

   1. Fai clic su Crea.

2. Nella pagina Crea template sessione, inserisci o conferma le impostazioni di configurazione del template. Tieni presente quanto segue:

   • ID runtime del modello:obbligatorio. Accetta l'ID (nome) predefinito o specifica un nome di runtime del modello.
   • Regione: obbligatoria. Accetta la regione predefinita o specifica una regione disponibile per le sessioni dei modelli.
   • Versione runtime:facoltativo. I runtime di sessione selezionabili corrispondono alle versioni del runtime di Managed Service for Apache Spark.
     • Requisito della sessione del notebook BigQuery Studio: se stai creando un modello da utilizzare per le sessioni Spark Connect del notebook BigQuery Studio, deve utilizzare Spark runtime versione 2.3 o successive.
   • Tipo di configurazione del modello:obbligatorio. Seleziona un tipo. Se selezioni Jupyter, specifica il Nome visualizzato e seleziona il Tipo di kernel Jupyter. Vedi anche Avviare un notebook Jupyter su Managed Service for Apache Spark.
     • Requisito per la sessione del notebook BigQuery Studio: le sessioni del notebook BigQuery Studio devono specificare Spark Connect come tipo di configurazione del modello.
   • Service account:facoltativo. Il service account da utilizzare per eseguire sessioni basate su modelli. Se non viene specificato, viene utilizzato il service account Compute Engine predefinito.
   • Immagine container personalizzata:facoltativo. Un'immagine container personalizzata da utilizzare per le sessioni basate su modelli.
   • Proprietà:facoltativo. Fai clic su Aggiungi elemento per ogni proprietà da impostare per le sessioni basate su modelli. Per saperne di più, consulta Proprietà Spark.
   • Configurazione di rete: * Obbligatorio. Seleziona una subnet nella regione della sessione. Managed Service for Apache Spark abilita l'accesso privato Google (PGA) sulla subnet specificata. Per i requisiti di connettività di rete, consulta la sezione Configurazione di rete di Managed Service for Apache Spark.

3. Fai clic su Invia per creare il modello di sessione.

gcloud

Non puoi creare direttamente un modello di sessione Managed Service for Apache Spark utilizzando gcloud CLI, ma puoi utilizzare il comando gcloud beta dataproc session-templates import per importare un modello di sessione esistente. Puoi modificare il modello importato e poi esportarlo utilizzando il comando gcloud beta dataproc session-templates export.

REST

Puoi utilizzare l'API Managed Service for Apache Spark sessionTemplates.create per creare un modello di sessione Managed Service for Apache Spark.

Note:

• name: Obbligatorio. Nome del modello di sessione.

• version: Facoltativo. Una delle versioni di runtime Spark supportate per le sessioni basate su modelli. Se non specifichi una versione, viene utilizzata quella predefinita.

  • Requisito della sessione del notebook BigQuery Studio: se stai creando un modello da utilizzare per le sessioni Spark Connect del notebook BigQuery Studio, deve utilizzare Spark runtime versione 2.3 o successive.

• sessionConfig: specifica jupyter_session o spark_connect_session. Se specifichi jupyter_session, specifica anche JupyterConfig.display_name e JupyterConfig.kernel. Vedi anche Avvia un notebook Jupyter su Managed Service for Apache Spark.

  • Requisito per la sessione del notebook BigQuery Studio: le sessioni del notebook BigQuery Studio devono specificare Spark Connect come tipo di configurazione del modello.

• containerImage: Facoltativo. Un'immagine container personalizzata da utilizzare per le sessioni basate su modelli.

• properties: Facoltativo. Una mappatura dei nomi delle proprietà di sessione ai valori. Vedi Proprietà Spark.

• serviceAccount: Facoltativo. Un service account da utilizzare per eseguire le sessioni basate su modelli. Se non viene specificato, viene utilizzato il service account Compute Engine predefinito.

• subnetworkUri: Facoltativo. Il nome di una subnet nella regione della sessione. Se non specificata, Managed Service for Apache Spark utilizza la subnet default nella regione della sessione. Managed Service for Apache Spark attiva l'accesso privato Google (PGA) sulla subnet. Per i requisiti di connettività di rete, consulta la sezione Configurazione di rete di Managed Service for Apache Spark.