Crea sesiones interactivas y plantillas de sesión

En esta página, se muestra cómo crear sesiones interactivas y plantillas de sesiones de Managed Service for Apache Spark. Se puede usar una plantilla de sesión para crear varias sesiones interactivas basadas en la configuración de la plantilla de sesión.

Nota: Las sesiones interactivas de Managed Service for Apache Spark están asociadas con notebooks interactivos. Para ver un ejemplo del uso de sesiones con notebooks de Jupyter, consulta Usa el complemento de JupyterLab de Managed Service for Apache Spark para sesiones interactivas y por lotes sin servidores. Para ver ejemplos del uso de sesiones en notebooks de BigQuery Studio, consulta Ejecuta código de PySpark en notebooks de BigQuery Studio.

Crea una sesión interactiva

Puedes usar Google Cloud CLI o la API de Managed Service for Apache Spark para crear una sesión interactiva de Managed Service for Apache Spark.

gcloud

Puedes usar el gcloud beta dataproc sessions create command SESSION_NAME para crear una sesión interactiva de Managed Service for Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Reemplaza o agrega lo siguiente:

• SESSION_ID: Obligatorio. Un ID para la sesión.

• REGION: Obligatorio. Una región disponible para ubicar tu sesión.

• --version: Opcional. Una versión compatible del entorno de ejecución de Spark . Si no usas esta marca para especificar una versión, se usa la versión actual predeterminada del entorno de ejecución de Spark.

• --container-image: Opcional. Una imagen de contenedor personalizada para usar en tu sesión.

• --property: Opcional. Una o más propiedades de Spark separadas por comas para tu sesión.

• --service-account: Opcional. La cuenta de servicio que se usará para tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• --subnet: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Managed Service for Apache Spark usa la subred default en la región de la sesión. Managed Service for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Configuración de red de Managed Service for Apache Spark.

REST

Puedes usar la API de Managed Service for Apache Spark sessions.create para crear una sesión interactiva de Managed Service for Apache Spark.

Notas:

• name: Obligatorio. Nombre de la sesión.

• version: Opcional. Cualquiera de las versiones compatibles del entorno de ejecución de Spark para tu sesión. Si no especificas una versión, se usa la versión predeterminada actual.

• containerImage: Opcional. Una imagen de contenedor personalizada para usar en tu sesión.

• properties: Opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta Propiedades de Spark.

• serviceAccount: Opcional. La cuenta de servicio que se usará para ejecutar tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Managed Service for Apache Spark usa la subred default en la región de la sesión. Managed Service for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Configuración de red de Managed Service for Apache Spark.

Crea una plantilla de sesión

Una plantilla de sesión de Managed Service for Apache Spark define la configuración para crear una o más sesiones interactivas de Managed Service for Apache Spark. Puedes usar la Google Cloud consola, gcloud CLI o la API de Managed Service for Apache Spark para crear una plantilla de sesión de Managed Service for Apache Spark para una sesión de Jupyter o Spark Connect.

Nota: Puedes crear una sesión en un notebook de BigQuery Studio a partir de una plantilla de sesión de Managed Service for Apache Spark. En esta sección, se explica cómo configurar la plantilla para usarla en un notebook de BigQuery Studio.

Console

Para crear una plantilla de sesión de Managed Service for Apache Spark con la Google Cloud consola, completa los siguientes pasos:

1. En la Google Cloud consola, ve a la página Plantillas de sesiones.

   Ir a Plantillas de sesiones

   1. Haz clic en Crear.

2. En la página Crear plantilla de sesión, ingresa o confirma la configuración de la plantilla. Ten en cuenta lo siguiente:

   • ID de entorno de ejecución de la plantilla: Obligatorio. Acepta el ID (nombre) predeterminado o especifica un nombre de entorno de ejecución de la plantilla.
   • Región: Obligatorio. Acepta la región predeterminada o especifica una región disponible para las sesiones de la plantilla.
   • Versión del entorno de ejecución: Opcional. Los entornos de ejecución de sesión seleccionables corresponden a las versiones del entorno de ejecución de Managed Service for Apache Spark.
     • Requisito de sesión de notebook de BigQuery Studio: Si creas una plantilla para usarla en sesiones de Spark Connect de notebook de BigQuery Studio, debe usar la versión 2.3 o posterior del entorno de ejecución de Spark.
   • Tipo de configuración de la plantilla: Obligatorio. Selecciona un tipo. Si seleccionas Jupyter, especifica el Nombre visible y selecciona el Tipo de kernel de Jupyter. Consulta también Inicia un notebook de Jupyter en Managed Service for Apache Spark.
     • Requisito de sesión de notebook de BigQuery Studio: Las sesiones de notebook de BigQuery Studio deben especificar Spark Connect como el tipo de configuración de la plantilla.
   • Cuenta de servicio: Opcional. La cuenta de servicio que se usará para ejecutar sesiones con plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.
   • Imagen de contenedor personalizada: Opcional. Una imagen de contenedor personalizada para usar en tus sesiones con plantillas.
   • Propiedades: Opcional. Haz clic en Agregar elemento para cada propiedad que quieras configurar para tus sesiones con plantillas. Para obtener más información, consulta Propiedades de Spark.
   • Configuración de red: * Obligatorio. Selecciona una subred en la región de la sesión. Managed Service for Apache Spark habilita el Acceso privado a Google (PGA) en la subred especificada. Para conocer los requisitos de conectividad de red, consulta Configuración de red de Managed Service for Apache Spark.

3. Haz clic en Enviar para crear la plantilla de sesión.

gcloud

No puedes crear directamente una plantilla de sesión de Managed Service for Apache Spark con gcloud CLI, pero puedes usar el comando gcloud beta dataproc session-templates import para importar una plantilla de sesión existente. Puedes editar la plantilla importada y, luego, exportarla con el comando gcloud beta dataproc session-templates export.

REST

Puedes usar la API de Managed Service for Apache Spark sessionTemplates.create para crear una plantilla de sesión de Managed Service for Apache Spark.

Notas:

• name: Obligatorio. Nombre de la plantilla de sesión.

• version: Opcional. Cualquiera de las versiones compatibles del entorno de ejecución de Spark para tus sesiones con plantillas. Si no especificas una versión, se usa la versión predeterminada.

  • Requisito de sesión de notebook de BigQuery Studio: Si creas una plantilla para usarla en sesiones de Spark Connect de notebook de BigQuery Studio, debe usar la versión 2.3 o posterior del entorno de ejecución de Spark.

• sessionConfig: Especifica jupyter_session o spark_connect_session. Si especificas jupyter_session, también especifica JupyterConfig.display_name y JupyterConfig.kernel. Consulta también Inicia un notebook de Jupyter en Managed Service for Apache Spark.

  • Requisito de sesión de notebook de BigQuery Studio: Las sesiones de notebook de BigQuery Studio deben especificar Spark Connect como el tipo de configuración de la plantilla.

• containerImage: Opcional. Una imagen de contenedor personalizada para usar en tus sesiones con plantillas.

• properties: Opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta Propiedades de Spark.

• serviceAccount: Opcional. Una cuenta de servicio que se usará para ejecutar tus sesiones con plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Managed Service for Apache Spark usa la subred default en la región de la sesión. Managed Service for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Configuración de red de Managed Service for Apache Spark.