Crea sesiones interactivas y plantillas de sesión

En esta página, se muestra cómo crear sesiones interactivas y plantillas de sesiones de Serverless for Apache Spark. Se puede usar una plantilla de sesión para crear varias sesiones interactivas basadas en la configuración de la plantilla de sesión.

Nota: Las sesiones interactivas de Serverless for Apache Spark están asociadas con notebooks interactivos. Para obtener un ejemplo del uso de sesiones con notebooks de Jupyter, consulta Usa el complemento de JupyterLab de Dataproc para sesiones de notebooks interactivas y por lotes sin servidores. Para obtener ejemplos del uso de sesiones en notebooks de BigQuery Studio, consulta Ejecuta código de PySpark en notebooks de BigQuery Studio.

Crea una sesión interactiva

Puedes usar la CLI de gcloud o la API de Dataproc para crear una sesión interactiva de Serverless for Apache Spark.

gcloud

Puedes usar el gcloud beta dataproc sessions create command SESSION_NAME para crear una sesión interactiva de Serverless for Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Reemplaza o agrega lo siguiente:

• SESSION_ID: Obligatorio. Un ID para la sesión.

• REGION: Obligatorio. Una región disponible para ubicar tu sesión.

• --version: Opcional. Una versión compatible del entorno de ejecución de Spark . Si no usas esta marca para especificar una versión, se usa la versión actual predeterminada del entorno de ejecución de Spark.

• --container-image: Opcional. Una imagen de contenedor personalizada para usar en tu sesión.

• --property: Opcional. Una o más propiedades de Spark separadas por comas para tu sesión.

• --service-account: Opcional. La cuenta de servicio que se usará para tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• --subnet: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Serverless for Apache Spark usa la subred default en la región de la sesión. Serverless for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless for Apache Spark.

REST

Puedes usar la API de Dataproc sessions.create para crear una sesión interactiva de Serverless for Apache Spark.

Notas:

• name: Obligatorio. Nombre de la sesión.

• version: Opcional. Cualquiera de las versiones compatibles del entorno de ejecución de Spark para tu sesión. Si no especificas una versión, se usa la versión predeterminada actual.

• containerImage: Opcional. Una imagen de contenedor personalizada para usar en tu sesión.

• properties: Opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta Propiedades de Spark.

• serviceAccount: Opcional. La cuenta de servicio que se usará para ejecutar tu sesión. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Serverless for Apache Spark usa la subred default en la región de la sesión. Serverless for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless for Apache Spark.

Crea una plantilla de sesión

Una plantilla de sesión de Serverless for Apache Spark define la configuración para crear una o más sesiones interactivas de Serverless for Apache Spark. Puedes usar la Google Cloud consola, la CLI de gcloud o la API de Dataproc para crear una plantilla de sesión de Serverless for Apache Spark para una sesión de Jupyter o Spark Connect.

Nota: Puedes crear una sesión en un notebook de BigQuery Studio a partir de una plantilla de sesión de Serverless for Apache Spark. En esta sección, se explica cómo configurar la plantilla para usarla en un notebook de BigQuery Studio.

Console

Para crear una plantilla de sesión de Serverless for Apache Spark con la Google Cloud consola, completa los siguientes pasos:

1. En la Google Cloud consola, ve a la página **Plantillas de sesión**.

   Ir a Plantillas de sesión

   1. Haz clic en Crear.

2. En la página Crear plantilla de sesión, ingresa o confirma la configuración de la plantilla. Ten en cuenta lo siguiente:

   • ID de entorno de ejecución de la plantilla: Obligatorio. Acepta el ID (nombre) predeterminado o especifica un nombre de entorno de ejecución de la plantilla.
   • Región: Obligatorio. Acepta la región predeterminada o especifica una región disponible para las sesiones de la plantilla.
   • Versión del entorno de ejecución: Opcional. Los entornos de ejecución de sesión seleccionables corresponden a las versiones del entorno de ejecución de Serverless for Apache Spark.
     • Requisito de sesión de notebook de BigQuery Studio: Si creas una plantilla para usarla en sesiones de Spark Connect de notebooks de BigQuery Studio, debe usar la versión 2.3 o posterior del entorno de ejecución de Spark.
   • Tipo de configuración de la plantilla: Obligatorio. Selecciona un tipo. Si seleccionas Jupyter, especifica el Nombre visible y selecciona el Tipo de kernel de Jupyter. Consulta también Inicia un notebook de Jupyter en Serverless for Apache Spark.
     • Requisito de sesión de notebook de BigQuery Studio: Las sesiones de notebook de BigQuery Studio deben especificar Spark Connect como el tipo de configuración de la plantilla.
   • Cuenta de servicio: Opcional. La cuenta de servicio que se usará para ejecutar sesiones con plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.
   • Imagen de contenedor personalizada: Opcional. Una imagen de contenedor personalizada para usar en tus sesiones con plantillas.
   • Propiedades: Opcional. Haz clic en Agregar elemento para cada propiedad que se establecerá para tus sesiones con plantillas. Para obtener más información, consulta Propiedades de Spark.
   • Configuración de red: * Obligatorio. Selecciona una subred en la región de la sesión. Serverless for Apache Spark habilita el Acceso privado a Google (PGA) en la subred especificada. Para conocer los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless for Apache Spark.

3. Haz clic en Enviar para crear la plantilla de sesión.

gcloud

No puedes crear directamente una plantilla de sesión de Serverless for Apache Spark con la CLI de gcloud, pero puedes usar el gcloud beta dataproc session-templates import comando para importar una plantilla de sesión existente. Puedes editar la plantilla importada, y, luego, exportarla con el comando gcloud beta dataproc session-templates export.

REST

Puedes usar la API de Dataproc sessionTemplates.create para crear una plantilla de sesión de Serverless for Apache Spark.

Notas:

• name: Obligatorio. Nombre de la plantilla de sesión.

• version: Opcional. Cualquiera de las versiones compatibles del entorno de ejecución de Spark para tus sesiones con plantillas. Si no especificas una versión, se usa la versión predeterminada.

  • Requisito de sesión de notebook de BigQuery Studio: Si creas una plantilla para usarla en sesiones de Spark Connect de notebooks de BigQuery Studio, debe usar la versión 2.3 o posterior del entorno de ejecución de Spark.

• sessionConfig: Especifica jupyter_session o spark_connect_session. Si especificas jupyter_session, también especifica JupyterConfig.display_name y JupyterConfig.kernel. Consulta también Inicia un notebook de Jupyter en Serverless for Apache Spark.

  • Requisito de sesión de notebook de BigQuery Studio: Las sesiones de notebook de BigQuery Studio deben especificar Spark Connect como el tipo de configuración de la plantilla.

• containerImage: Opcional. Una imagen de contenedor personalizada para usar en tus sesiones con plantillas.

• properties: Opcional. Una asignación de nombres de propiedades de sesión a valores. Consulta Propiedades de Spark.

• serviceAccount: Opcional. Una cuenta de servicio que se usará para ejecutar tus sesiones con plantillas. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

• subnetworkUri: Opcional. El nombre de una subred en la región de la sesión. Si no se especifica, Serverless for Apache Spark usa la subred default en la región de la sesión. Serverless for Apache Spark habilita el Acceso privado a Google (PGA) en la subred. Para conocer los requisitos de conectividad de red, consulta Google Cloud Configuración de red de Serverless for Apache Spark.