Usa la extensión de JupyterLab para desarrollar cargas de trabajo de Spark sin servidores

En este documento, se describe cómo instalar y usar la extensión de JupyterLab en una máquina o VM autoadministrada que tenga acceso a los servicios de Google. También se describe cómo desarrollar e implementar código de notebook de Spark sin servidores.

Instala la extensión en cuestión de minutos para aprovechar las siguientes funciones:

  • Inicia notebooks de Spark y BigQuery sin servidores para desarrollar código con rapidez
  • Explora y obtén una vista previa de los conjuntos de datos de BigQuery en JupyterLab
  • Edita archivos de Cloud Storage en JupyterLab
  • Programa un notebook en Composer

Usa Google Cloud Data Agent Kit: Además de JupyterLab, también puedes desarrollar y administrar tus cargas de trabajo de Managed Service para Apache Spark en VS Code con Data Agent Kit. Data Agent Kit te permite administrar todo el ciclo de vida de tu carga de trabajo de datos en tu IDE o con una CLI de agentes compatible, lo que incluye crear canalizaciones de datos.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. Install the Google Cloud CLI.

  7. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  10. Verify that you have the permissions required to complete this guide.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  13. Install the Google Cloud CLI.

  14. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  15. To initialize the gcloud CLI, run the following command: 

    gcloud init

Roles obligatorios

Se requieren ciertos roles de IAM para ejecutar los ejemplos de esta página. Según las políticas de la organización, es posible que ya se hayan otorgado estos roles. Para verificar las asignaciones de roles, consulta ¿Necesitas otorgar roles?.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Funciones de usuario

Para obtener los permisos que necesitas para crear una sesión de notebook interactiva, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Función de cuenta de servicio

Para asegurarte de que la cuenta de servicio predeterminada de Compute Engine tenga los permisos necesarios para crear una sesión interactiva, pídele a tu administrador que otorgue el rol de IAM de trabajador de Dataproc (roles/dataproc.worker) a la cuenta de servicio predeterminada de Compute Engine en el proyecto.

Instala la extensión de JupyterLab

Puedes instalar y usar la extensión de JupyterLab en una máquina o VM que tenga acceso a los servicios de Google, como tu máquina local o una instancia de VM de Compute Engine.

Para instalar la extensión, sigue estos pasos:

  1. Descarga e instala la versión 3.11 o una posterior de Python desde python.org/downloads.

    • Verifica la instalación de Python 3.11 o una versión posterior. 
      python3 --version

  2. Virtualiza el entorno de Python. 

    pip3 install pipenv

    • Crea una carpeta de instalación. 
      mkdir jupyter
    • Cambia a la carpeta de instalación. 
      cd jupyter
    • Crea un entorno virtual. 
      pipenv shell

  3. Instala JupyterLab en el entorno virtual. 

    pipenv install jupyterlab

  4. Instala la extensión de JupyterLab. 

    pipenv install bigquery-jupyter-plugin

  5. Inicia JupyterLab. 

    jupyter lab

    1. La página Launcher de JupyterLab se abrirá en tu navegador. Contiene una sección Sesiones y trabajos de Dataproc. También puede contener secciones de notebooks de Dataproc Serverless y notebooks de clústeres de Dataproc si tienes acceso a notebooks o clústeres de Managed Service para Apache Spark con el componente opcional de Jupyter que se ejecuta en tu proyecto.

      Página del navegador del selector de JupyterLab

    2. De forma predeterminada, la sesión interactiva se ejecuta en el proyecto y en la región que estableciste cuando ejecutaste gcloud init en Antes de comenzar. Puedes cambiar la configuración del proyecto y la región de tus sesiones desde Configuración > Google Cloud Configuración > Google Cloud Configuración del proyecto de JupyterLab.

      Debes reiniciar la extensión para que se apliquen los cambios.

Crea una plantilla de entorno de ejecución de Managed Service para Apache Spark

Las plantillas de entorno de ejecución de Managed Service para Apache Spark (llamadas perfiles de entorno de ejecución en la página Perfiles de entorno de ejecución de la consola deGoogle Cloud y plantillas de sesión en Google Cloud CLI y la API de Dataproc) contienen parámetros de configuración para ejecutar código de Spark en una sesión. Puedes crear y administrar plantillas de entorno de ejecución con JupyterLab, la consola deGoogle Cloud o Google Cloud CLI.

JupyterLab

  1. Haz clic en la tarjeta New runtime template en la sección Notebooks de Dataproc Serverless de la página Selector de JupyterLab.

  2. Completa el formulario Plantilla de entorno de ejecución.

    • Información de la plantilla:

      • Nombre visible, ID del entorno de ejecución y Descripción: Acepta o completa un nombre visible, un ID del entorno de ejecución y una descripción de la plantilla.

    • Configuración de ejecución: Selecciona Cuenta de usuario para ejecutar notebooks con la identidad del usuario en lugar de la identidad de la cuenta de servicio de Dataproc.

      • Cuenta de servicio: Si no especificas una cuenta de servicio, se usa la cuenta de servicio predeterminada de Compute Engine.
      • Versión del entorno de ejecución: Confirma o selecciona la versión del entorno de ejecución de 2.3.
      • Imagen de contenedor personalizada: De manera opcional, especifica el URI de una imagen de contenedor personalizada.
      • Bucket de etapa de pruebas: De manera opcional, puedes especificar el nombre de un bucket de etapa de pruebas de Cloud Storage para que lo use Managed Service para Apache Spark.
      • Repositorio de paquetes de Python: De forma predeterminada, los paquetes de Python se descargan y se instalan desde la caché de extracción de PyPI cuando los usuarios ejecutan comandos de instalación de pip en sus notebooks. Puedes especificar el repositorio de artefactos privados de tu organización para los paquetes de Python que se usarán como el repositorio predeterminado de paquetes de Python.

    • Encriptación: Acepta la opción predeterminada Google-owned and Google-managed encryption key o selecciona Clave de encriptación administrada por el cliente (CMEK). Si es CMEK, selecciona o proporciona la información de la clave.

    • Configuración de red: Selecciona una subred en el proyecto o compartida desde un proyecto host (puedes cambiar el proyecto desde JupyterLab Configuración > Google Cloud Configuración > Google Cloud Configuración del proyecto. Puedes especificar etiquetas de red para aplicarlas a la red especificada. Ten en cuenta que Managed Service para Apache Spark habilita el Acceso privado a Google (PGA) en la subred especificada. Para conocer los requisitos de conectividad de red, consulta Configuración de red de Managed Service para Apache Spark.

    • Configuración de la sesión: De manera opcional, puedes completar estos campos para limitar la duración de las sesiones creadas con la plantilla.

      • Tiempo de inactividad máximo: Es el tiempo de inactividad máximo antes de que finalice la sesión. Rango permitido: de 10 minutos a 336 horas (14 días).
      • Tiempo máximo de sesión: Es la duración máxima de una sesión antes de que finalice. Rango permitido: de 10 minutos a 336 horas (14 días).

    • Metastore: Para usar un servicio de Dataproc Metastore con tus sesiones, selecciona el ID del proyecto y el servicio de Metastore.

    • Servidor de historial persistente: Puedes seleccionar un servidor de historial de Spark persistente disponible para acceder a los registros de sesión durante y después de las sesiones.

    • Propiedades de Spark: Puedes seleccionar y, luego, agregar las propiedades de Asignación de recursos, Ajuste de escala automático o GPU de Spark. Haz clic en Agregar propiedad para agregar otras propiedades de Spark. Para obtener más información, consulta Propiedades de Spark.

    • Etiquetas: Haz clic en Agregar etiqueta para cada etiqueta que se establecerá en las sesiones creadas con la plantilla.

  3. Haz clic en Guardar para crear la plantilla.

  4. Para ver o borrar una plantilla de entorno de ejecución.

    1. Haz clic en Configuración > Google Cloud Configuración.

    2. En la sección Configuración de Dataproc > Plantillas de entorno de ejecución sin servidores, se muestra la lista de plantillas de entorno de ejecución.

      Lista de plantillas de entornos de ejecución

      • Haz clic en el nombre de una plantilla para ver sus detalles.
      • Puedes borrar una plantilla desde su menú Acción.

  5. Abre y vuelve a cargar la página Launcher de JupyterLab para ver la tarjeta de la plantilla de notebook guardada en la página Launcher de JupyterLab.

gcloud

  1. Crea un archivo YAML con la configuración de tu plantilla de entorno de ejecución.

    YAML simple

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    YAML complejo

    description: Example session template
environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri:
    subnetworkUri: default
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "2.3"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

  2. Crea una plantilla de sesión (perfil de entorno de ejecución) a partir de tu archivo YAML ejecutando el siguiente comando gcloud beta dataproc session-templates import de forma local o en Cloud Shell: 

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

Inicia y administra notebooks

Después de instalar la extensión de JupyterLab de Managed Service para Apache Spark, puedes hacer clic en las tarjetas de plantilla en la página Selector de JupyterLab para hacer lo siguiente:

Inicia un notebook de Jupyter

En la sección Notebooks de Dataproc Serverless de la página de inicio de JupyterLab, se muestran tarjetas de plantillas de notebooks que se asignan a las plantillas del entorno de ejecución de Managed Service para Apache Spark (consulta Crea una plantilla del entorno de ejecución de Managed Service para Apache Spark).

  1. Haz clic en una tarjeta para crear una sesión de Managed Service para Apache Spark y lanzar un notebook. Cuando se termina de crear la sesión y el kernel del notebook está listo para usarse, el estado del kernel cambia de Starting a Idle (Ready).

  2. Escribir y probar el código del notebook

    1. Copia y pega el siguiente código de PySpark Pi estimation en la celda del notebook de PySpark y, luego, presiona Mayúsculas + Intro para ejecutar el código. 

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      Resultado del notebook:

  3. Después de crear y usar un notebook, puedes terminar la sesión haciendo clic en Shut Down Kernel en la pestaña Kernel.

    • Para volver a usar la sesión, crea un notebook nuevo. Para ello, elige Notebook en el menú Archivo>>Nuevo. Después de crear el notebook nuevo, elige la sesión existente en el diálogo de selección de kernel. El notebook nuevo reutilizará la sesión y conservará el contexto de la sesión del notebook anterior.

  4. Si no terminas la sesión, Managed Service para Apache Spark lo hará cuando se agote el tiempo de inactividad de la sesión configurado en el temporizador. Puedes configurar el tiempo de inactividad de la sesión en los parámetros de la plantilla del entorno de ejecución. El valor predeterminado es de una hora.

Inicia un notebook en un clúster

Si creaste un clúster de Jupyter de Managed Service para Apache Spark, la página Launcher de JupyterLab contiene una sección Dataproc Cluster Notebook con tarjetas de kernel preinstaladas.

Para iniciar un notebook de Jupyter en tu clúster de Managed Service para Apache Spark en Compute Engine, sigue estos pasos:

  1. Haz clic en una tarjeta de la sección Notebook del clúster de Dataproc.

  2. Cuando el estado del kernel cambia de Starting a Idle (Ready), puedes comenzar a escribir y ejecutar el código del notebook.

  3. Después de crear y usar un notebook, puedes terminar la sesión haciendo clic en Shut Down Kernel en la pestaña Kernel.

Administra archivos de entrada y salida en Cloud Storage

El análisis de datos exploratorios y la compilación de modelos de AA suelen implicar entradas y salidas basadas en archivos. Managed Service para Apache Spark accede a estos archivos en Cloud Storage.

  • Para acceder al navegador de Cloud Storage, haz clic en el ícono del navegador de Cloud Storage en la barra lateral de la página Selector de JupyterLab y, luego, haz doble clic en una carpeta para ver su contenido.

  • Puedes hacer clic en los tipos de archivos compatibles con Jupyter para abrirlos y editarlos. Cuando guardas los cambios en los archivos, se escriben en Cloud Storage.

  • Para crear una carpeta nueva de Cloud Storage, haz clic en el ícono de carpeta nueva y, luego, ingresa el nombre de la carpeta.

  • Para subir archivos a un bucket o una carpeta de Cloud Storage, haz clic en el ícono de carga y, luego, selecciona los archivos que deseas subir.

Desarrolla código de notebook de Spark

Después de instalar la extensión de JupyterLab, puedes iniciar notebooks de Jupyter desde la página Launcher de JupyterLab para desarrollar el código de la aplicación.

Desarrollo de código de PySpark y Python

Los clústeres de Managed Service para Apache Spark admiten kernels de PySpark y Python.

Desarrollo de código SQL

Para abrir un notebook de PySpark y escribir y ejecutar código de SQL, en la página Selector de JupyterLab, en la sección Notebooks de Dataproc Serverless o Notebook de clúster de Dataproc, haz clic en la tarjeta del kernel de PySpark.

Comando mágico de Spark SQL: Como el kernel de PySpark que inicia Dataproc Serverless Notebooks está precargado con el comando mágico de Spark SQL, en lugar de usar spark.sql('SQL STATEMENT').show() para unir tu instrucción de SQL, puedes escribir %%sparksql magic en la parte superior de una celda y, luego, escribir tu instrucción de SQL en la celda.

SQL de BigQuery: El conector de Spark para BigQuery permite que el código de tu notebook cargue datos de tablas de BigQuery, realice análisis en Spark y, luego, escriba los resultados en una tabla de BigQuery.

Los entornos de ejecución de Managed Service para Apache Spark 2.2 y versiones posteriores incluyen el conector de Spark para BigQuery. Si usas un entorno de ejecución anterior para iniciar notebooks de Managed Service para Apache Spark, puedes instalar el conector de Spark a BigQuery agregando la siguiente propiedad de Spark a tu plantilla de entorno de ejecución de Managed Service para Apache Spark:

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Desarrollo de código de Scala

Los clústeres de Managed Service para Apache Spark creados con las versiones de imagen 2.0 y posteriores incluyen Apache Toree, un kernel de Scala para la plataforma de Jupyter Notebook que proporciona acceso interactivo a Spark.

  • Haz clic en la tarjeta de Apache Toree en la sección Notebook del clúster de Dataproc de la página Launcher de JupyterLab para abrir un notebook para el desarrollo de código de Scala.

    Figura 1: Tarjeta del kernel de Apache Toree en la página de inicio de JupyterLab.

Desarrolla código con la extensión de Visual Studio Code

Puedes usar la extensión de Google Cloud Visual Studio Code (VS Code) para hacer lo siguiente:

  • Desarrolla y ejecuta código de Spark en notebooks de Managed Service para Apache Spark.

  • Crea y administra perfiles de entorno de ejecución de Managed Service para Apache Spark (plantillas de sesión), sesiones interactivas y cargas de trabajo por lotes.

La extensión de Visual Studio Code es gratuita, pero se te cobrará por los servicios deGoogle Cloud , incluidos los recursos de Managed Service para Apache Spark, Managed Service para Apache Spark y Cloud Storage que uses.

Usa VS Code con BigQuery: También puedes usar VS Code con BigQuery para hacer lo siguiente:

  • Desarrollar y ejecutar notebooks de BigQuery
  • Explorar, inspeccionar y obtener una vista previa de los conjuntos de datos de BigQuery

Antes de comenzar

  1. Descarga e instala VS Code.
  2. Abre VS Code y, luego, en la barra de actividades, haz clic en Extensiones.

  3. Con la barra de búsqueda, busca la extensión Jupyter y, luego, haz clic en Instalar. La extensión de Jupyter de Microsoft es una dependencia obligatoria.

    Una lista de extensiones de Jupyter en la consola de VS Code.

Instala la extensión de Google Cloud

  1. Abre VS Code y, luego, en la barra de actividades, haz clic en Extensiones.

  2. Usa la barra de búsqueda para encontrar la extensión Google Cloud Code y, luego, haz clic en Instalar.

    La extensión de Google Cloud Code en la consola de VS Code.

  3. Si se te solicita, reinicia VS Code.

El ícono de Google Cloud Code ahora se puede ver en la barra de actividades de VS Code.

Configura la extensión

  1. Abre VS Code y, luego, en la barra de actividades, haz clic en Google Cloud Code.
  2. Abre la sección Dataproc.
  3. Haz clic en Acceder a Google Cloud. Se te redireccionará para que accedas con tus credenciales.
  4. Usa la barra de tareas de la aplicación de nivel superior para navegar a Code > Settings > Settings > Extensions.
  5. Busca Google Cloud Código y haz clic en el ícono Administrar para abrir el menú.
  6. Selecciona Configuración.
  7. En los campos Proyecto y Región de Managed Service para Apache Spark, ingresa el nombre del proyecto de Google Cloud y la región que usarás para desarrollar notebooks y administrar los recursos de Managed Service para Apache Spark.

Desarrolla notebooks

  1. Abre VS Code y, luego, en la barra de actividades, haz clic en Google Cloud Code.
  2. Abre la sección Notebooks y, luego, haz clic en Nuevo notebook de Serverless Spark.
  3. Selecciona o crea un perfil de entorno de ejecución nuevo (plantilla de sesión) para usarlo en la sesión del notebook.

  4. Se creará un nuevo archivo .ipynb con código de muestra y se abrirá en el editor.

    Nuevo notebook de Serverless Spark en la consola de VS Code.

    Ahora puedes escribir y ejecutar código en tu notebook de Managed Service para Apache Spark.

Crea y administra recursos

  1. Abre VS Code y, luego, en la barra de actividades, haz clic en Google Cloud Code.

  2. Abre la sección Dataproc y, luego, haz clic en los siguientes nombres de recursos:

    • Clústeres: Crea y administra clústeres y trabajos.

    • Sin servidores: Crea y administra cargas de trabajo por lotes y sesiones interactivas.

    • Plantillas de entorno de ejecución de Spark: Crea y administra perfiles de entorno de ejecución (plantillas de sesión).

    Recursos de Dataproc que se muestran en la consola de VS Code.

Explorador de conjuntos de datos

Usa el explorador de conjuntos de datos de JupyterLab para ver los conjuntos de datos de BigLake Metastore.

Para abrir el Explorador de conjuntos de datos de JupyterLab, haz clic en su ícono en la barra lateral.

Puedes buscar una base de datos, una tabla o una columna en el explorador de conjuntos de datos. Haz clic en el nombre de una base de datos, tabla o columna para ver los metadatos asociados.

Implementa tu código

Después de instalar la extensión de JupyterLab, puedes usar JupyterLab para lo siguiente:

  • Ejecuta el código de tu notebook en la infraestructura de Managed Service para Apache Spark

  • Programa la ejecución de notebooks en Managed Service para Apache Airflow

  • Envía trabajos por lotes a la infraestructura de Managed Service para Apache Spark o a tu clúster de Managed Service para Apache Spark.

Programa la ejecución de notebooks en Managed Airflow

Completa los siguientes pasos para programar el código de tu notebook en Managed Airflow y que se ejecute como un trabajo por lotes en Managed Service para Apache Spark o en un clúster de Managed Service para Apache Spark.

  1. Crea un entorno de Managed Airflow.

  2. Haz clic en el botón Programador de trabajos en la parte superior derecha del notebook.

  3. Completa el formulario Crear un trabajo programado para proporcionar la siguiente información:

    • Un nombre único para el trabajo de ejecución del notebook
    • Es el entorno de Managed Airflow que se usará para implementar el notebook.
    • Parámetros de entrada si el notebook está parametrizado
    • La plantilla de entorno de ejecución sin servidores o el clúster de Managed Service para Apache Spark que se usará para ejecutar el notebook
      • Si se selecciona un clúster, indica si se debe detener después de que el notebook termine de ejecutarse en él.
    • Recuento de reintentos y retraso de los reintentos en minutos si la ejecución del notebook falla en el primer intento
    • Son las notificaciones de ejecución que se enviarán y la lista de destinatarios. Las notificaciones se envían con la configuración de SMTP de Airflow.
    • El programa de ejecución del notebook

  4. Haz clic en Crear.

  5. Después de que el notebook se programe de forma correcta, el nombre del trabajo aparecerá en la lista de trabajos programados en el entorno de Managed Airflow.

Envía un trabajo por lotes a Managed Service para Apache Spark

  • Haz clic en la tarjeta Sin servidores en la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

  • Haz clic en la pestaña Lote, luego, en Crear lote y completa los campos de Información del lote.

  • Haz clic en Enviar para enviar el trabajo.

Envía un trabajo por lotes a un clúster de Managed Service para Apache Spark

  • Haz clic en la tarjeta Clústeres en la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

  • Haz clic en la pestaña Trabajos y, luego, en Enviar trabajo.

  • Selecciona un Clúster y, luego, completa los campos de Trabajo.

  • Haz clic en Enviar para enviar el trabajo.

Visualiza y administra recursos

Después de instalar la extensión de JupyterLab, puedes ver y administrar Managed Service para Apache Spark y Managed Service para Apache Spark desde la sección Trabajos y sesiones de Dataproc en la página Selector de JupyterLab.

Haz clic en la sección Sesiones y trabajos de Dataproc para mostrar las tarjetas Clústeres y Sin servidores.

Para ver y administrar las sesiones de Managed Service para Apache Spark, sigue estos pasos:

  1. Haz clic en la tarjeta Sin servidores.
  2. Haz clic en la pestaña Sesiones y, luego, en un ID de sesión para abrir la página Detalles de la sesión y ver las propiedades de la sesión, los registros de Google Cloud en el Explorador de registros y finalizar una sesión. Nota: Se crea una sesión única de Managed Service para Apache Spark para iniciar cada notebook de Managed Service para Apache Spark.

Para ver y administrar los lotes de Managed Service para Apache Spark, sigue estos pasos:

  1. Haz clic en la pestaña Lotes para ver la lista de lotes de Managed Service para Apache Spark en la región y el proyecto actuales. Haz clic en un ID de lote para ver sus detalles.

Para ver y administrar clústeres de Managed Service para Apache Spark, sigue estos pasos:

  1. Haz clic en la tarjeta Clústeres. Se selecciona la pestaña Clústeres para enumerar los clústeres activos de Managed Service para Apache Spark en el proyecto y la región actuales. Puedes hacer clic en los íconos de la columna Acciones para iniciar, detener o reiniciar un clúster. Haz clic en el nombre de un clúster para ver sus detalles. Puedes hacer clic en los íconos de la columna Acciones para clonar, detener o borrar un trabajo.

Para ver y administrar los trabajos de Managed Service para Apache Spark, sigue estos pasos:

  1. Haz clic en la tarjeta Trabajos para ver la lista de trabajos en el proyecto actual. Haz clic en un ID de trabajo para ver sus detalles.