La implementación sin servidores del servicio administrado para Apache Spark te permite ejecutar cargas de trabajo de Spark sin necesidad de aprovisionar ni administrar tu propio clúster del servicio administrado para Apache Spark. Existen dos formas de ejecutar cargas de trabajo del servicio administrado para Apache Spark: cargas de trabajo por lotes y sesiones interactivas.
Cargas de trabajo por lotes
Envía una carga de trabajo por lotes con la consola deGoogle Cloud , Google Cloud CLI o la API de REST. El servicio administrado para Apache Spark ejecuta la carga de trabajo en una infraestructura de procesamiento administrada y ajusta los recursos de forma automática según sea necesario. Los cargos se aplican solo al momento en que se ejecuta la carga de trabajo.
Capacidades de la carga de trabajo por lotes
Puedes ejecutar los siguientes tipos de cargas de trabajo por lotes:
- PySpark
- Spark SQL
- Spark R
- Spark (Java o Scala)
Puedes especificar propiedades de Spark cuando envíes una carga de trabajo por lotes.
Programa cargas de trabajo por lotes
Puedes programar una carga de trabajo por lotes de Spark como parte de un flujo de trabajo de Airflow o Cloud Composer con un operador por lotes de Airflow. Para obtener más información, consulta Ejecuta cargas de trabajo de Managed Service for Apache Spark con Cloud Composer.
Comenzar
Para comenzar, consulta Ejecuta una carga de trabajo por lotes de Apache Spark.
Sesiones interactivas
Escribe y ejecuta código en notebooks de Jupyter durante una sesión interactiva. Puedes crear una sesión de notebook de las siguientes maneras:
Ejecuta código de PySpark en notebooks de BigQuery Studio. Abre un notebook de Python en BigQuery para crear una sesión interactiva del servicio administrado de Apache Spark basada en Spark Connect. Cada notebook de BigQuery solo puede tener una sesión activa de Managed Service for Apache Spark asociada.
Usa el complemento de JupyterLab para crear varias sesiones de Jupyter Notebook a partir de plantillas que crees y administres. Cuando instalas el complemento en una máquina local o en una VM de Compute Engine, aparecen diferentes tarjetas que corresponden a diferentes configuraciones del kernel de Spark en la página de inicio de JupyterLab. Haz clic en una tarjeta para crear una sesión de notebook de Managed Service for Apache Spark y, luego, comienza a escribir y probar tu código en el notebook.
El complemento de JupyterLab también te permite usar la página de inicio de JupyterLab para realizar las siguientes acciones:
- Crear clústeres de Managed Service para Apache Spark
- Enviar trabajos a clústeres
- Visualiza los registros de Google Cloud y Spark.
Cumplimiento de las normas de seguridad
Managed Service for Apache Spark cumple con todos los requisitos de residencia de datos, CMEK, VPC-SC y otros requisitos de seguridad con los que cumple Managed Service for Apache Spark.