Componentes de Managed Service para Apache Spark

Managed Service para Apache Spark te permite personalizar los entornos de clústeres con las herramientas y los servicios necesarios para tus cargas de trabajo de macrodatos. Estos componentes se clasifican como instalados, opcionales o de acción de inicialización.

Tipos de componentes

Los clústeres de Managed Service para Apache Spark cuentan con los siguientes tipos de componentes:

• Componentes instalados: Son los componentes que se instalan en la imagen y se activan cuando se crea el clúster.

• Componentes opcionales: Son los componentes que seleccionas para instalar y usar en tu clúster cuando lo creas. Managed Service para Apache Spark instala y activa componentes opcionales según la versión de la imagen del clúster de la siguiente manera:

  • 2.2 y versiones de imagen anteriores: Los componentes opcionales se instalan automáticamente. Los componentes opcionales seleccionados se activan y los no seleccionados se desinstalan cuando se crea el clúster.

  • 2.3 y versiones de imagen posteriores: Todos los componentes opcionales se instalan durante la creación del clúster, excepto los componentes opcionales de Jupyter, Iceberg y Delta Lake, que están preinstalados en 2.3 y versiones de imagen posteriores. Los componentes opcionales preinstalados se quitan de un clúster de versión de imagen 2.3 o posterior si no están habilitados cuando se crea el clúster. Para obtener más información, consulta Versiones de actualización de Managed Service para Apache Spark 2.3.x.

    Para evitar un mayor tiempo de inicio en los clústeres con la versión de imagen 2.3 y posteriores, crea una imagen personalizada con componentes opcionales preinstalados. Para ello, ejecuta generate_custom_image.py con la marca --optional-components.

• Componentes de acción de inicialización: Son componentes que se instalan en un clúster como parte de una acción de inicialización que especificas cuando creas un clúster.

Los componentes opcionales se instalan en un clúster antes de que se ejecuten las acciones de inicialización en el clúster.

En las páginas de versiones de imágenes de Managed Service para Apache Spark, se enumeran los componentes y los tipos de componentes disponibles en las versiones más recientes de las imágenes de Managed Service para Apache Spark.

Los componentes opcionales tienen las siguientes ventajas sobre las acciones de inicialización que se usan para instalar componentes:

• Se prueba que los componentes opcionales sean compatibles con versiones específicas de Managed Service para Apache Spark.
• Los componentes opcionales se habilitan con un parámetro de creación de clústeres, mientras que las acciones de inicialización requieren una secuencia de comandos.

Componentes opcionales disponibles

Componente opcional	Nombre del componente en los comandos de Google Cloud CLI y las solicitudes a la API	Versión de la imagen	Etapa de actualización
Delta Lake	DELTA	2.2.46 y versiones posteriores	DG
Docker	DOCKER	1.5 y versiones posteriores	DG
Flink	FLINK	1.5 y versiones posteriores	DG
HBase	HBASE	1.5 y versiones posteriores (no disponible en 2.1 y versiones posteriores)	Funciones obsoletas
Hive WebHCat	HIVE_WEBHCAT	1.3 y posteriores	DG
Hudi	HUDI	1.5 y versiones posteriores	DG
Iceberg	ICEBERG	2.2 y versiones posteriores	DG
Notebook de Jupyter	JUPYTER	1.3 y posteriores	DG
Pig	PIG	1.5^* y versiones posteriores	DG
Presto	PRESTO	1.3 y versiones posteriores (no disponible en 2.1 ni versiones posteriores)	DG
Ranger	RANGER	1.3 y posteriores	DG
Solr	SOLR	1.3 y posteriores	DG
Trino	TRINO	2.1 y versiones posteriores	DG
Notebook de Zeppelin	ZEPPELIN	1.3 y posteriores	DG
ZooKeeper	ZOOKEEPER	1.0 y posteriores	DG

Notas:

• Apache Pig es un componente opcional en las versiones de imagen 2.3 y posteriores. Se preinstaló en 2.2 y en versiones anteriores de la imagen.

Consulta Interfaces web de clústeres para conectarte a las interfaces web de los componentes que se ejecutan en los clústeres. Consulta también la puerta de enlace de componentes de Managed Service para Apache Spark, que te permite conectarte a las interfaces web de los componentes principales y opcionales de Managed Service para Apache Spark, incluidas las IU de YARN, HDFS, Jupyter y Zeppelin, sin necesidad de usar túneles SSH ni de modificar las reglas de firewall para permitir el tráfico entrante.

Agrega componentes opcionales

Nota: Los siguientes ejemplos de uso se aplican a los componentes de disponibilidad general (DG).

Consola deGoogle Cloud

1. En la consola de Google Cloud , abre la página Crear clúster.
2. Haz clic en Configuración adicional para expandir esa sección.
3. Edita los componentes opcionales.
4. En el panel que se abre, selecciona las casillas de verificación de los componentes opcionales que deseas instalar en tu clúster y, luego, haz clic en Guardar.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark y, luego, instalar uno o más componentes opcionales en él, usa el comando gcloud beta dataproc clusters create cluster-name con la marca --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API de REST

Los componentes opcionales se pueden especificar a través de la API de Dataproc con SoftwareConfig.Component como parte de una solicitud clusters.create.