Componente de Docker opcional de Managed Service for Apache Spark

Para ejecutar contenedores de Docker en los nodos del clúster de Managed Service para Apache Spark, habilita el componente opcional de Docker durante la creación del clúster. En este documento, se explica cómo instalar y configurar el componente de Docker en Managed Service para Apache Spark.

Para obtener más información sobre otros componentes opcionales disponibles en Managed Service para Apache Spark, consulta Componentes opcionales disponibles.

Cómo funciona el componente de Docker

Cuando habilitas el componente de Docker de Managed Service para Apache Spark, se instala un daemon de Docker en cada nodo del clúster. También configura un usuario y un grupo de Linux, ambos llamados “docker”, en cada nodo para ejecutar el daemon de Docker. Además, el componente crea "docker" systemd servicio para ejecutar el dockerd servicio. Debes usar este servicio systemd para administrar el ciclo de vida del servicio de Docker.

Instala el componente

Instala el componente cuando crees un clúster de Managed Service para Apache Spark. El componente de Docker se puede instalar en clústeres creados con Managed Service para Apache Spark versión 1.5 de imagen o una versión posterior.

Consulta las versiones compatibles de Managed Service para Apache Spark para la versión del componente incluida en cada versión de la imagen de Managed Service para Apache Spark.

Google Cloud Consola de

  1. En la Google Cloud consola de, abre la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita Componentes opcionales.
  4. En el panel que se abre, selecciona la casilla de verificación de Docker, luego, haz clic en Save.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark que incluya el componente de Docker, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API de REST

El componente de Docker se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Habilita Docker en YARN

Consulta Personaliza tu entorno de ejecución de trabajos de Spark con Docker en YARN para usar una imagen de Docker personalizada con YARN.

Docker Logging

De forma predeterminada, el componente de Docker de Managed Service para Apache Spark escribe registros en Cloud Logging mediante la configuración de gcplogs driver (Consulta Visualiza tus registros).

Registro de Docker

El componente Docker de Managed Service para Apache Spark configura Docker para usar Container Registry además de los registros predeterminados de Docker. Docker usará el auxiliar de credenciales de Docker para autenticarse con Container Registry.

Usa el componente de Docker en un clúster de Kerberos

Puedes instalar el componente opcional de Docker en un clúster que se crea con la seguridad de Kerberos habilitada.