Componente de Docker opcional de Managed Service for Apache Spark

Para ejecutar contenedores de Docker en los nodos del clúster de Managed Service para Apache Spark, habilita el componente opcional de Docker durante la creación del clúster. En este documento, se explica cómo instalar y configurar el componente de Docker en Managed Service para Apache Spark.

Para obtener más información sobre otros componentes opcionales disponibles en Managed Service para Apache Spark, consulta Componentes opcionales disponibles.

Cómo funciona el componente de Docker

Cuando habilitas el componente de Docker de Managed Service para Apache Spark, se instala un daemon de Docker en cada nodo del clúster. También configura un usuario y un grupo de Linux, ambos llamados "docker", en cada nodo para ejecutar el daemon de Docker. Además, el componente crea el servicio "docker" systemd para ejecutar el servicio dockerd. Debes usar este servicio systemd para administrar el ciclo de vida del servicio de Docker.

Instala el componente

Instala el componente cuando crees un clúster de Managed Service para Apache Spark. El componente de Docker se puede instalar en clústeres creados con la versión 1.5 de imagen de Managed Service para Apache Spark o una versión posterior.

Consulta las versiones compatibles de Managed Service para Apache Spark para la versión del componente incluida en cada versión de la imagen de Managed Service para Apache Spark.

Comando de gcloud

Para crear un clúster de Managed Service para Apache Spark que incluya el componente de Docker, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API de REST

El componente de Docker se puede especificar a través de la API de Managed Service para Apache Spark mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Console

  1. Habilita el componente.
    • En la Google Cloud consola, abre la página Crear un clúster de Managed Service para Apache Spark. Se selecciona el panel Configurar clúster.
    • En la sección Componentes, sigue estos pasos:
      • En componentes opcionales, selecciona Docker y otros componentes opcionales para instalar en tu clúster.

Habilita Docker en YARN

Consulta Personaliza tu entorno de ejecución de trabajos de Spark con Docker en YARN para usar una imagen de Docker personalizada con YARN.

Docker Logging

De forma predeterminada, el componente de Docker de Managed Service para Apache Spark escribe registros en Cloud Logging mediante la configuración de gcplogs driver (Consulta Visualiza tus registros).

Registro de Docker

El componente Docker de Managed Service para Apache Spark configura Docker para usar Container Registry además de los registros predeterminados de Docker. Docker usará el auxiliar de credenciales de Docker para autenticarse con Container Registry.

Usa el componente de Docker en un clúster de Kerberos

Puedes instalar el componente opcional de Docker en un clúster que se crea con la seguridad de Kerberos habilitada.