Para ejecutar contenedores de Docker en los nodos del clúster de Managed Service for Apache Spark, habilita el componente opcional de Docker durante la creación del clúster. En este documento, se explica cómo instalar y configurar el componente de Docker en Managed Service for Apache Spark.
Para obtener más información sobre otros componentes opcionales disponibles en Managed Service for Apache Spark, consulta Componentes opcionales disponibles.
Cómo funciona el componente de Docker
Cuando habilitas el componente de Docker de Managed Service for Apache Spark, se instala un
daemon de Docker
en cada nodo del clúster. También configura un usuario y un grupo de Linux, ambos llamados “docker”, en cada nodo para ejecutar el daemon de Docker. Además, el componente
crea "docker" systemd
servicio para ejecutar el dockerd
servicio. Debes usar este servicio systemd para administrar el ciclo de vida del servicio de Docker.
Instala el componente
Instala el componente cuando crees un clúster de Managed Service for Apache Spark. El componente de Docker se puede instalar en clústeres creados con la versión 1.5 de imagen o una versión posterior de Managed Service for Apache Spark.
Consulta las versiones compatibles de Managed Service for Apache Spark para la versión del componente incluida en cada versión de la imagen de Managed Service for Apache Spark.
Comando de gcloud
Para crear un clúster de Managed Service for Apache Spark que incluya el componente de Docker,
usa el
comando gcloud dataproc clusters create cluster-name
con la marca --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API de REST
El componente de Docker se puede especificar a través de la API de Managed Service for Apache Spark mediante SoftwareConfig.Component como parte de una solicitud clusters.create.
Console
- Habilita el componente.
- En la Google Cloud consola, abre la página Create a cluster (Crear un clúster) de Managed Service for Apache Spark. Se selecciona el panel Configurar clúster.
- En la sección Componentes, sigue estos pasos:
- En componentes opcionales, selecciona Docker y otros componentes opcionales para instalar en tu clúster.
Habilita Docker en YARN
Consulta Personaliza tu entorno de ejecución de trabajos de Spark con Docker en YARN para usar una imagen de Docker personalizada con YARN.
Docker Logging
De forma predeterminada, el componente de Docker de Managed Service for Apache Spark escribe registros en
Cloud Logging mediante la configuración de gcplogs driver (Consulta
Visualiza tus registros).
Registro de Docker
El componente Docker de Managed Service for Apache Spark configura Docker para usar Container Registry además de los registros predeterminados de Docker. Docker usará el auxiliar de credenciales de Docker para autenticarse con Container Registry.
Usa el componente de Docker en un clúster de Kerberos
Puedes instalar el componente opcional de Docker en un clúster que se crea con la seguridad de Kerberos habilitada.