Componente Docker facoltativo di Managed Service per Apache Spark

Per eseguire container Docker sui nodi del cluster Managed Service per Apache Spark, abilita il componente facoltativo Docker durante la creazione del cluster. Questo documento spiega come installare e configurare il componente Docker su Managed Service per Apache Spark.

Per saperne di più sugli altri componenti facoltativi disponibili in Managed Service per Apache Spark, consulta Componenti facoltativi disponibili.

Come funziona il componente Docker

Quando abiliti il componente Docker di Managed Service per Apache Spark, viene installato un daemon Docker su ogni nodo del cluster. Vengono inoltre configurati un utente e un gruppo Linux, entrambi denominati "docker", su ogni nodo per eseguire il daemon Docker. Inoltre, il componente crea il servizio "docker" systemd per eseguire il servizio dockerd. Devi utilizzare questo servizio systemd per gestire il ciclo di vita del servizio Docker.

Installare il componente

Installa il componente quando crei un cluster Managed Service per Apache Spark. Il componente Docker può essere installato sui cluster creati con Managed Service per Apache Spark versione immagine 1.5 o successive.

Per la versione del componente inclusa in ogni release dell'immagine di Managed Service per Apache Spark, consulta Versioni di Managed Service per Apache Spark supportate.

Comando g-cloud

Per creare un cluster Managed Service per Apache Spark che includa il componente Docker, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Il componente Docker può essere specificato tramite l'API Managed Service per Apache Spark utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Console

  1. Abilita il componente.
    • Nella Google Cloud console, apri la pagina Crea un cluster di Managed Service per Apache Spark. Il riquadro Configura cluster è selezionato.
    • Nella sezione Componenti:
      • In Componenti facoltativi, seleziona Docker e altri componenti facoltativi da installare sul cluster.

Abilitare Docker su YARN

Per utilizzare un'immagine Docker personalizzata con YARN, consulta Personalizzare l'ambiente di runtime del job Spark con Docker su YARN.

Logging di Docker

Per impostazione predefinita, il componente Docker di Managed Service per Apache Spark scrive i log in Cloud Logging impostando gcplogs driver. Per maggiori dettagli, consulta Visualizzare i log.

Docker Registry

Il componente Docker di Managed Service per Apache Spark configura Docker in modo da utilizzare Container Registry oltre ai registri Docker predefiniti. Docker utilizzerà l'helper delle credenziali Docker per eseguire l'autenticazione con Container Registry.

Utilizzare il componente Docker su un cluster Kerberos

Puoi installare il componente facoltativo Docker su un cluster che è in fase di creazione con la sicurezza Kerberos abilitata.