Per eseguire container Docker sui nodi del cluster Managed Service for Apache Spark, abilita il componente facoltativo Docker durante la creazione del cluster. Questo documento spiega come installare e configurare il componente Docker su Managed Service for Apache Spark.
Per saperne di più sugli altri componenti facoltativi disponibili in Managed Service for Apache Spark, consulta Componenti facoltativi disponibili.
Come funziona il componente Docker
Quando abiliti il componente Docker di Managed Service for Apache Spark, viene installato un
daemon Docker
su ogni nodo del cluster. Vengono inoltre configurati un utente e un gruppo Linux, entrambi denominati "docker", su ogni nodo per eseguire il daemon Docker. Inoltre, il componente
crea il servizio "docker" systemd
per eseguire il servizio dockerd. Devi utilizzare questo servizio systemd per gestire il ciclo di vita del servizio Docker.
Installare il componente
Installa il componente quando crei un cluster Managed Service for Apache Spark. Il componente Docker può essere installato sui cluster creati con la versione dell'immagine 1.5 o successive di Managed Service for Apache Spark.
Per la versione del componente inclusa in ogni release dell'immagine di Managed Service for Apache Spark, consulta Versioni di Managed Service for Apache Spark supportate.
Comando g-cloud
Per creare un cluster Managed Service for Apache Spark che includa il componente Docker,
utilizza il
comando gcloud dataproc clusters create cluster-name
con il flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
API REST
Il componente Docker può essere specificato tramite l'API Managed Service for Apache Spark utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.
Console
- Abilita il componente.
- Nellaconsole, apri la pagina Crea un cluster di Managed Service for Apache Spark. Google Cloud Il riquadro Configura cluster è selezionato.
- Nella sezione Componenti:
- In Componenti facoltativi, seleziona Docker e altri componenti facoltativi da installare sul cluster.
Abilitare Docker su YARN
Per utilizzare un'immagine Docker personalizzata con YARN, consulta Personalizzare l'ambiente di runtime dei job Spark con Docker su YARN.
Logging di Docker
Per impostazione predefinita, il componente Docker di Managed Service for Apache Spark scrive i log in
Cloud Logging impostando gcplogs driver—vedi
Visualizzare i log.
Docker Registry
Il componente Docker di Managed Service for Apache Spark configura Docker in modo che utilizzi Container Registry oltre ai registri Docker predefiniti. Docker utilizzerà l'helper delle credenziali Docker per l'autenticazione con Container Registry.
Utilizzare il componente Docker su un cluster Kerberos
Puoi installare il componente facoltativo Docker su un cluster che è in fase di creazione con la sicurezza Kerberos abilitata.