"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Componente Docker facoltativo di Managed Service per Apache Spark

Per eseguire i container Docker sui nodi del cluster Managed Service for Apache Spark, attiva il componente facoltativo Docker durante la creazione del cluster. Questo documento spiega come installare e configurare il componente Docker su Managed Service for Apache Spark.

Per scoprire di più sugli altri componenti opzionali disponibili in Managed Service for Apache Spark, consulta Componenti opzionali disponibili.

Come funziona il componente Docker

Quando abiliti il componente Docker di Managed Service for Apache Spark, viene installato un daemon Docker su ogni nodo del cluster. Inoltre, configura un utente e un gruppo Linux, entrambi denominati "docker", su ogni nodo per eseguire il daemon Docker. Inoltre, il componente crea il servizio "docker" systemd per eseguire il servizio dockerd. Devi utilizzare questo servizio systemd per gestire il ciclo di vita del servizio Docker.

Installare il componente

Installa il componente quando crei un cluster Managed Service for Apache Spark. Il componente Docker può essere installato su cluster creati con Managed Service for Apache Spark versione immagine 1.5 o successive.

Consulta la sezione Versioni di Managed Service for Apache Spark supportate per la versione del componente inclusa in ogni release dell'immagine Managed Service for Apache Spark.

ConsoleGoogle Cloud

Nella console Google Cloud , apri la pagina Crea cluster.
Fai clic su Configurazione aggiuntiva per espandere la sezione.
Modifica Componenti facoltativi.
Nel riquadro che si apre, seleziona la casella di controllo Docker, poi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Docker, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Il componente Docker può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Attiva Docker su YARN

Consulta Personalizzare l'ambiente di runtime del job Spark con Docker su YARN per utilizzare un'immagine Docker personalizzata con YARN.

Logging di Docker

Per impostazione predefinita, il componente Docker di Managed Service for Apache Spark scrive i log in Cloud Logging impostando gcplogs driver. Per saperne di più, consulta Visualizzazione dei log.

Docker Registry

Il componente Docker di Managed Service for Apache Spark configura Docker in modo che utilizzi Container Registry oltre ai registri Docker predefiniti. Docker utilizzerà l'assistente per le credenziali Docker per l'autenticazione con Container Registry.

Utilizzare il componente Docker su un cluster Kerberos

Puoi installare il componente facoltativo Docker su un cluster in fase di creazione con la sicurezza Kerberos abilitata.