Componente Docker opcional do Managed Service for Apache Spark

Para executar contêineres do Docker nos nós do cluster do Serviço gerenciado para Apache Spark, ative o componente opcional do Docker durante a criação do cluster. Neste documento, explicamos como instalar e configurar o componente Docker no Managed Service para Apache Spark.

Para saber mais sobre outros componentes opcionais disponíveis no Managed Service para Apache Spark, consulte Componentes opcionais disponíveis.

Como o componente do Docker funciona

Quando você ativa o componente do Docker do Serviço Gerenciado para Apache Spark, ele instala um daemon do Docker em cada nó do cluster. Ele também configura um usuário e um grupo do Linux, ambos chamados "docker", em cada nó para executar o daemon do Docker. Além disso, o componente cria um serviço "docker" systemd para executar o serviço dockerd (em inglês). Você precisa usar o serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Serviço gerenciado para Apache Spark. O componente do Docker pode ser instalado em clusters criados com a versão de imagem 1.5 ou posterior do Managed Service para Apache Spark.

Consulte as versões compatíveis do Managed Service for Apache Spark para saber qual versão do componente está incluída em cada versão de imagem do serviço.

Comando gcloud

Para criar um cluster do Managed Service para Apache Spark que inclua o componente Docker, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

O componente Docker pode ser especificado pela API do Serviço gerenciado para Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

  1. Ativar o componente.
    • No console do Google Cloud , abra a página do serviço gerenciado para Apache Spark Criar um cluster (em inglês). O painel "Configurar cluster" está selecionado.
    • Na seção "Componentes:"
      • Em "Componentes opcionais", selecione Docker e outros componentes opcionais para instalar no cluster.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente Docker do serviço gerenciado para Apache Spark grava registros no Cloud Logging definindo gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

Além disso, ele configura o Docker para usar o Container Registry e os registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Usar o componente do Docker em um cluster do Kerberos

É possível instalar o componente opcional do Docker em um cluster que está sendo criado com a segurança do Kerberos ativada.