"Serviço gerenciado para Apache Spark" é o novo nome do produto antes conhecido como "Dataproc no Compute Engine" (implantação de cluster) e "Google Cloud Serverless para Apache Spark" (implantação sem servidor).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Componente Docker opcional do Managed Service for Apache Spark

Para executar contêineres Docker nos nós do cluster do Serviço Gerenciado para Apache Spark, ative o componente opcional do Docker durante a criação do cluster. Este documento explica como instalar e configurar o componente Docker no Serviço Gerenciado para Apache Spark.

Para saber mais sobre outros componentes opcionais disponíveis no Serviço Gerenciado para Apache Spark, consulte Componentes opcionais disponíveis.

Como o componente do Docker funciona

Quando você ativa o componente Docker do Serviço Gerenciado para Apache Spark, ele instala um daemon do Docker em cada nó do cluster. Ele também configura um usuário e um grupo do Linux, ambos chamados "docker", em cada nó para executar o daemon do Docker. Além disso, o componente cria um serviço "docker" systemd para executar o serviço dockerd (em inglês). Você precisa usar o serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. O componente do Docker pode ser instalado em clusters criados com a versão de imagem 1.5 ou posterior do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Comando gcloud

Para criar um cluster do Serviço gerenciado para Apache Spark que inclua o componente Docker, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

O componente Docker pode ser especificado pela API Serviço Gerenciado para Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

Ativar o componente.
- No console Google Cloud , abra a página Criar um cluster do Serviço Gerenciado para Apache Spark. O painel "Configurar cluster" está selecionado.
- Na seção "Componentes:"
  - Em "Componentes opcionais", selecione Docker e outros componentes opcionais para instalar no cluster.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente Docker do Serviço gerenciado para Apache Spark grava registros no Cloud Logging definindo gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

O componente do Docker do Serviço Gerenciado para Apache Spark configura o Docker para usar o Container Registry, além dos registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Usar o componente do Docker em um cluster do Kerberos

É possível instalar o componente opcional do Docker em um cluster que está sendo criado com a segurança do Kerberos ativada.