"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Componente Docker opcional do Managed Service for Apache Spark

Para executar contêineres do Docker nos nós do cluster do Serviço Gerenciado para Apache Spark, ative o componente opcional do Docker durante a criação do cluster. Este documento explica como instalar e configurar o componente Docker no Serviço Gerenciado para Apache Spark.

Para saber mais sobre outros componentes opcionais disponíveis no Serviço Gerenciado para Apache Spark, consulte Componentes opcionais disponíveis.

Como o componente do Docker funciona

Quando você ativa o componente Docker do Serviço Gerenciado para Apache Spark, ele instala um daemon do Docker em cada nó do cluster. Ele também configura um usuário e um grupo do Linux, ambos chamados "docker", em cada nó para executar o daemon do Docker. Além disso, o componente cria um serviço "docker" systemd para executar o serviço dockerd (em inglês). Você precisa usar o serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. O componente do Docker pode ser instalado em clusters criados com a versão de imagem 1.5 ou posterior do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

No console do Google Cloud , abra a página Criar cluster.
Clique em Configuração adicional para abrir a seção.
Edite Componentes opcionais.
No painel aberto, marque a caixa de seleção Docker e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço gerenciado para Apache Spark que inclua o componente Docker, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Para especificar o componente do Docker por meio da API Dataproc, use o SoftwareConfig.Component como parte de uma solicitação clusters.create.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente Docker do Serviço gerenciado para Apache Spark grava registros no Cloud Logging definindo gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

O componente Docker do Serviço Gerenciado para Apache Spark configura o Docker para usar o Container Registry além dos registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Usar o componente do Docker em um cluster do Kerberos

É possível instalar o componente opcional do Docker em um cluster que está sendo criado com a segurança do Kerberos ativada.