Componente Docker opcional do Managed Service for Apache Spark

Para executar contêineres do Docker nos nós do cluster do Serviço Gerenciado para Apache Spark, ative o componente opcional do Docker durante a criação do cluster. Este documento explica como instalar e configurar o componente do Docker no Serviço Gerenciado para Apache Spark.

Para saber mais sobre outros componentes opcionais disponíveis no Serviço Gerenciado para Apache Spark, consulte Componentes opcionais disponíveis.

Como o componente do Docker funciona

Quando você ativa o componente do Docker do Serviço Gerenciado para Apache Spark, ele instala um daemon do Docker em cada nó do cluster. Ele também configura um usuário e um grupo do Linux, ambos chamados "docker", em cada nó para executar o daemon do Docker. Além disso, o componente cria o serviço "docker" systemd para executar o serviço dockerd. Você precisa usar esse serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. O componente do Docker pode ser instalado em clusters criados com a versão de imagem 1.5 ou mais recente do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Comando gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente do Docker, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Para especificar o componente do Docker por meio da API do Serviço Gerenciado para Apache Spark, use SoftwareConfig.Component como parte de uma solicitação clusters.create.

Console

  1. Ativar o componente.
    • No Google Cloud console, abra a página Criar um cluster do Serviço Gerenciado para Apache Spark. O painel "Configurar cluster" está selecionado.
    • Na seção "Componentes:"
      • Em "Componentes opcionais", selecione Docker e outros componentes opcionais para instalar no cluster.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente do Docker do Serviço Gerenciado para Apache Spark grava registros no Cloud Logging definindo o gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

Além disso, o componente do Docker do Serviço Gerenciado para Apache Spark configura o Docker para usar o Container Registry e os registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Usar o componente do Docker em um cluster do Kerberos

É possível instalar o componente opcional do Docker em um cluster que está sendo criado com a segurança do Kerberos ativada.