Componente opcional Zeppelin do Managed Service for Apache Spark

É possível instalar outros componentes, como o Zeppelin, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Zeppelin.

O componente Zeppelin Notebook é um notebook baseado na Web para análise de dados interativos. A IU da Web do Zeppelin está disponível na porta 8080 do primeiro nó mestre do cluster.

Por padrão, os notebooks são salvos no Cloud Storage no bucket de preparação do Serviço Gerenciado para Apache Spark, que é especificado pelo usuário ou criado automaticamente na criação do cluster. O local pode ser alterado no momento da criação do cluster por meio da zeppelin:zeppelin.notebook.gcs.dir propriedade.

• Configure o Zeppelin fornecendo as propriedades de cluster prefixadas zeppelin e zeppelin-env.
  • Para reduzir o risco de execução remota de código em APIs de servidor de notebook não seguras, a configuração padrão da propriedade de cluster zeppelin:zeppelin.server.addr para versões de imagem 1.3+ é 127.0.0.1, que restringe as conexões com localhost quando o Gateway de componentes está ativado.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com a versão 1.3 e posteriores do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Google Cloud Console do

1. No Google Cloud console do, abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite Componentes opcionais.
4. No painel que é aberto, selecione a caixa de seleção para Notebook Zeppelin, e clique em Salvar.

CLI gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Zeppelin, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Ao criar o cluster (versão de imagem 1.3.29 ou posterior), use o comando gcloud dataproc clusters create com a flag --enable-component-gateway conforme mostrado abaixo para ativar a conexão com a IU da Web do notebook do Zeppelin usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

O componente Zeppelin pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Use a API v1 do Dataproc, para definir a propriedade EndpointConfig.enableHttpPortAccess com true, como parte da solicitação clusters.create para ativar a conexão com a IU da Web do notebook Zeppelins usando o Gateway de componentes.

Abrir o notebook Zeppelin

Consulte Visualizar e acessar URLs do Gateway de componentes e clique nos links do Gateway de Componentes no Google Cloud console para abrir a UI do notebook Zeppelin em execução no nó mestre do cluster em seu navegador local.