Componente opcional Zeppelin do Managed Service for Apache Spark

É possível instalar outros componentes, como o Zeppelin, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Zeppelin.

O componente Zeppelin Notebook é um notebook baseado na Web para análise de dados interativos. A IU da Web do Zeppelin está disponível na porta 8080 do primeiro nó mestre do cluster.

Por padrão, os notebooks são salvos no Cloud Storage no bucket de preparação do Serviço Gerenciado para Apache Spark, que é especificado pelo usuário ou criado automaticamente na criação do cluster. O local pode ser alterado no momento da criação do cluster por meio da zeppelin:zeppelin.notebook.gcs.dir propriedade.

• Configure o Zeppelin fornecendo as propriedades de cluster prefixadas zeppelin e zeppelin-env.
  • Para reduzir o risco de execução remota de código em APIs de servidor de notebook não seguras, a configuração padrão da propriedade de cluster zeppelin:zeppelin.server.addr para versões de imagem 1.3+ é 127.0.0.1, que restringe as conexões com localhost quando o Gateway de componentes está ativado.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com a versão 1.3 e posteriores do Serviço Gerenciado para Apache Spark.

Consulte Versões compatíveis do Dataproc para a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Comando gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Zeppelin, use o comando gcloud dataproc clusters create cluster-name com a sinalização --optional-components.

Ao criar o cluster (versão de imagem 1.3.29 ou posterior), use o comando gcloud dataproc clusters create com a sinalização --enable-component-gateway conforme mostrado abaixo para ativar a conexão com a IU da Web do notebook do Zeppelin usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Especifique o componente Zeppelin por meio da API do Serviço Gerenciado para Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Usando a API v1 do Serviço Gerenciado para Apache Spark, defina a propriedade EndpointConfig.enableHttpPortAccess como true como parte da solicitação clusters.create para ativar a conexão com a IU da Web do notebook Zeppelin usando o Gateway de componentes.

Console

1. Ative o componente e o gateway de componentes.
   • No Google Cloud console, abra a página Criar um cluster do Serviço Gerenciado para Apache Spark. O painel "Configurar cluster" está selecionado.
   • Na seção "Componentes:"
     • Em "Componentes opcionais", selecione Zeppelin e outros componentes opcionais para instalar no cluster.
     • Em "Gateway de componentes", selecione "Ativar gateway do componente" (consulte Visualizar e acessar URLs do gateway de componentes).

Abrir o notebook Zeppelin

Consulte Visualizar e acessar URLs do Gateway de componentes e clique nos links do Gateway de Componentes no Google Cloud console para abrir a UI do notebook Zeppelin em execução no nó mestre do cluster em seu navegador local.