É possível instalar outros componentes, como o Hive WebHCat, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Hive WebHCat.
O Hive WebHCat
componente contém uma API REST para o HCatalog. O serviço REST está disponível na porta 50111 no primeiro nó mestre do cluster.
Instalar o componente
Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com o Serviço Gerenciado para Apache Spark versão 1.3 e posteriores.
Consulte as versões compatíveis do Serviço Gerenciado para Apache Spark para ter acesso à versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.
Comando gcloud
Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Hive WebHCat,
use o
gcloud dataproc clusters create cluster-name
comando com a flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=HIVE_WEBHCAT \ --region=region \ ... other args
API REST
O componente Hive WebHCat pode ser especificado por meio da API do Serviço Gerenciado para Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.Console
- Ativar o componente.
- No Google Cloud console, abra a página Criar um cluster do Serviço Gerenciado para Apache Spark. O painel "Configurar cluster" está selecionado.
- Na seção Componentes, em Componentes opcionais, selecione Hive WebHCat e outros componentes opcionais para instalar no cluster.