É possível instalar componentes adicionais, como o Hive WebHCat, ao criar um cluster do Managed Service para Apache Spark usando o recurso Componentes opcionais. Nesta página, você conhecerá o componente Hive WebHCat.
O componente Hive WebHCat (em inglês) contém uma API REST para o HCatalog. O serviço REST está disponível na porta 50111 no primeiro nó mestre do cluster.
Instalar o componente
Instale o componente ao criar um cluster do Serviço gerenciado para Apache Spark. Os componentes podem ser adicionados aos clusters criados com o Managed Service para Apache Spark versão 1.3 e posterior.
Consulte as versões compatíveis do Managed Service for Apache Spark para saber qual versão do componente está incluída em cada versão de imagem do serviço.
Comando gcloud
Para criar um cluster do Managed Service para Apache Spark que inclua o componente Hive WebHCat, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.
gcloud dataproc clusters create cluster-name \ --optional-components=HIVE_WEBHCAT \ --region=region \ ... other args
API REST
O componente Hive WebHCat pode ser especificado por meio da API do serviço gerenciado para Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.Console
- Ativar o componente.
- No console do Google Cloud , abra a página do serviço gerenciado para Apache Spark Criar um cluster (em inglês). O painel "Configurar cluster" está selecionado.
- Na seção Componentes, em Componentes opcionais, selecione Hive WebHCat e outros componentes opcionais para instalar no cluster.