Componente opcional do Managed Service for Apache Spark Solr

É possível instalar outros componentes, como o Solr, ao criar um cluster do Serviço Gerenciado para Apache Spark usando o recurso Componentes opcionais. Esta página descreve o componente Solr.

O componente Apache Solr é uma plataforma de pesquisa corporativa de código aberto. O servidor Solr e a IU da Web estão disponíveis na porta 8983 nos nós mestres do cluster.

Arquivos Solr permanentes: por padrão, o Solr grava e lê os arquivos de registro de índice e de transações no HDFS. Para manter arquivos Solr, use um caminho do Cloud Storage como o diretório inicial do Solr definindo a propriedade de cluster dataproc:solr.gcs.path quando você instalar o componente.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com o Serviço Gerenciado para Apache Spark versão 1.3 e mais recentes.

Consulte as versões compatíveis do Serviço Gerenciado para Apache Spark para conferir a versão do componente incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Google Cloud Console do

1. No Google Cloud Console do Cloud, abra a página Criar cluster.
2. Clique em Configuração adicional para expandir a seção.
3. Edite Componentes opcionais.
4. No painel que é aberto, selecione a caixa de seleção Solr, e clique em Salvar.

CLI gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a --optional-components flag. O comando de amostra abaixo usa a flag properties opcional para definir um caminho do Cloud Storage como o diretório inicial do Solr.

Ao criar o cluster, use o comando gcloud dataproc clusters create com a flag --enable-component-gateway, conforme mostrado abaixo, para ativar a conexão com a IU da Web do Solr usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Adicione a --properties="dataproc:solr.gcs.path=gs://bucket-name/" propriedade de cluster ao gcloud dataproc clusters create comando para definir um bucket do Cloud Storage em que os documentos do Solr serão armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado por meio da API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Como parte da solicitação clusters.create, é possível:

1. Defina a propriedade EndpointConfig.enableHttpPortAccess como true para permitir a conexão com a IU da Web do Solr usando o Gateway de componentes.
2. Defina a propriedade do cluster "dataproc:solr.gcs.path=gs://bucket-name" no campo SoftwareConfig.Component.properties para definir um bucket do Cloud Storage onde os documentos do Solr serão armazenados (diretório inicial do Solr).