Componente opcional do Managed Service for Apache Spark Solr

O componente opcional Apache Solr permite implantar uma plataforma de pesquisa enterprise de código aberto em clusters do Serviço Gerenciado para Apache Spark. Essa integração oferece recursos de pesquisa e indexação distribuídas, hospedando o servidor Solr e a interface da Web na porta 8983 nos nós mestre do cluster.

Por padrão, o Solr armazena arquivos de índice e de registro de transações no HDFS. Para persistir seus arquivos do Solr além do ciclo de vida do cluster, especifique um caminho do Cloud Storage como o diretório inicial do Solr definindo a propriedade de cluster dataproc:solr.gcs.path ao instalar o componente.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com o Serviço Gerenciado para Apache Spark versão 1.3 e posterior.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para saber qual versão do componente está incluída em cada versão da imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

1. No console do Google Cloud , abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite os Componentes opcionais.
4. No painel que será aberto, marque a caixa de seleção Solr e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components. O comando de amostra abaixo usa a sinalização opcional properties para definir um caminho do Cloud Storage como o diretório inicial do Solr.

Ao criar o cluster, use o comando gcloud dataproc clusters create com a sinalização --enable-component-gateway, conforme mostrado abaixo, para ativar a conexão com a IU da Web do Solr usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Adicione a propriedade de cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" ao comando gcloud dataproc clusters create para definir um bucket do Cloud Storage em que os documentos do Solr serão armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Como parte da solicitação clusters.create, é possível:

1. Defina a propriedade EndpointConfig.enableHttpPortAccess como true para permitir a conexão com a IU da Web do Solr usando o Gateway de componentes.
2. Defina a propriedade do cluster "dataproc:solr.gcs.path=gs://bucket-name" no campo SoftwareConfig.Component.properties para definir um bucket do Cloud Storage onde os documentos do Solr serão armazenados (diretório inicial do Solr).