Componente opcional do Managed Service for Apache Spark Solr

É possível instalar outros componentes, como o Solr, ao criar um cluster do Managed Service for Apache Spark usando o recurso Componentes opcionais. Esta página descreve o componente Solr.

O componente Apache Solr é uma plataforma de pesquisa corporativa de código aberto. O servidor Solr e a IU da Web estão disponíveis na porta 8983 nos nós mestres do cluster.

Arquivos Solr permanentes: por padrão, o Solr grava e lê os arquivos de registro de índice e de transações no HDFS. Para manter arquivos Solr, use um caminho do Cloud Storage como o diretório inicial do Solr definindo a propriedade de cluster dataproc:solr.gcs.path quando você instalar o componente.

Instalar o componente

Instale o componente ao criar um cluster do Managed Service for Apache Spark. Os componentes podem ser adicionados a clusters criados com o Managed Service for Apache Spark versão 1.3 e mais recentes.

Consulte as versões compatíveis do Managed Service for Apache Spark para conferir a versão do componente incluída em cada versão de imagem do Managed Service for Apache Spark.

Comando gcloud

Para criar um cluster do Managed Service for Apache Spark que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components. O comando de amostra abaixo usa a flag properties opcional para definir um caminho do Cloud Storage como o diretório inicial do Solr.

Ao criar o cluster, use o comando gcloud dataproc clusters create com a flag --enable-component-gateway, conforme mostrado abaixo, para ativar a conexão com a IU da Web do Solr usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Adicione a --properties="dataproc:solr.gcs.path=gs://bucket-name/" propriedade de cluster ao gcloud dataproc clusters create comando para definir um bucket do Cloud Storage em que os documentos do Solr serão armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado por meio da API do Managed Service for Apache Spark usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Como parte da solicitação clusters.create, é possível:

1. Defina a propriedade EndpointConfig.enableHttpPortAccess como true para permitir a conexão com a IU da Web do Solr usando o Gateway de componentes.
2. Defina a propriedade do cluster "dataproc:solr.gcs.path=gs://bucket-name" no campo SoftwareConfig.Component.properties para definir um bucket do Cloud Storage onde os documentos do Solr serão armazenados (diretório inicial do Solr).

Console

1. Ative o componente e o gateway de componentes.
   • No Google Cloud console, abra a página Criar um cluster do Managed Service for Apache Spark . O painel "Configurar cluster" está selecionado.
   • Na seção "Componentes:"
     • Em "Componentes opcionais", selecione "Solr" e outros componentes opcionais para instalar no cluster.
     • Em "Gateway de componentes", selecione "Ativar gateway do componente" (consulte Visualizar e acessar URLs do gateway de componentes).