Componente Solr opcional do Dataproc

Pode instalar componentes adicionais, como o Solr, quando cria um cluster do Dataproc através da funcionalidade Componentes opcionais. Esta página descreve o componente Solr.

O componente Apache Solr é uma plataforma de pesquisa empresarial de código aberto. O servidor Solr e a IU Web estão disponíveis na porta 8983 nos nós principais do cluster.

Persistência de ficheiros Solr: por predefinição, o Solr escreve e lê os ficheiros de índice e de registo de transações no HDFS. Para persistir os ficheiros do Solr, use um caminho do Cloud Storage como o diretório principal do Solr definindo a dataproc:solr.gcs.path propriedade do cluster quando instalar o componente.

Instale o componente

Instale o componente quando criar um cluster do Dataproc. Pode adicionar componentes a clusters criados com o Dataproc versão 1.3 e posterior.

Consulte as versões do Dataproc suportadas para ver a versão do componente incluída em cada lançamento de imagem do Dataproc.

comando gcloud

Para criar um cluster do Dataproc que inclua o componente Solr, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components. O comando de exemplo abaixo usa a flag properties opcional para definir um caminho do Cloud Storage como o diretório inicial do Solr.

Quando criar o cluster, use o comando gcloud dataproc clusters create com a flag --enable-component-gateway, conforme mostrado abaixo, para ativar a ligação à IU Web do Solr através do gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Adicione a propriedade --properties="dataproc:solr.gcs.path=gs://bucket-name/" cluster ao comando gcloud dataproc clusters create para definir um contentor do Cloud Storage onde os documentos do Solr vão ser armazenados (diretório inicial do Solr).

API REST

O componente Solr pode ser especificado através da API Dataproc com SoftwareConfig.Component como parte de um pedido clusters.create.

Como parte do seu pedido de clusters.create, pode:

1. Defina a propriedade EndpointConfig.enableHttpPortAccess como true para permitir a ligação à IU da Web do Solr através do Component Gateway.
2. Defina a "dataproc:solr.gcs.path=gs://bucket-name" propriedade do cluster no campo SoftwareConfig.Component.properties para definir um contentor do Cloud Storage onde os documentos do Solr vão ser armazenados (diretório inicial do Solr).

Consola

1. Ative o componente e o gateway de componentes.
   • Na Google Cloud consola, abra a página do Dataproc Criar um cluster. O painel Configurar cluster está selecionado.
   • Na secção Componentes:
     • Em Componentes opcionais, selecione o Solr e outros componentes opcionais para instalar no cluster.
     • Em Component Gateway, selecione Enable component gateway (consulte Ver e aceder aos URLs do Component Gateway).