Componente Solr facoltativo di Managed Service per Apache Spark

Puoi installare componenti aggiuntivi come Solr quando crei un cluster Managed Service for Apache Spark utilizzando la funzionalità Componenti facoltativi. Questa pagina descrive il componente Solr.

Il componente Apache Solr è una piattaforma di ricerca a livello aziendale open source. Il server Solr e la UI web sono disponibili sulla porta 8983 sui nodi master del cluster.

Persistenza dei file Solr:per impostazione predefinita, Solr scrive e legge i file di indice e di log delle transazioni in HDFS. Per rendere persistenti i file Solr, utilizza un percorso Cloud Storage come directory home di Solr impostando la dataproc:solr.gcs.path proprietà del cluster quando installi il componente.

Installare il componente

Installa il componente quando crei un cluster Managed Service for Apache Spark. I componenti possono essere aggiunti ai cluster creati con Managed Service for Apache Spark versione 1.3 e successive.

Consulta la sezione Versioni di Managed Service for Apache Spark supportate per la versione del componente inclusa in ogni release dell'immagine Managed Service for Apache Spark.

ConsoleGoogle Cloud

1. Nella console Google Cloud , apri la pagina Crea cluster.
2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
3. Modifica Componenti facoltativi.
4. Nel riquadro che si apre, seleziona la casella di controllo Solr, quindi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Solr, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components. Il comando di esempio riportato di seguito utilizza il flag facoltativo properties per impostare un percorso Cloud Storage come directory home di Solr.

Quando crei il cluster, utilizza il comando gcloud dataproc clusters create con il flag --enable-component-gateway, come mostrato di seguito, per attivare la connessione alla UI web di Solr utilizzando il gateway dei componenti.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Aggiungi la proprietà del cluster --properties="dataproc:solr.gcs.path=gs://bucket-name/" al comando gcloud dataproc clusters create per impostare un bucket Cloud Storage in cui verranno archiviati i documenti Solr (directory home di Solr).

API REST

Il componente Solr può essere specificato tramite l'API Dataproc utilizzando SoftwareConfig.Component nell'ambito di una richiesta clusters.create.

Nell'ambito della richiesta di clusters.create, puoi:

1. Imposta la proprietà EndpointConfig.enableHttpPortAccess su true per abilitare la connessione alla GUI web di Solr utilizzando il gateway dei componenti.
2. Imposta la proprietà del cluster "dataproc:solr.gcs.path=gs://bucket-name" nel campo SoftwareConfig.Component.properties per impostare un bucket Cloud Storage in cui verranno archiviati i documenti Solr (directory home di Solr).