Componente Solr opcional de Managed Service para Apache Spark

Puedes instalar componentes adicionales como Solr cuando creas un clúster de Managed Service para Apache Spark con la función de componentes opcionales. En esta página, se describe el componente de Solr.

El componente de Apache Solr es una plataforma de búsqueda empresarial de código abierto. El servidor Solr y la IU web están disponibles en el puerto 8983 de los nodos de instancias principales del clúster.

Persistencia de archivos Solr: De forma predeterminada, Solr escribe y lee los archivos de registro de transacciones y de índice en HDFS. Para conservar los archivos de Solr, usa una ruta de acceso de Cloud Storage como el directorio principal de Solr. Para ello, establece la propiedad del clúster dataproc:solr.gcs.path cuando instales el componente.

Instala el componente

Instala el componente cuando crees un clúster de Managed Service para Apache Spark. Los componentes se pueden agregar a los clústeres creados con Managed Service para Apache Spark versión 1.3 y versiones posteriores.

Consulta las versiones compatibles de Managed Service para Apache Spark para la versión del componente incluida en cada versión de la imagen de Managed Service para Apache Spark.

Google Cloud Consola de

1. En la Google Cloud consola de, abre la página Crear clúster.
2. Haz clic en Configuración adicional para expandir esa sección.
3. Edita Componentes opcionales.
4. En el panel que se abre, selecciona la casilla de verificación de Solr, luego, haz clic en Guardar.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark que incluya el componente Solr, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components. En el siguiente comando de muestra, se usa la marca opcional properties para establecer una ruta de acceso de Cloud Storage como el directorio principal de Solr.

Cuando crees el clúster, usa el comando gcloud dataproc clusters create con la marca --enable-component-gateway como se muestra a continuación, para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Agrega la --properties="dataproc:solr.gcs.path=gs://bucket-name/" propiedad del clúster al gcloud dataproc clusters create comando para establecer un bucket de Cloud Storage donde se almacenarán los documentos de Solr (directorio principal de Solr).

API de REST

El componente Solr se puede especificar a través de la API de Dataproc mediante SoftwareConfig.Component como parte de una solicitud clusters.create.

Como parte de tu solicitud clusters.create, puedes:

1. Configura la propiedad EndpointConfig.enableHttpPortAccess en true para habilitar la conexión a la IU web de Solr mediante la puerta de enlace de componentes.
2. Establece la propiedad del clúster "dataproc:solr.gcs.path=gs://bucket-name" en el SoftwareConfig.Component.properties campo para establecer un bucket de Cloud Storage donde se almacenarán los documentos Solr (directorio principal de Solr).