Composant Solr facultatif de Managed Service pour Apache Spark

Vous pouvez installer des composants supplémentaires comme Solr lorsque vous créez un cluster Managed Service pour Apache Spark à l'aide de la fonctionnalité Composants facultatifs. Cette page décrit le composant Solr.

Le composant Apache Solr est une plate-forme Open Source de recherche d'entreprise. Le serveur Solr et l'interface utilisateur Web sont disponibles sur le port 8983 du ou des nœuds maîtres du cluster.

Fichiers Solr persistants : par défaut, Solr écrit et lit les fichiers journaux d'index et de transactions dans HDFS. Pour conserver les fichiers Solr, utilisez un chemin d'accès Cloud Storage en tant que répertoire d'accueil Solr en définissant la propriété de cluster dataproc:solr.gcs.path lorsque vous installez le composant.

Installer le composant

Installez le composant lorsque vous créez un cluster Managed Service pour Apache Spark. Des composants peuvent être ajoutés aux clusters créés avec Managed Service pour Apache Spark version 1.3 et ultérieure.

Consultez la section Versions Managed Service pour Apache Spark compatibles pour obtenir la version de composant incluse dans chaque version d'image Managed Service pour Apache Spark.

Commande gcloud

Pour créer un cluster Managed Service pour Apache Spark incluant le composant Solr, utilisez la commande gcloud dataproc clusters create cluster-name avec l'option --optional-components. L'exemple de commande ci-dessous utilise l'option facultative properties pour définir un chemin d'accès Cloud Storage en tant que répertoire de base Solr.

Lors de la création du cluster, utilisez la commande gcloud dataproc clusters create avec l'option --enable-component-gateway (comme indiqué ci-dessous) pour activer la connexion à l'interface utilisateur Web de Solr à l'aide de la passerelle des composants.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags

Ajoutez la --properties="dataproc:solr.gcs.path=gs://bucket-name/" propriété de cluster à la gcloud dataproc clusters create commande pour définir un bucket Cloud Storage où les documents Solr seront stockés (répertoire d'accueil Solr).

API REST

Le composant Solr peut être spécifié via l'API Managed Service pour Apache Spark à l'aide de SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Dans le cadre de votre requête clusters.create, vous pouvez :

1. Définir la propriété EndpointConfig.enableHttpPortAccess sur true pour autoriser la connexion à l'interface utilisateur Web Solr à l'aide de la passerelle des composants Alpha.
2. Définir la propriété de cluster "dataproc:solr.gcs.path=gs://bucket-name" sur le champ SoftwareConfig.Component.properties pour définir un bucket Cloud Storage où les documents Solr seront stockés (répertoire d'accueil Solr).

Console

1. Activez le composant et la passerelle des composants.
   • Dans la Google Cloud console, ouvrez la page Créer un cluster Managed Service pour Apache Spark. Le panneau "Configurer un cluster" est sélectionné.
   • Dans la section Composants :
     • Sous "Composants facultatifs", sélectionnez "Solr" et les autres composants facultatifs à installer sur votre cluster.
     • Sous "Passerelle des composants", sélectionnez "Activer la passerelle des composants" (consultez la section Afficher les URL de la passerelle des composants et y accéder).