Managed Service for Apache Spark のオプションの Solr コンポーネント

Managed Service for Apache Spark クラスタを作成する際には、 オプション コンポーネント 機能を使用して、Solr などの追加コンポーネントをインストールできます。このページでは、Solr コンポーネントについて説明します。

Apache Solr コンポーネントは、オープンソースのエンタープライズ検索プラットフォームです。Solr サーバーとウェブ UI は、クラスタのマスターノードのポート 8983 で使用できます。

Solr ファイルを永続化する: デフォルトでは、Solr は HDFS にあるインデックスとトランザクションのログファイルの書き込みと読み取りを行います。Solr ファイルを永続化するには、コンポーネントをインストールする際に dataproc:solr.gcs.path クラスタ プロパティを設定して Cloud Storage パスを Solr のホーム ディレクトリとして使用します。

コンポーネントをインストールする

Managed Service for Apache Spark クラスタを作成するときに、コンポーネントをインストールします。 Managed Service for Apache Spark バージョン 1.3 以降で作成されたクラスタには、コンポーネントを追加できます。

Managed Service for Apache Spark イメージの各リリースに含まれるコンポーネント バージョンについては、 サポートされている Managed Service for Apache Spark バージョン をご覧ください。

Google Cloud コンソール

  1. コンソールで、[クラスタの作成] ページを開きます。 Google Cloud
  2. [追加構成] をクリックしてセクションを開きます。
  3. [オプション コンポーネント] を編集します。
  4. 表示されたパネルで [Solr] のチェックボックスをオンにして、 [保存] をクリックします。

gcloud CLI

Solr コンポーネントを含む Managed Service for Apache Spark クラスタを作成するには、 gcloud dataproc clusters create cluster-name コマンドと --optional-components フラグを使用します。次のサンプル コマンドでは、オプションの properties フラグを使用して、Cloud Storage のパスを Solr ホーム ディレクトリとして設定します。

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags
--properties="dataproc:solr.gcs.path=gs://bucket-name/" クラスタ プロパティを gcloud dataproc clusters create コマンドに追加して、Solr ドキュメントが保存される場所（Solr のホーム ディレクトリ）に、Cloud Storage バケットを設定します。

REST API

Solr コンポーネントは、clusters.create リクエストの一部として SoftwareConfig.Component を使用して Dataproc API で指定できます。