このドキュメントでは、Managed Service for Apache Spark クラスタで使用できるさまざまな種類のコンポーネントの概要について説明します。これらのコンポーネントを理解することは、ビッグデータ ワークロードに必要なツールとサービスを含めるようにクラスタを構成するうえで不可欠です。Managed Service for Apache Spark コンポーネントは、インストール済み、オプション、初期化アクションのコンポーネントに分類されます。
コンポーネントの種類
Managed Service for Apache Spark クラスタには、次の種類のコンポーネントがあります。
インストール済みのコンポーネント: イメージにインストールされ、クラスタの作成時に有効になるコンポーネント。
オプション コンポーネント: クラスタを作成した際にインストールできるコンポーネント。Managed Service for Apache Spark は、クラスタ イメージ バージョンに応じて、次のようにオプション コンポーネントをインストールして有効にします。
2.2以前のイメージ バージョン: オプション コンポーネントが自動的にインストールされます。選択されたオプション コンポーネントは有効になり、選択されなかったオプション コンポーネントはクラスタの作成時にアンインストールされます。2.3以降のイメージ バージョン: Jupyter、Iceberg、Delta Lake のオプション コンポーネントを除くすべてのオプション コンポーネントは、クラスタの作成時にインストールされます。Jupyter、Iceberg、Delta Lake のオプション コンポーネントは、2.3以降のイメージ バージョンにプリインストールされています。2.3以降の画像モードのクラスタでは、クラスタの作成時に有効になっていない場合、プリインストールされたオプション コンポーネントは削除されます。詳細については、 Managed Service for Apache Spark 2.3.x リリース バージョンをご覧ください。
初期化アクション コンポーネント: クラスタの作成時に指定する初期化アクションの一部としてクラスタにインストールされるコンポーネント。
オプション コンポーネントは、 初期化アクション が実行される前にクラスタにインストールされます。
Managed Service for Apache Spark イメージ バージョン ページ には、最新の Managed Service for Apache Spark イメージ リリースで使用可能なコンポーネントとコンポーネント タイプが一覧表示されています。
オプション コンポーネントには、コンポーネントのインストールに使用される初期化アクションよりも次の利点があります。
- オプション コンポーネントは、特定の Managed Service for Apache Spark バージョンとの互換性がテストされています。
- オプション コンポーネントはクラスタ作成パラメータで有効になります。初期化アクションにはスクリプトが必要です。
利用可能なオプション コンポーネント
| オプション コンポーネント | Google Cloud CLI コマンドと API リクエストのコンポーネント名 |
イメージ バージョン | リリースのステージ |
|---|---|---|---|
| Delta Lake | DELTA | 2.2.46 以降 | GA |
| Docker | DOCKER | 1.5 以降 | GA |
| Flink | FLINK | 1.5 以降 | GA |
| HBase | HBASE | 1.5 以降 （2.1 以降では利用できません） |
非推奨 |
| Hive WebHCat | HIVE_WEBHCAT | 1.3 以降 | GA |
| Hudi | HUDI | 1.5 以降 | GA |
| Iceberg | ICEBERG | 2.2 以降 | GA |
| Jupyter ノートブック | JUPYTER | 1.3 以降 | GA |
| Pig | PIG | 1.5* 以降 | GA |
| Presto | PRESTO | 1.3 以降 （2.1 以降では利用できません） |
GA |
| Ranger | RANGER | 1.3 以降 | GA |
| Solr | SOLR | 1.3 以降 | GA |
| Trino | TRINO | 2.1 以降 | GA |
| Zeppelin ノートブック | ZEPPELIN | 1.3 以降 | GA |
| ZooKeeper | ZOOKEEPER | 1.0 以降 | GA |
注:
- Apache Pig は、イメージ バージョン 2.3 以降のオプション コンポーネントです。
2.2以前のイメージ バージョンではプリインストールされていました。
オプション コンポーネントを追加する
Google Cloud コンソール
- コンソールで、[**クラスタを作成**] ページを開きます。 Google Cloud
- [追加構成] をクリックしてセクションを開きます。
- [オプション コンポーネント] を編集します。
- 表示されたパネルで、クラスタにインストールするオプション コンポーネント のチェックボックスをオンにして、[保存] をクリックします。
gcloud CLI
Managed Service for Apache Spark クラスタを作成し、1 つ以上の
オプション コンポーネントをインストールするには、
gcloud beta dataproc clusters create cluster-name
コマンドを --optional-components フラグとともに使用します。
gcloud dataproc clusters create CLUSTER_NAME \ --optional-components=COMPONENT-NAME(s) \ ... other flags
REST API
Dataproc API でオプション コンポーネントを指定するには、clusters.create リクエストの一部として SoftwareConfig.Component を使用します。