Managed Service for Apache Spark のオプションの Pig コンポーネント

Managed Service for Apache Spark クラスタを作成する際には、オプション コンポーネント 機能を使用して、Apache Pig などの追加コンポーネントをインストールできます。このページでは、大規模なデータセットを分析するためのオープンソース プラットフォームである Pig コンポーネントについて説明します。

コンポーネントをインストールする

Managed Service for Apache Spark クラスタを作成するときに、コンポーネントをインストールします。

Apache Pig は、Managed Service for Apache Spark 2.3 以降のイメージ バージョンのオプション コンポーネントです。

最新の Managed Service for Apache Spark イメージ リリースに含まれるコンポーネント バージョンについては、 サポートされている Managed Service for Apache Spark バージョン をご覧ください。

Google Cloud コンソール

  1. コンソールで、[クラスタの作成] ページを開きます。 Google Cloud
  2. [追加構成] をクリックしてセクションを開きます。
  3. [オプション コンポーネント] を編集します。
  4. 表示されるパネルで、[Pig] のチェックボックスをオンにして、 [保存] をクリックします。

gcloud CLI

Pig コンポーネントを組み込んだ Managed Service for Apache Spark クラスタを作成するには、 gcloud dataproc clusters create CLUSTER_NAME コマンドを --optional-components フラグとともに使用します(イメージ バージョン 2.3 以降を使用)。

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --optional-components=PIG \
    --image-version=2.3 \
    ... other flags

REST API

Dataproc API を使用して Pig コンポーネントを指定するには、SoftwareConfig.Componentclusters.create リクエストの一部として使用します。