Dataproc カスタムイメージを作成する

プリインストールされたパッケージを含むカスタムイメージを使用して Dataproc クラスタを作成できます。このページでは、カスタムイメージを作成して Dataproc クラスタにインストールする方法について説明します。

使用上の検討事項と制限事項

カスタムイメージの存続期間: クラスタが最新のサービス更新とバグ修正を確実に受け取れるようにするため、カスタムイメージを使用したクラスタの作成は、カスタムイメージの作成日から 365 日以内に制限されています。カスタムイメージを使用して作成された既存のクラスタは無期限に実行できます。

365 日を超える期間に特定のカスタムイメージを使用してクラスタを作成する場合は、自動化が必要になる場合があります。詳細については、期限切れのカスタムイメージを使用してクラスタを作成するをご覧ください。
Linux のみ: このドキュメントの説明は、Linux オペレーティングシステムにのみ適用されます。その他のオペレーティングシステムは、今後の Dataproc リリースでサポートされる可能性があります。
サポートされているベースイメージ: カスタムイメージのビルドは、Dataproc ベースイメージから開始する必要があります。サポートされているベースイメージは、Debian、Rocky Linux、Ubuntu です。
- ベースイメージの可用性: Dataproc リリースノートで通知された新しいイメージは、通知日から 1 週間経過するまで、カスタムイメージのベースとして使用できません。
オプションコンポーネントの使用
- 2.2 以前のベースイメージ: デフォルトでは、すべての Dataproc オプションコンポーネント（OS パッケージと構成）がカスタムイメージにインストールされます。OS パッケージのバージョンと構成をカスタマイズできます。
- 2.3 以降のベースイメージ: 選択したオプションコンポーネントのみがカスタムイメージにインストールされます（generate_custom_image.py --optional-components フラグを参照）。
カスタムイメージに使用するベースイメージに関係なく、クラスタを作成するときに、オプションのコンポーネントを一覧表示または選択する必要があります。

例: Google Cloud CLI クラスタの作成コマンド:
```
gcloud dataproc clusters create CLUSTER_NAME
    --image=CUSTOM_IMAGE_URI  \
    --optional-components=COMPONENT_NAME \
    ... other flags
```
クラスタを作成するときにコンポーネントを指定しないと、オプションコンポーネント（カスタムの OS パッケージと構成を含む）は削除されます。
ホストされているカスタムイメージの使用: 別のプロジェクトでホストされているカスタムイメージを使用する場合、プロジェクトの Dataproc サービスエージェントサービスアカウントにホストプロジェクトのイメージに対する compute.images.get 権限が必要です。この権限を付与するには、ホストされているイメージに対する roles/compute.imageUser ロールをプロジェクトの Dataproc サービスエージェントサービスアカウントに付与します（組織内でカスタムイメージを共有するを参照）。
セキュアブート MOK（マシン所有者キー）シークレットの使用: Dataproc カスタムイメージでセキュアブートを有効にするには、次の操作を行います。
1. Secret Manager API（secretmanager.googleapis.com）を有効にします。Dataproc では、鍵ペアの生成と管理に Secret Manager サービスを使用します。
2. カスタムイメージを生成するときに、generate_custom_image.py コマンドに --service-account="SERVICE_ACCOUNT" フラグを追加します。注: サービスアカウントに、プロジェクトに対する Secret Manager 閲覧者ロール（roles/secretmanager.viewer）と公開および非公開のシークレットに対する Secret Manager アクセサーロール（roles/secretmanager.secretAccessor）を付与する必要があります。
  
  例を含む詳細については、GitHub の GoogleCloudDataproc/custom-images リポジトリの examples/secure-boot ディレクトリにある README.md などのファイルをご覧ください。
  
  セキュアブートを無効にする方法: デフォルトでは、Dataproc カスタムイメージスクリプトを Dataproc クラスタから実行するとき、鍵ペアの生成と管理に Secret Manager が使用されます。カスタムイメージでセキュアブートを使用しない場合は、カスタムイメージを生成するときに、generate_custom_image.py コマンドに --trusted-cert=""（空のフラグ値）を含めます。

始める前に

カスタムイメージを生成する前に、プロジェクトを設定してください。

プロジェクトを設定する

アカウントにログインします。 Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでプロダクトがどのように機能するかを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API, Compute Engine API, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Google Cloud CLI をインストールします。

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します:

gcloud init

Python 3.11+ をインストールします。
カスタムパッケージのインストールまたは構成の更新を行うカスタマイズスクリプトを準備します。たとえば、次のようにします。
```
  #! /usr/bin/bash
  apt-get -y update
  apt-get install python-dev
  apt-get install python-pip
  pip install numpy
  
```

プロジェクトに Cloud Storage バケットを作成する

コンソールで Cloud Storage の Google Cloud [バケット] ページに移動します。
[バケット] に移動
[ [Create]] をクリックします。
[バケットの作成] ページでユーザーのバケット情報を入力します。次のステップに進むには、[続行] をクリックします。
1. [スタートガイド] セクションで、次の操作を行います。
  - バケット名の要件を満たす、グローバルに一意の名前を入力します。
  - バケットラベルを追加するには、[ラベル] セクション（）を開き、[ラベルを追加] をクリックして、key と value を指定します。
2. [データの保存場所の選択] セクションで、次の操作を行います。
  1. ロケーションタイプを選択してください。
  2. [Location type] プルダウンメニューから、バケットのデータが永続的に保存されるロケーションを選択します。
    - ロケーションタイプとして [デュアルリージョン] を選択した場合は、関連するチェックボックスを使用して [ターボレプリケーション] を有効にすることもできます。
  3. クロスバケットレプリケーションを設定するには、 [Storage Transfer Service 経由でクロスバケットレプリケーションを追加する] を選択し、次の手順を実施します:
    クロスバケットレプリケーションを設定する
    
    [バケット] メニューで、バケットを選択します。
    
    [レプリケーション設定] セクションで、[構成] をクリックして、レプリケーションジョブの設定を構成します。
    
    [**クロスバケットレプリケーションを構成する**] ペインが表示されます。
    
    オブジェクト名の接頭辞で複製するオブジェクトをフィルタするには、オブジェクトを追加または除外する接頭辞を入力し、 [接頭辞を追加] をクリックします。
    
    複製されたオブジェクトのストレージクラスを設定するには、 [Storage class] メニューからストレージクラスを選択します。この手順をスキップすると、複製されたオブジェクトはデフォルトで宛先バケットのストレージクラスを使用します。
    
    [完了] をクリックします。
3. [データの保存場所の選択] セクションで、次の操作を行います。
  1. バケットのデフォルトのストレージクラスを選択するか、バケットデータのストレージクラスを自動的に管理するAutoclassを選択します。
  2. 階層名前空間を有効にするには、 [データ量が多いワークロード向けにストレージを最適化] セクションで、 [このバケットで階層的な名前空間を有効にする] を選択します。
    注: 既存のバケットで階層名前空間を有効にすることはできません。
4. In the [オブジェクトへのアクセスを制御する方法を選択する] セクションで、バケットに公開アクセスの防止を適用するかどうかを選択し、バケットのオブジェクトに使用するアクセス制御方法を選択します。
  **注:** 組織の組織ポリシーでこの設定が適用されている場合、[**公開アクセスの防止**] 設定を変更することはできません。
5. [オブジェクトデータを保護する方法を選択する] セクションで、次の操作を行います。
  - [**データ保護**] で、バケットに設定するオプションを選択します。
    - 削除（復元可能）を有効にするには、 [削除（復元可能）ポリシー（データ復旧用）] チェックボックスをオンにして、削除後にオブジェクトを保持する日数を指定します。
    - オブジェクトのバージョニングを設定するには、 [オブジェクトのバージョニング（バージョン管理用）] チェックボックスをオンにして、オブジェクトごとの最大バージョン数と、非現行バージョンが期限切れになるまでの日数を指定します。
    - オブジェクトとバケットで保持ポリシーを有効にするには、[保持（コンプライアンス用）] チェックボックスをオンにして、次の操作を行います。
      - [オブジェクト保持ロック]を有効にするには、 [オブジェクト保持を有効にする]チェックボックスをオンにします。
      - [Bucket Lock] を有効にするには、[バケット保持ポリシーを設定する] チェックボックスをオンにして、保持期間の単位と保持期間を選択します。
  - オブジェクトデータの暗号化方法を選択するには、 [データ暗号化] セクション（）を開き、 [データの暗号化] 方法を選択します。
[作成] をクリックします。

カスタムイメージを生成する

Python プログラムの generate_custom_image.py を使用して、Dataproc カスタムイメージを作成します。

仕組み

generate_custom_image.py プログラムは、指定された Dataproc ベースイメージを使用して一時的な Compute Engine VM インスタンスを起動し、VM インスタンス内でカスタマイズスクリプトを実行して、カスタムパッケージのインストールと構成の更新を行います。カスタマイズスクリプトが完了すると、VM インスタンスがシャットダウンされ、VM インスタンスのディスクから Dataproc カスタムイメージが作成されます。一時的な VM は、カスタムイメージの作成後に削除されます。カスタムイメージは保存され、Dataproc クラスタを作成するために使用できます。

generate_custom_image.py プログラムは、gcloud CLI を使用して Compute Engine で複数ステップのワークフローを実行します。

コードを実行する

GitHub の Dataproc カスタムイメージで、ファイルをフォークまたはクローンします。

次に、generate_custom_image.py プログラムを実行し、Dataproc でカスタムイメージを生成して保存します。

python3 generate_custom_image.py \
    --image-name=CUSTOM_IMAGE_NAME \
    [--family=CUSTOM_IMAGE_FAMILY_NAME] \
    --dataproc-version=IMAGE_VERSION \
    --customization-script=LOCAL_PATH \
    --zone=ZONE \
    --gcs-bucket=gs://BUCKET_NAME \
    [--no-smoke-test]

必須フラグ

--image-name: カスタムイメージの出力名。

注: イメージ名は、正規表現 [a-z](?:[-a-z0-9]{0,61}[a-z0-9]) と一致する必要があります。アンダースコアやスペースは使用できません。また、63 文字以下にする必要があります。
--dataproc-version: カスタムイメージで使用する Dataproc イメージバージョン。バージョンは x.y.z-os または x.y.z-rc-os の形式で指定します（例: 2.0.69-debian10）。
カスタムイメージの制限: Dataproc リリースノートで通知された新しいイメージは、通知日から 1 週間経過するまで、カスタムイメージのベースとして使用できません。
--customization-script: ツールを実行したときに、カスタムパッケージのインストールや、その他のカスタマイズが行われるスクリプトのローカルパス。このスクリプトは、カスタムイメージの作成に使用される一時的な VM でのみ、Linux 起動スクリプトとして実行されます。カスタムイメージを使用してクラスタを作成するときに実行するその他の初期化アクションには、異なる初期化スクリプトを指定できます。

プロジェクト間のイメージ: カスタムイメージを使用して異なるプロジェクトにクラスタを作成すると、イメージ内に保存されている gcloud コマンドまたは gsutil コマンドのキャッシュが原因でエラーが発生することがあります。この問題を回避するには、カスタマイズスクリプトに次のコマンドを含めて、キャッシュに保存された認証情報を消去します。
```
rm -r /root/.gsutil /root/.config/gcloud
```
--zone: Compute Engine ゾーン。generate_custom_image.py は、カスタムイメージを作成するために使用する一時的な VM をこのゾーンに作成します。
--gcs-bucket: Cloud Storage バケットを指す gs://BUCKET_NAME 形式の URI。generate_custom_image.py は、このバケットにログファイルを書き込みます。

オプションフラグ

--family: カスタムイメージのイメージファミリー。イメージファミリーは、類似したイメージをグループ化するために使用されます。クラスタを作成するときに、ファミリー内の最新イメージへのポインタとして使用できます。例: custom-2-2-debian12
--no-smoke-test: 新しくビルドされたカスタムイメージのスモークテストを無効にするオプションフラグ。スモークテストでは、新しく作成されたイメージを使用して Dataproc のテストクラスタが作成され、小さいジョブが実行され、テストの終了時にクラスタが削除されます。スモークテストは、新しく作成されたカスタムイメージによって正常に機能する Dataproc クラスタを作成できることを検証するために、デフォルトで実行されます。--no-smoke-test フラグを使用すると、この手順を無効にできます。無効にすると、カスタムイメージのビルドプロセスは速くなりますが、おすすめしません。
--subnet: カスタム Dataproc イメージをビルドする VM の作成に使用するサブネットワーク。プロジェクトが共有 VPC の一部である場合、完全なサブネットワーク URL を projects/HOST_PROJECT_ID/regions/REGION/subnetworks/SUBNET の形式で指定する必要があります。
--optional-components: このフラグは、ベースイメージバージョン 2.3 以降を使用する場合にのみ使用できます。イメージにインストールするオプションコンポーネント（SOLR、RANGER、TRINO、DOCKER、FLINK、HIVE_WEBHCAT、ZEPPELIN、HUDI、ICEBERG、PIG など）のリスト（PIG はイメージバージョン 2.3 以降でオプションコンポーネントとして使用可能）。

注:Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成するときに、オプションのコンポーネントを一覧表示または選択する必要があります。
例: Google Cloud CLI クラスタの作成コマンド:
```
gcloud dataproc clusters create CLUSTER_NAME
    --image=CUSTOM_IMAGE_URI  \
    --optional-components=COMPONENT_NAME \
    ... other flags
```

使用可能なオプションフラグのリストについては、GithHub のオプションの引数をご覧ください。

generate_custom_image.py が正常に実行されると、カスタムイメージの imageURI がターミナルウィンドウの出力に表示されます（完全な imageUri が太字で示されています）。

...
managedCluster:
    clusterName: verify-image-20180614213641-8308a4cd
    config:
      gceClusterConfig:
        zoneUri: ZONE
      masterConfig:
        imageUri: https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

INFO:__main__:Successfully built Dataproc custom image: CUSTOM_IMAGE_NAME
INFO:__main__:

#####################################################################
  WARNING: DATAPROC CUSTOM IMAGE 'CUSTOM_IMAGE_NAME'
           WILL EXPIRE ON 2018-07-14 21:35:44.133000.
#####################################################################

カスタムイメージバージョンラベル（高度な使い方）

Dataproc の標準カスタムイメージツールを使用する場合、このツールによって、作成されたカスタムイメージに goog-dataproc-version ラベルが設定されます。このラベルは、Dataproc でイメージ上のソフトウェアを管理するために使用される機能と能力を反映しています。

高度な使い方: 独自のプロセスを使用してカスタム Dataproc イメージを作成する場合は、次のようにカスタムイメージに goog-dataproc-version ラベルを手動で追加する必要があります。

カスタムイメージの作成に使用されるベース Dataproc イメージから goog-dataproc-version ラベルを抽出します。

gcloud compute images describe ${BASE_DATAPROC_IMAGE} \
    --project cloud-dataproc \
    --format="value(labels.goog-dataproc-version)"

カスタムイメージにラベルを設定します。

gcloud compute images add-labels IMAGE_NAME --labels=[KEY=VALUE,...]

カスタムイメージを使用する

Dataproc クラスタを作成するときに、カスタムイメージを指定します。カスタムイメージは Cloud Compute イメージに保存され、作成日から 60 日間、Cloud Dataproc クラスタの作成に利用できます（60 日間の有効期限後にカスタムイメージを使用する方法については、期限切れのカスタムイメージを使用してクラスタを作成をご覧ください）。

カスタムイメージの URI

カスタムイメージの imageUri をクラスタ作成オペレーションに渡します。この URI は、次の 3 つのいずれかの方法で指定できます。

完全 URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/`gs://`BUCKET_NAME`
部分 URI: projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
略称: CUSTOM_IMAGE_NAME

カスタムイメージは、ファミリー URI で指定することもできます。これにより、イメージファミリー内の最新イメージが常に選択されます。

完全 URI:
https://www.googleapis.com/compute/beta/projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME/var>
部分 URI: projects/PROJECT_ID/global/images/family/CUSTOM_IMAGE_FAMILY_NAME

カスタムイメージの URI を見つける

Google Cloud CLI

次のコマンドを実行して、カスタムイメージの名前を一覧表示します。

gcloud compute images list

カスタムイメージの名前を次のコマンドに渡し、カスタムイメージの URI（selfLink）を一覧表示します。

gcloud compute images describe custom-image-name

出力スニペット:

...
name: CUSTOM_IMAGE_NAME
selfLink: https://www.googleapis.com/compute/v1/projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME
...

コンソール

Google Cloud コンソールで [Compute Engine] → [イメージ] ページを開き、イメージ名をクリックします。[filter images] フィールドにクエリを挿入して、表示されるイメージの数を制限できます。
[イメージの詳細] ページが開きます。[同等の REST] をクリックします。
REST レスポンスに、イメージの URI である selfLink など、イメージに関する詳細情報が一覧表示されます。
```
{
  ...
  "name": "my-custom-image",
  "selfLink": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME",
  "sourceDisk": ...,
  ...
}
```

カスタムイメージを使用してクラスタを作成する

gcloud CLI、Dataproc API、またはGoogle Cloud コンソールを使用してクラスタを作成します。

gcloud CLI

--image フラグを指定した dataproc clusters create コマンを実行し、カスタムイメージを使用して Dataproc クラスタを作成します。

例:

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM_IMAGE_URI \
    --region=REGION \
    ... other flags

REST API

カスタムイメージを使用してクラスタを作成するには、cluster.create API リクエストに含まれる masterConfig、workerConfig、および該当する場合は secondaryWorkerConfig の各オブジェクトの InstanceGroupConfig.imageUri フィールドにカスタムイメージの URI を指定します。

例: カスタムイメージで標準の Dataproc クラスタ（1 つのマスターノード、2 つのワーカーノード）を作成するための REST リクエスト。

POST /v1/projects/PROJECT_ID/regions/REGION/clusters/
{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "masterConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    },
    "workerConfig": {
      "imageUri": "projects/PROJECT_ID/global/images/CUSTOM_IMAGE_NAME"
    }
  }
}

コンソール

Dataproc の [クラスタの作成] ページを開きます。[クラスタの設定] パネルが選択されています。
[バージョニング] セクションで [変更] をクリックします。[カスタムイメージ] タブを選択し、Dataproc クラスタに使用するカスタムイメージを選択して、[選択] をクリックします。選択したカスタムイメージを使用してクラスタの VM がプロビジョニングされます。

カスタムイメージを使用して Dataproc クラスタプロパティをオーバーライドする

カスタムイメージを使用して、クラスタの作成時に設定されたクラスタプロパティを上書きできます。カスタムイメージを使用してクラスタを作成するとき、クラスタ作成オペレーションでカスタムイメージによって設定された値とは異なるプロパティ値が設定される場合、カスタムイメージによって設定されたプロパティ値が優先されます。

カスタムイメージを使用してクラスタプロパティを設定するには:

カスタムイメージのカスタマイズスクリプトで、/etc/google-dataproc に dataproc.custom.properties ファイルを作成し、そのファイルでクラスタのプロパティ値を設定します。
- サンプル dataproc.custom.properties ファイル
```
dataproc.conscrypt.provider.enable=VALUE
dataproc.logging.stackdriver.enable=VALUE
```
- 2 つのクラスタプロパティをオーバーライドするためのカスタマイズスクリプトファイル作成スニペットの例:
```
cat <<EOF >/etc/google-dataproc/dataproc.custom.properties
dataproc.conscrypt.provider.enable=true
dataproc.logging.stackdriver.enable=false
EOF
```

期限切れのカスタムイメージを使用してクラスタを作成する

デフォルトで、カスタムイメージはイメージの作成日から 365 日後に期限切れになります。次の手順に従って、期限切れのカスタムイメージを使用するクラスタを作成できます。

期限切れのカスタムイメージ、または 10 日以内に期限切れになるカスタムイメージを使用して、Dataproc クラスタの作成を試みます。
```
gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --region=REGION \
    ... other flags
```
gcloud CLI によって、クラスタのプロパティ名とトークン値 dataproc:dataproc.custom.image.expiration.token を含むエラーメッセージが発行されます。

dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE

TOKEN_VALUE 文字列をクリップボードにコピーします。

gcloud CLI を使用して、コピーした TOKEN_VALUE をクラスタのプロパティとして追加し、Dataproc クラスタをもう一度作成します。

gcloud dataproc clusters create CLUSTER-NAME \
    --image=CUSTOM-IMAGE-NAME \
    --properties=dataproc:dataproc.custom.image.expiration.token=TOKEN_VALUE \
    --region=REGION \
    ... other flags

これで、このカスタムイメージを使用してクラスタを作成できます。

Dataproc カスタム イメージを作成する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

使用上の検討事項と制限事項

始める前に

プロジェクトを設定する

プロジェクトに Cloud Storage バケットを作成する

クロスバケット レプリケーションを設定する

カスタム イメージを生成する

仕組み

コードを実行する

カスタム イメージ バージョン ラベル（高度な使い方）

カスタム イメージを使用する

カスタム イメージの URI

カスタム イメージの URI を見つける

Google Cloud CLI

コンソール

カスタム イメージを使用してクラスタを作成する

gcloud CLI

REST API

コンソール

カスタム イメージを使用して Dataproc クラスタ プロパティをオーバーライドする

期限切れのカスタム イメージを使用してクラスタを作成する

Dataproc カスタムイメージを作成する

クロスバケットレプリケーションを設定する

カスタムイメージを生成する

カスタムイメージバージョンラベル（高度な使い方）

カスタムイメージを使用する

カスタムイメージの URI

カスタムイメージの URI を見つける

カスタムイメージを使用してクラスタを作成する

カスタムイメージを使用して Dataproc クラスタプロパティをオーバーライドする

期限切れのカスタムイメージを使用してクラスタを作成する