カスタム制約を使用して Dataproc リソースを管理する

Google Cloud 組織のポリシーを使用すると、組織のリソースをプログラマティックに一元管理できます。組織のポリシー管理者は組織のポリシーを定義できます。組織のポリシーは、Google Cloud リソース階層内のGoogle Cloud リソースやそれらのリソースの子孫に適用される、制約と呼ばれる一連の制限です。組織のポリシーは、組織レベル、フォルダレベル、またはプロジェクトレベルで適用できます。

組織のポリシーは、さまざまなGoogle Cloud サービスに事前に定義された制約を提供します。ただし、組織のポリシーで制限されている特定のフィールドをきめ細かく制御する必要がある場合は、カスタム制約を作成して、カスタム組織ポリシーでそれらのカスタム制約を使用することもできます。

利点

カスタムの組織のポリシーを使用して、Dataproc クラスタでの特定のオペレーションを許可または拒否できます。たとえば、クラスタの作成または更新を行うリクエストが、組織のポリシーによって設定されたカスタム制約検証を満たしていない場合、リクエストは失敗し、エラーが呼び出し元に返されます。

ポリシーの継承

デフォルトでは、組織のポリシーは、そのポリシーを適用したリソースの子孫に継承されます。たとえば、フォルダにポリシーを適用した場合、 Google Cloud はそのフォルダ内のすべてのプロジェクトにそのポリシーを適用します。この動作の詳細と変更方法については、階層評価ルールをご覧ください。

料金

事前定義の組織のポリシーやカスタムの組織のポリシーを含め、組織のポリシーサービスは無料です。

始める前に

プロジェクトを設定する

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Install the Google Cloud CLI.

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Install the Google Cloud CLI.

外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

gcloud CLI を初期化するには、次のコマンドを実行します。

gcloud init

組織 ID を確認します。

必要なロール

組織のポリシーを管理するために必要な権限を取得するには、次の IAM ロールを付与するように管理者に依頼してください。

組織リソースに対する組織のポリシー管理者（roles/orgpolicy.policyAdmin）
Dataproc クラスタを作成または更新するには: プロジェクトリソースに対する Dataproc 管理者または Dataproc 編集者（roles/dataproc.admin または roles/dataproc.editor）

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

これらの事前定義ロールには、組織のポリシーの管理に必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

組織のポリシーを管理するには、次の権限が必要です。

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。

カスタム制約を作成する

カスタム制約は、適用されるリソース、メソッド、条件、アクションを使用して YAML ファイルで定義されます。Dataproc では、CLUSTER リソースの CREATE メソッドと UPDATE メソッドに適用されるカスタム制約がサポートされています（リソースとオペレーションに対する Dataproc の制約をご覧ください）。

Dataproc カスタム制約の YAML ファイルを作成するには:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

次のように置き換えます。

ORGANIZATION_ID: 組織 ID（123456789 など）。
CONSTRAINT_NAME: 新しいカスタム制約に付ける名前。カスタム制約は custom. で始まる必要があり、大文字、小文字、数字のみを含めることができます（例: custom.dataprocEnableComponentGateway）。このフィールドの最大長は 70 文字です。接頭辞はカウントされません（例: organizations/123456789/customConstraints/custom）。

METHOD: クラスタの作成制約を作成する場合は、CREATE を指定します。クラスタの UPDATE 制約を作成する場合は、次のように両方を指定します。
```
methodTypes:
- CREATE
- UPDATE
```
CONDITION: サポート対象のサービスリソースの表現に対して書き込まれる CEL 条件。このフィールドの最大長は 1,000 文字です。条件の書き込み先として使用できるリソースの詳細については、サポート対象のリソースをご覧ください。例: "resource.config.endpointConfig.enableHttpPortAccess==true"
ACTION: condition が満たされている場合に実行するアクション。ALLOW または DENY になります。
DISPLAY_NAME: 制約のわかりやすい名前（例: 「Dataproc コンポーネントゲートウェイの有効化を適用する」）。このフィールドの最大長は 200 文字です。
DESCRIPTION: ポリシー違反が発生したときにエラーメッセージとして表示される、制約のわかりやすい説明（例: 「コンポーネントゲートウェイが有効になっている場合にのみ Dataproc クラスタの作成を許可する」）。このフィールドの最大長は 2,000 文字です。

カスタム制約の作成方法については、カスタム制約の定義をご覧ください。

カスタム制約を設定する

コンソール

カスタム制約を作成する手順は次のとおりです。

Google Cloud コンソールで [組織のポリシー] ページに移動します。
[組織のポリシー] に移動
プロジェクト選択ツールで、組織のポリシーを設定するプロジェクトを選択します。
[ カスタム制約] をクリックします。
[表示名] ボックスに、制約の名前を人が読める形式で入力します。この名前はエラーメッセージで使用されるほか、識別やデバッグにも使用できます。エラーメッセージで漏えいする可能性があるため、表示名に個人情報（PII）や機密データを使用しないでください。このフィールドには、最大 200 文字まで入力できます。
[制約 ID] ボックスに、新しいカスタム制約の名前を入力します。カスタム制約の名前に使用できるのは、英字（大文字と小文字）と数字のみです（例: custom.disableGkeAutoUpgrade）。このフィールドには、接頭辞（custom.）を除き、最大 70 文字まで入力できます（例: organizations/123456789/customConstraints/custom）。エラーメッセージで漏えいする可能性があるため、制約 ID に個人情報（PII）や機密データを含めないでください。
[説明] ボックスに、制約の説明を人が読める形式で入力します。この説明は、ポリシー違反の際にエラーメッセージとして使用されます。ポリシー違反が発生した理由と、ポリシー違反を解決する方法に関する詳細を含めてください。エラーメッセージで漏えいする可能性があるため、説明に個人情報（PII）や機密データを含めないでください。このフィールドには、最大 2,000 文字まで入力できます。
[リソースの種類] ボックスで、制限するオブジェクトとフィールドを含む Google Cloud REST リソースの名前を選択します（例: container.googleapis.com/NodePool）。ほとんどの種類のリソースは、最大 20 個のカスタム制約をサポートしています。これより多くのカスタム制約を作成しようとすると、オペレーションは失敗します。
[適用方法] で、REST の CREATE メソッドに制約を適用するか、CREATE メソッドと UPDATE メソッドの両方に制約を適用するかを選択します。制約に違反するリソースに対する UPDATE メソッドに制約を適用した場合、そのリソースへの変更は、違反を解決するものでない限り、組織のポリシーによってブロックされます。

すべての Google Cloud サービスで両方のメソッドがサポートされているわけではありません。各サービスでサポートされているメソッドを確認するには、サポートされているサービスをご覧ください。

条件を定義するには、[ 条件を編集] をクリックします。

[条件を追加] パネルで、サポートされているサービスリソースを参照する CEL 条件を作成します（例: resource.management.autoUpgrade == false）。このフィールドには、最大 1,000 文字まで入力できます。CEL の使用方法の詳細については、Common Expression Language をご覧ください。カスタム制約で使用できるサービスリソースの詳細については、カスタム制約のサポートサービスをご覧ください。
[保存] をクリックします。

[アクション] で、条件が満たされた場合に評価対象のメソッドを許可するか拒否するかを選択します。

拒否アクションは、条件が true と評価された場合に、リソースを作成または更新するオペレーションがブロックされることを意味します。

許可アクションは、条件が true と評価された場合にのみ、リソースを作成または更新するオペレーションが許可されることを意味します。条件に明記されているケースを除き、他のケースはすべてブロックされます。

[制約を作成] をクリックします。

各フィールドに値を入力すると、このカスタム制約に対応する YAML 構成が右側に表示されます。

gcloud

カスタム制約を作成するには、次の形式で YAML ファイルを作成します。

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

次のように置き換えます。

ORGANIZATION_ID: 組織 ID（例: 123456789）。
CONSTRAINT_NAME: 新しいカスタム制約の名前。カスタム制約の名前に使用できるのは、英字（大文字と小文字）と数字のみです（例: custom.dataprocEnableComponentGateway）。このフィールドには、最大 70 文字まで入力できます。
RESOURCE_NAME: 制限するオブジェクトとフィールドを含む Google Cloudリソースの完全修飾名。例: cluster。
CONDITION: サポート対象のサービスリソースの表現に対して記述する CEL 条件。このフィールドには、最大 1,000 文字まで入力できます。例: "resource.config.endpointConfig.enableHttpPortAccess==true"。

条件を記述できるリソースの詳細については、サポートされているリソースをご覧ください。

ACTION: condition が満たされている場合に実行するアクション。ALLOW のみを設定できます。

許可アクションは、条件が true と評価された場合に、リソースを作成または更新するオペレーションが許可されることを意味します。つまり、条件に明記されているケースを除き、他のケースはすべてブロックされます。

DISPLAY_NAME: 制約の名前。わかりやすい名前を入力してください。このフィールドには、最大 200 文字まで入力できます。
DESCRIPTION: ポリシー違反の際にエラーメッセージとして表示される制約の説明。わかりやすい説明を入力してください。このフィールドには、最大 2,000 文字まで入力できます。

新しいカスタム制約の YAML ファイルを作成したら、組織内で組織のポリシーとして使用できるように設定する必要があります。カスタム制約を設定するには、gcloud org-policies set-custom-constraint コマンドを使用します。

        gcloud org-policies set-custom-constraint CONSTRAINT_PATH

CONSTRAINT_PATH は、カスタム制約ファイルのフルパスに置き換えます。例: /home/user/customconstraint.yaml。

この操作が完了すると、カスタム制約が Google Cloud の組織ポリシーのリストに表示され、組織のポリシーとして使用できるようになります。

カスタム制約が存在することを確認するには、gcloud org-policies list-custom-constraints コマンドを使用します。

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

ORGANIZATION_ID は組織リソースの ID に置き換えます。

詳細については、組織のポリシーの表示をご覧ください。

カスタム制約を適用する

コンソール

Google Cloud コンソールで [組織のポリシー] ページに移動します。
[組織のポリシー] に移動
プロジェクト選択ツールで、組織のポリシーを設定するプロジェクトを選択します。
[組織のポリシー] ページのリストで制約を選択して、その制約の [ポリシーの詳細] ページを表示します。
このリソースの組織のポリシーを構成するには、[ポリシーを管理] をクリックします。
[ポリシーの編集] ページで、[Override parent's policy] を選択します。
[ルールを追加] をクリックします。
[適用] セクションで、この組織のポリシーを適用するかどうかを選択します。
省略可: タグで組織のポリシーに条件を設定するには、[条件を追加] をクリックします。組織のポリシーに条件付きルールを追加する場合は、少なくとも 1 つは無条件のルールを追加する必要があります。そうしないとポリシーを保存できないのでご注意ください。詳細については、タグを使用した組織のポリシーの設定をご覧ください。
[変更内容をテスト] をクリックして、組織のポリシーの効果をシミュレートします。詳細については、Policy Simulator で組織のポリシーの変更をテストするをご覧ください。
ドライランモードで組織のポリシーを適用するには、[ドライランポリシーを設定] をクリックします。詳細については、ドライランモードで組織のポリシーを作成するをご覧ください。
ドライランモードで組織のポリシーが想定どおりに動作することを確認したら、[ポリシーを設定] をクリックして有効なポリシーを設定します。

gcloud

ブール値のルールを含む組織のポリシーを作成するには、制約を参照するポリシーの YAML ファイルを作成します。

        name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

次のように置き換えます。

PROJECT_ID: 制約を適用するプロジェクト。
CONSTRAINT_NAME: カスタム制約に定義した名前。例: custom.dataprocEnableComponentGateway。

ドライランモードで組織のポリシーを適用するには、dryRunSpec フラグを指定して次のコマンドを実行します。

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

POLICY_PATH は、組織のポリシーの YAML ファイルのフルパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

ドライランモードで組織のポリシーが想定どおりに動作することを確認したら、org-policies set-policy コマンドと spec フラグを使用して有効なポリシーを設定します。

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

POLICY_PATH は、組織のポリシーの YAML ファイルのフルパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

カスタム制約をテストする

次のクラスタ作成例では、カスタムの組織のポリシーが作成されて、クラスタの作成時に適用され、コンポーネントゲートウェイ（resource.config.endpointConfig.enableHttpPortAccess==true）を有効にする必要があることを前提としています。

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

出力例（デフォルトでは、Dataproc クラスタの作成時にコンポーネントゲートウェイは有効になりません）。

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

リソースとオペレーションに対する Dataproc の制約

次の Dataproc カスタム制約フィールドは、Dataproc クラスタを作成または更新する際に使用できます。クラスタを更新するときは、編集可能なクラスタパラメータに関連する制約のみがサポートされます（クラスタの更新をご覧ください）。

Compute Engine ネットワーク構成（networkUri、internalIpOnly、serviceAccount、metadata）
- resource.config.gceClusterConfig.networkUri
- resource.config.gceClusterConfig.internalIpOnly
- resource.config.gceClusterConfig.serviceAccount
- resource.config.gceClusterConfig.metadata
Compute Engine インスタンスグループ構成（imageUri と machineTypeUri）
- resource.config.masterConfig.imageUri
- resource.config.masterConfig.machineTypeUri
- resource.config.workerConfig.imageUri
- resource.config.workerConfig.machineTypeUri
- resource.config.secondaryWorkerConfig.imageUri
- resource.config.secondaryWorkerConfig.machineTypeUri
Compute Engine インスタンスグループのディスク構成（bootDiskType、bootDiskSizeGb、numLocalSsds、localSsdInterface）
- resource.config.masterConfig.diskConfig.bootDiskType
- resource.config.workerConfig.diskConfig.bootDiskType
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
- resource.config.masterConfig.diskConfig.bootDiskSizeGb
- resource.config.workerConfig.diskConfig.bootDiskSizeGb
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
- resource.config.masterConfig.diskConfig.numLocalSsds
- resource.config.workerConfig.diskConfig.numLocalSsds
- resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
- resource.config.masterConfig.diskConfig.localSsdInterface
- resource.config.workerConfig.diskConfig.localSsdInterface
- resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
初期化アクション（executableFile）
- resource.config.initializationActions.executableFile
ソフトウェア構成（imageVersion、properties、optionalComponents）
- resource.config.softwareConfig.imageVersion
- resource.config.softwareConfig.properties
- resource.config.softwareConfig.optionalComponents
Kerberos 構成（enableKerberos と crossRealmTrustKdc）
- resource.config.securityConfig.kerberosConfig.enableKerberos
- resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
コンポーネントゲートウェイ（enableHttpPortAccess）
- resource.config.endpointConfig.enableHttpPortAccess
Metastore 構成（dataprocMetastoreService）
- resource.config.metastoreConfig.dataprocMetastoreService
Persistent Disk CMEK（gcePdKmsKeyName）
- resource.config.encryptionConfig.gcePdKmsKeyName
クラスタラベル
- resource.labels
クラスタサイズ
- resource.config.masterConfig.numInstances
- resource.config.workerConfig.numInstances
- resource.config.secondaryWorkerConfig.numInstances
自動スケーリング
- resource.config.autoscalingConfig.policyUri
シールドされたインスタンスの構成（enableSecureBoot、enableVtpm、enableIntegrityMonitoring）
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBoot
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpm
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring

一般的なユースケースのカスタム制約の例

次の表に、カスタム制約の例を示します。

説明	制約の構文
クラスタの作成時または更新時に Dataproc ワーカーインスタンスの数を 10 以下に制限します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
Dataproc クラスタのプリエンプティブルワーカーでアプリケーションマスターが実行されないようにします。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
Dataproc クラスタでカスタム Hive プロパティを禁止します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
Dataproc マスターインスタンスで `n1-standard-2` マシンタイプの使用を禁止します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
指定した初期化アクションスクリプトの使用を適用します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
指定した永続ディスク暗号鍵の使用を適用します。	name: organizations/`ORGANIZATION_ID`/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
クラスタラベル制限を適用します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
デフォルト以外のネットワークの使用を適用します。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.

次のステップ

組織のポリシーの詳細について、組織のポリシーサービスの概要を確認する。
組織のポリシーの作成と管理の方法について学習する。
事前定義された組織のポリシーの制約の完全なリストを確認する。