本頁面由 Cloud Translation API 翻譯而成。

使用自訂限制條件管理 Dataproc 資源

Google Cloud 組織政策可讓您透過程式，集中控管組織的資源。組織政策管理員可以定義組織政策，也就是一組稱為「限制」的限制，適用於Google Cloud 資源和這些資源在Google Cloud 資源階層中的子系。您可以在機構、資料夾或專案層級強制執行組織政策。

組織政策提供各種Google Cloud 服務的預先定義限制。不過，如要更精細地自訂組織政策中受限的特定欄位，您也可以建立「自訂限制」，並用於自訂組織政策。

優點

您可以使用自訂機構政策，允許或拒絕對 Dataproc 叢集執行特定作業。舉例來說，如果建立或更新叢集的要求未通過機構政策設定的自訂限制驗證，要求就會失敗，並向呼叫端傳回錯誤。

政策繼承

根據預設，您強制執行政策的資源子系會繼承組織政策。例如，如果您對資料夾強制執行政策， Google Cloud 會對該資料夾中的所有專案強制執行政策。如要進一步瞭解這項行為及如何變更，請參閱「階層評估規則」。

定價

機構政策服務 (包括預先定義和自訂機構政策) 免費提供。

事前準備

設定專案

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Install the Google Cloud CLI.

若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

執行下列指令，初始化 gcloud CLI：

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataproc API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Install the Google Cloud CLI.

若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

執行下列指令，初始化 gcloud CLI：

gcloud init

請確認您知道組織 ID。

必要的角色

如要取得管理組織政策所需的權限，請要求管理員授予您下列 IAM 角色：

機構資源的機構政策管理員 (roles/orgpolicy.policyAdmin)
如要建立或更新 Dataproc 叢集： Dataproc 管理員或 Dataproc 編輯者 (roles/dataproc.admin 或 roles/dataproc.editor) 專案資源

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備管理組織政策所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要管理組織政策，必須具備下列權限：

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

建立自訂限制

自訂限制是在 YAML 檔案中定義，其中包含限制適用的資源、方法、條件和動作。Dataproc 支援套用至 CLUSTER 資源 CREATE 和 UPDATE 方法的自訂限制 (請參閱資源和作業的 Dataproc 限制)。

如要為 Dataproc 自訂限制建立 YAML 檔案，請按照下列步驟操作：

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

更改下列內容：

ORGANIZATION_ID：組織 ID，例如 123456789。
CONSTRAINT_NAME：新自訂限制的名稱。自訂限制必須以 custom. 開頭，且只能包含大/小寫英文字母或數字，例如 custom.dataprocEnableComponentGateway。這個欄位的長度上限為 70 個字元，不含前置字元，例如 organizations/123456789/customConstraints/custom。

METHOD：建立叢集建立限制時，請指定 CREATE。建立叢集 UPDATE 限制時，請一併指定這兩項，如下所示：
```
methodTypes:
- CREATE
- UPDATE
```
CONDITION：針對支援服務資源表示法所撰寫的 CEL 條件。這個欄位的長度上限為 1,000 個字元。如要進一步瞭解可編寫條件的資源，請參閱「支援的資源」。例如："resource.config.endpointConfig.enableHttpPortAccess==true"。
ACTION：符合 condition 時採取動作。可以是 ALLOW 或 DENY。
DISPLAY_NAME：限制的易記名稱，例如「強制啟用 Dataproc 元件閘道」。這個欄位的長度上限為 200 個字元。
DESCRIPTION：違反政策時，要以錯誤訊息形式顯示的限制說明，例如「只有在啟用元件閘道時，才允許建立 Dataproc 叢集」。這個欄位的長度上限為 2,000 個字元。

如要進一步瞭解如何建立自訂限制，請參閱「定義自訂限制」。

設定自訂限制

控制台

如要建立自訂限制，請按照下列步驟操作：

前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。
前往組織政策
在專案選擇工具中，選取要設定組織政策的專案。
按一下「自訂限制」。
在「顯示名稱」方塊中，輸入容易理解的限制名稱。這個名稱會顯示在錯誤訊息中，可用於識別和偵錯。請勿在顯示名稱中使用 PII 或機密資料，因為錯誤訊息可能會顯示這類名稱。這個欄位最多可包含 200 個半形字元。
在「Constraint ID」(限制 ID) 方塊中，輸入新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字，例如 custom.disableGkeAutoUpgrade。這個欄位最多可包含 70 個字元，前置字元 (custom.) 不計入，例如 organizations/123456789/customConstraints/custom。請勿在限制 ID 中輸入 PII 或機密資料，因為錯誤訊息可能會顯示上述資訊。
在「說明」方塊中，輸入使用者可理解的限制說明。違反政策時，系統會顯示這項說明做為錯誤訊息。請提供違反政策的詳細原因，以及如何解決問題。請勿在說明中輸入 PII 或機密資料，因為錯誤訊息可能會顯示上述資訊。這個欄位最多可輸入 2000 個字元。
在「Resource type」方塊中，選取包含要限制物件和欄位的 Google Cloud REST 資源名稱，例如 container.googleapis.com/NodePool。大多數資源類型最多支援 20 個自訂限制。如果嘗試建立更多自訂限制，作業會失敗。
在「強制執行方法」下方，選取要對 REST 「CREATE」方法強制執行限制，還是對「CREATE」和「UPDATE」方法都強制執行限制。如果您對違反限制的資源使用 UPDATE 方法強制執行限制，除非變更可解決違規問題，否則機構政策會封鎖對該資源的變更。

並非所有 Google Cloud 服務都支援這兩種方法。如要查看各項服務支援的方法，請在「支援的服務」中找出該服務。

如要定義條件，請按一下「編輯條件」。

在「新增條件」面板中，建立參照支援服務資源的 CEL 條件，例如 resource.management.autoUpgrade == false。這個欄位最多可輸入 1,000 個半形字元。如要瞭解如何使用 CEL，請參閱「一般運算語言」。如要進一步瞭解可在自訂限制中使用的服務資源，請參閱「自訂限制支援的服務」。
按一下 [儲存]。

在「動作」下方，選取符合條件時要允許或拒絕評估方法。

如果條件評估結果為 true，系統就會拒絕動作，也就是禁止建立或更新資源。

允許動作表示只有在條件評估為 true 時，才能建立或更新資源。除了條件中明確列出的情況外，所有其他情況都會遭到封鎖。

按一下「建立限制」。

在每個欄位中輸入值後，右側會顯示這個自訂限制的對等 YAML 設定。

gcloud

如要建立自訂限制，請使用下列格式建立 YAML 檔案：

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

取代下列項目：

ORGANIZATION_ID：您的機構 ID，例如 123456789。
CONSTRAINT_NAME：新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字，例如 custom.dataprocEnableComponentGateway。這個欄位最多可包含 70 個字元。
RESOURCE_NAME：內含您要限制的物件或欄位的 Google Cloud資源完整名稱，例如： cluster。
CONDITION：針對支援服務資源表示法所撰寫的 CEL 條件。這個欄位最多可輸入 1,000 個半形字元。例如： "resource.config.endpointConfig.enableHttpPortAccess==true"。

如要進一步瞭解可編寫條件的資源，請參閱「支援的資源」。

ACTION：符合 condition 時採取的動作。只能是 ALLOW。

如果條件評估結果為 true，表示允許執行建立或更新資源的作業。這也表示系統會封鎖條件中明確列出的情況以外的所有其他情況。

DISPLAY_NAME：限制的易記名稱。這個欄位最多可包含 200 個半形字元。
DESCRIPTION：違反政策時，要以錯誤訊息形式顯示的限制說明。這個欄位最多可輸入 2000 個字元。

為新的自訂限制建立 YAML 檔案後，您必須加以設定，才能用於貴機構的組織政策。如要設定自訂限制，請使用 gcloud org-policies set-custom-constraint 指令：

        gcloud org-policies set-custom-constraint CONSTRAINT_PATH

將 CONSTRAINT_PATH 替換成自訂限制檔案的完整路徑，例如：/home/user/customconstraint.yaml。

完成後，自訂限制就會顯示在 Google Cloud 組織政策清單中，供組織政策使用。

如要確認是否存在自訂限制，請使用 gcloud org-policies list-custom-constraints 指令：

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

請將 ORGANIZATION_ID 替換成組織資源的 ID。

詳情請參閱「查看組織政策」。

強制執行自訂限制

控制台

前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。
前往組織政策
在專案選擇工具中，選取要設定組織政策的專案。
在「Organization policies」(組織政策) 頁面上的清單中選取限制，即可查看該限制的「Policy details」(政策詳細資料) 頁面。
如要為這項資源設定組織政策，請按一下「Manage policy」(管理政策)。
在「Edit policy」(編輯政策) 頁面中，選取「Override parent's policy」(覆寫上層政策)。
按一下「Add a rule」(新增規則)。
在「強制執行」部分中，選取是否要強制執行這項機構政策。
選用：如要根據標記設定組織政策條件，請按一下「Add condition」(新增條件)。請注意，如果為組織政策新增條件式規則，您必須至少新增一項無條件規則，否則無法儲存政策。詳情請參閱「使用標記設定組織政策」一文。
按一下「Test changes」(測試變更)，模擬組織政策的影響。詳情請參閱「使用 Policy Simulator 測試組織政策變更」一文。
如要在模擬測試模式下強制執行組織政策，請按一下「設定模擬測試政策」。詳情請參閱「以模擬測試模式建立組織政策」。
確認機構政策在模擬執行模式下運作正常後，請按一下「設定政策」，設定正式政策。

gcloud

如要建立含有布林值規則的組織政策，請建立參照限制的政策 YAML 檔案：

        name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

取代下列項目：

PROJECT_ID：您要強制執行限制的專案。
CONSTRAINT_NAME：您為自訂限制定義的名稱，例如 custom.dataprocEnableComponentGateway。

如要以模擬測試模式強制執行組織政策，請執行下列指令並加上 dryRunSpec 旗標：

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。

確認模擬測試模式中的機構政策運作正常後，請使用 org-policies set-policy 指令和 spec 旗標設定正式政策：

        gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。

測試自訂限制

下列叢集建立範例假設已建立自訂機構政策，並在叢集建立時強制執行，要求啟用元件閘道 (resource.config.endpointConfig.enableHttpPortAccess==true)。

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

輸出內容範例 (根據預設，建立 Dataproc 叢集時不會啟用元件閘道)：

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Dataproc 資源和作業的限制

建立或更新 Dataproc 叢集時，可以使用下列 Dataproc 自訂限制欄位。請注意，更新叢集時，系統只支援與可編輯叢集參數相關的限制 (請參閱「更新叢集」)。

Compute Engine 網路設定 (networkUri、internalIpOnly、serviceAccount 和 metadata)
- resource.config.gceClusterConfig.networkUri
- resource.config.gceClusterConfig.internalIpOnly
- resource.config.gceClusterConfig.serviceAccount
- resource.config.gceClusterConfig.metadata
Compute Engine 執行個體群組設定 (imageUri 和 machineTypeUri)
- resource.config.masterConfig.imageUri
- resource.config.masterConfig.machineTypeUri
- resource.config.workerConfig.imageUri
- resource.config.workerConfig.machineTypeUri
- resource.config.secondaryWorkerConfig.imageUri
- resource.config.secondaryWorkerConfig.machineTypeUri
Compute Engine 執行個體群組磁碟設定 (bootDiskType、bootDiskSizeGb、numLocalSsds 和 localSsdInterface)
- resource.config.masterConfig.diskConfig.bootDiskType
- resource.config.workerConfig.diskConfig.bootDiskType
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
- resource.config.masterConfig.diskConfig.bootDiskSizeGb
- resource.config.workerConfig.diskConfig.bootDiskSizeGb
- resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
- resource.config.masterConfig.diskConfig.numLocalSsds
- resource.config.workerConfig.diskConfig.numLocalSsds
- resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
- resource.config.masterConfig.diskConfig.localSsdInterface
- resource.config.workerConfig.diskConfig.localSsdInterface
- resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
初始化動作 (executableFile)
- resource.config.initializationActions.executableFile
軟體設定 (imageVersion、properties 和 optionalComponents)
- resource.config.softwareConfig.imageVersion
- resource.config.softwareConfig.properties
- resource.config.softwareConfig.optionalComponents
Kerberos 設定 (enableKerberos 和 crossRealmTrustKdc)
- resource.config.securityConfig.kerberosConfig.enableKerberos
- resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
元件閘道 (enableHttpPortAccess)
- resource.config.endpointConfig.enableHttpPortAccess
中繼存放區設定 (dataprocMetastoreService)
- resource.config.metastoreConfig.dataprocMetastoreService
Persistent Disk CMEK (gcePdKmsKeyName)
- resource.config.encryptionConfig.gcePdKmsKeyName
叢集標籤
- resource.labels
叢集大小
- resource.config.masterConfig.numInstances
- resource.config.workerConfig.numInstances
- resource.config.secondaryWorkerConfig.numInstances
自動調度資源
- resource.config.autoscalingConfig.policyUri
受防護的執行個體設定 (enableSecureBoot、enableVtpm 和 enableIntegrityMonitoring)
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableSecureBoot
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableVtpm
- resource.config.gceClusterConfig.shieldedInstanceConfig.enableIntegrityMonitoring

常見用途的自訂限制範例

下表提供自訂限制的範例：

說明	限制語法
建立或更新叢集時，請將 Dataproc 工作站執行個體數量限制在 10 個以下。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers.
防止應用程式主要執行個體在 Dataproc 叢集先占工作站上執行。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true".
禁止在 Dataproc 叢集上使用自訂 Hive 屬性。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:".
禁止 Dataproc 主執行個體使用 `n1-standard-2` 機器類型。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
強制使用指定的初始化動作指令碼。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used.
強制使用指定的永久磁碟加密金鑰。	name: organizations/`ORGANIZATION_ID`/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
強制執行叢集標籤限制。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
強制使用非預設網路。	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network.

後續步驟

如要進一步瞭解機構政策，請參閱「機構政策服務簡介」。
進一步瞭解如何建立及管理組織政策。
請參閱預先定義的機構政策限制完整清單。