Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
本頁面說明如何使用組織政策服務自訂限制,限制對下列 Google Cloud 資源執行的特定作業:
composer.googleapis.com/Environment
如要進一步瞭解組織政策,請參閱「自訂組織政策」。
關於組織政策和限制
Google Cloud 組織政策服務可讓您透過程式輔助,集中控管組織的資源。組織政策管理員可以定義組織政策,也就是一組稱為「限制」的限制,適用於Google Cloud 資源和這些資源在Google Cloud 資源階層中的子系。您可以在組織、資料夾或專案層級強制執行組織政策。
組織政策提供各種 Google Cloud 服務的內建代管限制。不過,如要更精細地自訂組織政策中受限的特定欄位,您也可以建立「自訂限制」,並用於組織政策。
政策繼承
根據預設,您強制執行政策的資源子系會繼承組織政策。例如,如果您對資料夾強制執行政策, Google Cloud 會對該資料夾中的所有專案強制執行政策。如要進一步瞭解這項行為及如何變更,請參閱「階層評估規則」。
優點
您可以透過自訂機構政策,允許或拒絕 Cloud Composer 資源的特定值。舉例來說,如果建立或更新 Cloud Composer 環境的要求,無法滿足機構政策設定的自訂限制驗證,要求就會失敗,並向呼叫端傳回錯誤。此外,使用自訂機構政策時:
提升安全性。舉例來說,您可以定義政策,禁止建立公開 IP 環境、啟用私人使用的公開 IP 位址,或指定特定網路和子網路的使用方式。
在建立或更新環境時,可精細控管要建立或使用的資源。
限制
與所有機構政策限制一樣,政策變更不會回溯套用至現有執行個體。
- 新政策不會影響現有的執行個體設定。
- 除非您使用Google Cloud 控制台、Google Cloud CLI 或 RPC,將現有執行個體設定從符合規範的值變更為不符合規範的值,否則該設定仍有效。
在資源的 UPDATE 方法類型上強制執行自訂機構政策前,請先確認現有環境是否符合各項政策。
由於一項更新作業只能更新一個欄位,如果現有環境的多個欄位同時違反政策,就可能發生死結。
如要避免死結,請採取下列任一做法:
(建議) 在對資源強制執行政策前,請先確保所有現有環境都符合政策規定。如要檢查現有環境中,哪些環境在政策強制執行後不符合規定,請使用政策模擬器。
停用政策強制執行功能,將現有環境更新為符合規範的狀態,然後重新強制執行政策。
事前準備
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Install the Google Cloud CLI.
-
若您採用的是外部識別資訊提供者 (IdP),請先使用聯合身分登入 gcloud CLI。
-
執行下列指令,初始化 gcloud CLI:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
Install the Google Cloud CLI.
-
若您採用的是外部識別資訊提供者 (IdP),請先使用聯合身分登入 gcloud CLI。
-
執行下列指令,初始化 gcloud CLI:
gcloud init - 請確認您知道組織 ID。
- 前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。
- 在專案選擇工具中,選取要設定組織政策的專案。
- 按一下「自訂限制」。
- 在「顯示名稱」方塊中,輸入容易理解的限制名稱。這個名稱會顯示在錯誤訊息中,可用於識別和偵錯。請勿在顯示名稱中使用 PII 或機密資料,因為錯誤訊息可能會顯示這類名稱。這個欄位最多可包含 200 個半形字元。
-
在「Constraint ID」(限制 ID) 方塊中,輸入新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字,例如
custom.disableGkeAutoUpgrade。這個欄位最多可包含 70 個字元,前置字元 (custom.) 不計入,例如organizations/123456789/customConstraints/custom。請勿在限制 ID 中輸入 PII 或機密資料,因為錯誤訊息可能會顯示上述資訊。 - 在「說明」方塊中,輸入使用者可理解的限制說明。違反政策時,系統會顯示這項說明做為錯誤訊息。請提供違反政策的詳細原因,以及如何解決問題。請勿在說明中輸入 PII 或機密資料,因為錯誤訊息可能會顯示上述資訊。這個欄位最多可輸入 2000 個字元。
-
在「Resource type」方塊中,選取包含要限制物件和欄位的 Google Cloud REST 資源名稱,例如
container.googleapis.com/NodePool。大多數資源類型最多支援 20 個自訂限制。如果嘗試建立更多自訂限制,作業會失敗。 - 在「強制執行方法」下方,選取要對 REST 「CREATE」方法強制執行限制,還是對「CREATE」和「UPDATE」方法都強制執行限制。如果您對違反限制的資源使用 UPDATE 方法強制執行限制,除非變更可解決違規問題,否則機構政策會封鎖對該資源的變更。
- 如要定義條件,請按一下「編輯條件」。
-
在「新增條件」面板中,建立參照支援服務資源的 CEL 條件,例如
resource.management.autoUpgrade == false。這個欄位最多可輸入 1,000 個半形字元。如要瞭解如何使用 CEL,請參閱「 一般運算語言」。如要進一步瞭解可在自訂限制中使用的服務資源,請參閱「 自訂限制支援的服務」。 - 按一下 [儲存]。
- 在「動作」下方,選取符合條件時要允許或拒絕評估方法。
- 按一下「建立限制」。
- 如要建立自訂限制,請使用下列格式建立 YAML 檔案:
-
ORGANIZATION_ID:您的機構 ID,例如123456789。 -
CONSTRAINT_NAME:新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字,例如custom.restrictEnvironmentSize。這個欄位最多可包含 70 個字元。 -
RESOURCE_NAME:內含您要限制的物件或欄位的 Google Cloud資源完整名稱,例如:composer.googleapis.com/Environment。 -
CONDITION:針對支援服務資源表示法所撰寫的 CEL 條件。這個欄位最多可輸入 1,000 個半形字元。例如:resource.config.environmentSize == "ENVIRONMENT_SIZE_SMALL"。 -
ACTION:符合condition時採取的動作。 可能的值為ALLOW和DENY。 -
DISPLAY_NAME:限制的易記名稱。這個欄位最多可包含 200 個半形字元。 -
DESCRIPTION:違反政策時,要以錯誤訊息形式顯示的限制說明。這個欄位最多可輸入 2000 個字元。 -
為新的自訂限制建立 YAML 檔案後,您必須加以設定,才能用於貴機構的組織政策。如要設定自訂限制,請使用
gcloud org-policies set-custom-constraint指令: -
如要確認是否存在自訂限制,請使用
gcloud org-policies list-custom-constraints指令: - 前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。
- 在專案選擇工具中,選取要設定組織政策的專案。
- 在「Organization policies」(組織政策) 頁面上的清單中選取限制,即可查看該限制的「Policy details」(政策詳細資料) 頁面。
- 如要為這項資源設定組織政策,請按一下「Manage policy」(管理政策)。
- 在「Edit policy」(編輯政策) 頁面中,選取「Override parent's policy」(覆寫上層政策)。
- 按一下「Add a rule」(新增規則)。
- 在「強制執行」部分中,選取是否要強制執行這項機構政策。
- 選用:如要根據標記設定組織政策條件,請按一下「Add condition」(新增條件)。請注意,如果為組織政策新增條件式規則,您必須至少新增一項無條件規則,否則無法儲存政策。詳情請參閱「 使用標記設定組織政策」一文。
- 按一下「Test changes」(測試變更),模擬組織政策的影響。詳情請參閱「 使用 Policy Simulator 測試組織政策變更」一文。
- 如要在模擬測試模式下強制執行組織政策,請按一下「設定模擬測試政策」。詳情請參閱「 以模擬測試模式建立組織政策」。
- 確認機構政策在模擬執行模式下運作正常後,請按一下「設定政策」,設定正式政策。
- 如要建立含有布林值規則的組織政策,請建立參照限制的政策 YAML 檔案:
-
PROJECT_ID:您要強制執行限制的專案。 -
CONSTRAINT_NAME:您為自訂限制定義的名稱,例如custom.restrictEnvironmentSize。 -
如要以模擬測試模式強制執行組織政策,請執行下列指令並加上
dryRunSpec旗標: -
確認模擬測試模式中的機構政策運作正常後,請使用
org-policies set-policy指令和spec旗標設定正式政策: - 組織 ID
- 您的專案 ID
將下列檔案儲存為
constraint-require-only-small-environments.yaml:name: organizations/ORGANIZATION_ID/customConstraints/custom.restrictEnvironmentSize resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE condition: resource.config.environmentSize == "ENVIRONMENT_SIZE_SMALL" actionType: ALLOW displayName: Only allow small Composer environments. description: All environments must be small.套用限制:
gcloud org-policies set-custom-constraint constraint-require-only-small-environments.yaml將下列檔案儲存為
policy-require-only-small-environments.yaml:name: projects/PROJECT_ID/policies/custom.restrictEnvironmentSize spec: rules: - enforce: true套用政策:
gcloud org-policies set-policy policy-require-only-small-environments.yaml
必要的角色
如要取得管理自訂組織政策所需的權限,請要求管理員授予組織資源的組織政策管理員 (roles/orgpolicy.policyAdmin) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
設定自訂限制
自訂限制是在 YAML 檔案中定義,其中包含您要強制執行組織政策的服務所支援的資源、方法、條件和動作。自訂限制的條件是使用一般運算語言 (CEL) 所定義。如要進一步瞭解如何使用 CEL 在自訂限制中建構條件,請參閱「建立及管理自訂限制」的 CEL 一節。
控制台
如要建立自訂限制,請按照下列步驟操作:
並非所有 Google Cloud 服務都支援這兩種方法。如要查看各項服務支援的方法,請在「 支援的服務」中找出該服務。
如果條件評估結果為 true,系統就會拒絕動作,也就是禁止建立或更新資源。
允許動作表示只有在條件評估為 true 時,才能建立或更新資源。除了條件中明確列出的情況外,所有其他情況都會遭到封鎖。
在每個欄位中輸入值後,右側會顯示這個自訂限制的對等 YAML 設定。
gcloud
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME resourceTypes: - RESOURCE_NAME methodTypes: - CREATE
- UPDATE condition: "CONDITION" actionType: ACTION displayName: DISPLAY_NAME description: DESCRIPTION
取代下列項目:
如要進一步瞭解可編寫條件的資源,請參閱「支援的資源」。
如果條件評估結果為 true,表示允許執行建立或更新資源的作業。這也表示系統會封鎖條件中明確列出的情況以外的所有其他情況。
如果條件評估結果為 true,系統會封鎖建立或更新資源的作業。
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
將 CONSTRAINT_PATH 替換成自訂限制檔案的完整路徑,例如:/home/user/customconstraint.yaml。
完成後,自訂限制就會顯示在 Google Cloud 組織政策清單中,供組織政策使用。
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
請將 ORGANIZATION_ID 替換成組織資源的 ID。
詳情請參閱「 查看組織政策」。
強制執行自訂組織政策
如要強制執行限制,請建立參照該限制的組織政策,然後將組織政策套用至 Google Cloud 資源。控制台
gcloud
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true dryRunSpec: rules: - enforce: true
取代下列項目:
gcloud org-policies set-policy POLICY_PATH \ --update-mask=dryRunSpec
將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。
gcloud org-policies set-policy POLICY_PATH \ --update-mask=spec
將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。
測試自訂組織政策
下列範例會建立自訂限制和政策,只允許小型 Cloud Composer 環境。
開始之前,請先確認您知曉下列資訊:
建立限制
建立政策
套用政策後,請等待約兩分鐘, Google Cloud就會開始強制執行政策。
測試政策
gcloud composer environments create ENVIRONMENT_NAME \
--location=LOCATION \
--image-version="composer-3-airflow-2.10.5-build.19" \
--environment-size=medium
由於現有限制只允許建立小型 Composer 環境,因此無法建立這個環境。
輸出結果會與下列內容相似:
You can't perform this action on a Composer environment due to Custom Organization Policy constraints set on your project. The following constraint(s) were violated: ["customConstraints/custom.restrictEnvironmentSize": All environments must be small.]
如要解決先前的錯誤,請建立小型環境。例如:
gcloud composer environments create ENVIRONMENT_NAME \
--location=LOCATION \
--image-version="composer-3-airflow-2.10.5-build.19" \
--environment-size=small
已順利開始建立環境。
常見用途的自訂組織政策範例
下表提供一些常見自訂限制的語法範例。
| 說明 | 限制語法 |
|---|---|
| 僅允許私人 IP Cloud Composer 環境 |
name: organizations/ORGANIZATION_ID/customConstraints/custom.allowOnlyPrivateIp resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE condition: resource.config.privateEnvironmentConfig.enablePrivateEnvironment == true actionType: ALLOW displayName: Only Private IP environments description: All environments must use Private IP networking |
| 工作站數量上限不得超過 10 |
name: organizations/ORGANIZATION_ID/customConstraints/custom.restrictMaxWorketCount resourceTypes: - composer.googleapis.com/Environment methodTypes: - CREATE - UPDATE condition: resource.config.workloadsConfig.worker.maxCount <= 10 actionType: ALLOW displayName: Limit the maximum number of workers description: All environments must have 10 or less workers |
Cloud Composer 支援的資源
下表列出可在自訂限制中參照的 Cloud Composer 資源。| 資源 | 欄位 |
|---|---|
| composer.googleapis.com/Environment |
resource.config.environmentSize
|
resource.config.maintenanceWindow.recurrence
| |
resource.config.masterAuthorizedNetworksConfig.enabled
| |
resource.config.nodeConfig.enableIpMasqAgent
| |
resource.config.nodeConfig.network
| |
resource.config.nodeConfig.serviceAccount
| |
resource.config.nodeConfig.subnetwork
| |
resource.config.privateEnvironmentConfig.cloudComposerConnectionSubnetwork
| |
resource.config.privateEnvironmentConfig.enablePrivateBuildsOnly
| |
resource.config.privateEnvironmentConfig.enablePrivateEnvironment
| |
resource.config.privateEnvironmentConfig.enablePrivatelyUsedPublicIps
| |
resource.config.privateEnvironmentConfig.networkingConfig.connectionType
| |
resource.config.privateEnvironmentConfig.privateClusterConfig.enablePrivateEndpoint
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.enabled
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.snapshotCreationSchedule
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.snapshotLocation
| |
resource.config.recoveryConfig.scheduledSnapshotsConfig.timeZone
| |
resource.config.resilienceMode
| |
resource.config.softwareConfig.cloudDataLineageIntegration.enabled
| |
resource.config.softwareConfig.imageVersion
| |
resource.config.softwareConfig.webServerPluginsMode
| |
resource.config.workloadsConfig.dagProcessor.count
| |
resource.config.workloadsConfig.dagProcessor.cpu
| |
resource.config.workloadsConfig.dagProcessor.memoryGb
| |
resource.config.workloadsConfig.dagProcessor.storageGb
| |
resource.config.workloadsConfig.scheduler.count
| |
resource.config.workloadsConfig.scheduler.cpu
| |
resource.config.workloadsConfig.scheduler.memoryGb
| |
resource.config.workloadsConfig.scheduler.storageGb
| |
resource.config.workloadsConfig.triggerer.count
| |
resource.config.workloadsConfig.triggerer.cpu
| |
resource.config.workloadsConfig.triggerer.memoryGb
| |
resource.config.workloadsConfig.webServer.cpu
| |
resource.config.workloadsConfig.webServer.memoryGb
| |
resource.config.workloadsConfig.webServer.storageGb
| |
resource.config.workloadsConfig.worker.cpu
| |
resource.config.workloadsConfig.worker.maxCount
| |
resource.config.workloadsConfig.worker.memoryGb
| |
resource.config.workloadsConfig.worker.minCount
| |
resource.config.workloadsConfig.worker.storageGb
| |
resource.name
|