使用自訂機構政策限制對 GKE 資源執行的動作

本頁面說明如何使用組織政策服務自訂限制，限制對下列 Google Cloud 資源執行的特定作業：

  • container.googleapis.com/Cluster
  • container.googleapis.com/NodePool

如要進一步瞭解組織政策，請參閱「自訂組織政策」。

關於組織政策和限制

Google Cloud 組織政策服務可讓您透過程式輔助，集中控管組織的資源。組織政策管理員可以定義組織政策，也就是一組稱為「限制」的限制，適用於Google Cloud 資源和這些資源在Google Cloud 資源階層中的子系。您可以在組織、資料夾或專案層級強制執行組織政策。

組織政策提供各種 Google Cloud 服務的內建代管限制。不過，如要更精細地自訂組織政策中受限的特定欄位，您也可以建立「自訂限制」，並用於組織政策。

政策繼承

根據預設，您強制執行政策的資源子系會繼承組織政策。例如，如果您對資料夾強制執行政策， Google Cloud 會對該資料夾中的所有專案強制執行政策。如要進一步瞭解這項行為及如何變更，請參閱「階層評估規則」。

限制

系統不支援下列僅限輸出的欄位：

  • projects.locations.clusters.masterAuth.clientKey
  • projects.locations.clusters.masterAuth.password

事前準備

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. 若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

  6. 執行下列指令，初始化 gcloud CLI：

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. 若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

  11. 執行下列指令，初始化 gcloud CLI：

    gcloud init
  12. 請確認您知道組織 ID。

    13. 必要的角色

    如要取得透過 GKE 使用組織政策所需的權限，請要求管理員授予下列 IAM 角色：

    如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

    您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

    設定自訂限制

    自訂限制是在 YAML 檔案中定義，其中包含您要強制執行組織政策的服務所支援的資源、方法、條件和動作。自訂限制的條件是使用一般運算語言 (CEL) 所定義。如要進一步瞭解如何使用 CEL 在自訂限制中建構條件，請參閱「建立及管理自訂限制」的 CEL 一節。

    控制台

    如要建立自訂限制，請按照下列步驟操作：

    1. 前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。

      前往組織政策

    2. 在專案選擇工具中，選取要設定組織政策的專案。
    3. 按一下「自訂限制」。
    4. 在「顯示名稱」方塊中，輸入容易理解的限制名稱。這個名稱會顯示在錯誤訊息中，可用於識別和偵錯。請勿在顯示名稱中使用 PII 或機密資料，因為錯誤訊息可能會顯示這類名稱。這個欄位最多可包含 200 個半形字元。
    5. 在「Constraint ID」(限制 ID) 方塊中，輸入新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字，例如 custom.disableGkeAutoUpgrade。這個欄位最多可包含 70 個字元，前置字元 (custom.) 不計入，例如 organizations/123456789/customConstraints/custom。請勿在限制 ID 中輸入 PII 或機密資料，因為錯誤訊息可能會顯示上述資訊。
    6. 在「說明」方塊中，輸入使用者可理解的限制說明。違反政策時，系統會顯示這項說明做為錯誤訊息。請提供違反政策的詳細原因，以及如何解決問題。請勿在說明中輸入 PII 或機密資料，因為錯誤訊息可能會顯示上述資訊。這個欄位最多可輸入 2000 個字元。
    7. 在「Resource type」方塊中，選取包含要限制物件和欄位的 Google Cloud REST 資源名稱，例如 container.googleapis.com/NodePool。大多數資源類型最多支援 20 個自訂限制。如果嘗試建立更多自訂限制，作業會失敗。
    8. 在「強制執行方法」下方，選取要對 REST 「CREATE」方法強制執行限制，還是對「CREATE」和「UPDATE」方法都強制執行限制。如果您對違反限制的資源使用 UPDATE 方法強制執行限制，除非變更可解決違規問題，否則機構政策會封鎖對該資源的變更。

      9. 並非所有 Google Cloud 服務都支援這兩種方法。如要查看各項服務支援的方法，請在「 支援的服務」中找出該服務。

    9. 如要定義條件，請按一下「編輯條件」。
      1. 在「新增條件」面板中，建立參照支援服務資源的 CEL 條件，例如 resource.management.autoUpgrade == false。這個欄位最多可輸入 1,000 個半形字元。如要瞭解如何使用 CEL，請參閱「 一般運算語言」。如要進一步瞭解可在自訂限制中使用的服務資源，請參閱「 自訂限制支援的服務」。
      2. 按一下 [儲存]。
    10. 在「動作」下方，選取符合條件時要允許或拒絕評估方法。

      11. 如果條件評估結果為 true，系統就會拒絕動作，也就是禁止建立或更新資源。

      允許動作表示只有在條件評估為 true 時，才能建立或更新資源。除了條件中明確列出的情況外，所有其他情況都會遭到封鎖。

    11. 按一下「建立限制」。

      12. 在每個欄位中輸入值後，右側會顯示這個自訂限制的對等 YAML 設定。

    gcloud

    1. 如要建立自訂限制，請使用下列格式建立 YAML 檔案： 
      2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
      - UPDATE       
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

      取代下列項目：

      • ORGANIZATION_ID：您的機構 ID，例如 123456789。
      • CONSTRAINT_NAME：新自訂限制的名稱。自訂限制只能包含字母 (包括大寫和小寫) 或數字，例如 custom.enableGkeAutopilot。這個欄位最多可包含 70 個字元。
      • RESOURCE_NAME：內含您要限制的物件或欄位的 Google Cloud資源完整名稱，例如： container.googleapis.com/Cluster。
      • CONDITION：針對支援服務資源表示法所撰寫的 CEL 條件。這個欄位最多可輸入 1,000 個半形字元。例如： "resource.autopilot.enabled == false"。

        • 如要進一步瞭解可編寫條件的資源，請參閱「支援的資源」。

      • ACTION：符合 condition 時採取的動作。 可能的值為 ALLOW 和 DENY。

        • 如果條件評估結果為 true，表示允許執行建立或更新資源的作業。這也表示系統會封鎖條件中明確列出的情況以外的所有其他情況。

        如果條件評估結果為 true，系統會封鎖建立或更新資源的作業。

      • DISPLAY_NAME：限制的易記名稱。這個欄位最多可包含 200 個半形字元。
      • DESCRIPTION：違反政策時，要以錯誤訊息形式顯示的限制說明。這個欄位最多可輸入 2000 個字元。
    2. 為新的自訂限制建立 YAML 檔案後，您必須加以設定，才能用於貴機構的組織政策。如要設定自訂限制，請使用 gcloud org-policies set-custom-constraint 指令：
      3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

      將 CONSTRAINT_PATH 替換成自訂限制檔案的完整路徑，例如：/home/user/customconstraint.yaml。

      完成後，自訂限制就會顯示在 Google Cloud 組織政策清單中，供組織政策使用。

    3. 如要確認是否存在自訂限制，請使用 gcloud org-policies list-custom-constraints 指令：
      4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      請將 ORGANIZATION_ID 替換成組織資源的 ID。

      詳情請參閱「 查看組織政策」。

    強制執行自訂組織政策

    如要強制執行限制，請建立參照該限制的組織政策，然後將組織政策套用至 Google Cloud 資源。

    控制台

    1. 前往 Google Cloud 控制台的「Organization policies」(組織政策) 頁面。

      前往組織政策

    2. 在專案選擇工具中，選取要設定組織政策的專案。
    3. 在「Organization policies」(組織政策) 頁面上的清單中選取限制，即可查看該限制的「Policy details」(政策詳細資料) 頁面。
    4. 如要為這項資源設定組織政策，請按一下「Manage policy」(管理政策)。
    5. 在「Edit policy」(編輯政策) 頁面中，選取「Override parent's policy」(覆寫上層政策)。
    6. 按一下「Add a rule」(新增規則)。
    7. 在「強制執行」部分中，選取是否要強制執行這項機構政策。
    8. 選用：如要根據標記設定組織政策條件，請按一下「Add condition」(新增條件)。請注意，如果為組織政策新增條件式規則，您必須至少新增一項無條件規則，否則無法儲存政策。詳情請參閱「 使用標記設定組織政策」一文。
    9. 按一下「Test changes」(測試變更)，模擬組織政策的影響。詳情請參閱「 使用 Policy Simulator 測試組織政策變更」一文。
    10. 如要在模擬測試模式下強制執行組織政策，請按一下「設定模擬測試政策」。詳情請參閱「 以模擬測試模式建立組織政策」。
    11. 確認機構政策在模擬執行模式下運作正常後，請按一下「設定政策」，設定正式政策。

    gcloud

    1. 如要建立含有布林值規則的組織政策，請建立參照限制的政策 YAML 檔案：
      2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

      取代下列項目：

      • PROJECT_ID：您要強制執行限制的專案。
      • CONSTRAINT_NAME：您為自訂限制定義的名稱，例如 custom.enableGkeAutopilot。
    2. 如要以模擬測試模式強制執行組織政策，請執行下列指令並加上 dryRunSpec 旗標：
      3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

      將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。

    3. 確認模擬測試模式中的機構政策運作正常後，請使用 org-policies set-policy 指令和 spec 旗標設定正式政策：
      4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

      將 POLICY_PATH 替換成組織政策 YAML 檔案的完整路徑。政策最多需要 15 分鐘才會生效。

    測試自訂組織政策

    下列範例會建立自訂限制和政策，規定專案中的所有新叢集都必須是 Autopilot 叢集。

    建立限制

    1. 將下列檔案儲存為 constraint-enable-autopilot.yaml：

      name: organizations/ORGANIZATION_ID/customConstraints/custom.enableGkeAutopilot
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: "resource.autopilot.enabled == false"
actionType: DENY
displayName: Enable GKE Autopilot
description: All new clusters must be Autopilot clusters.

      請將 ORGANIZATION_ID 替換成組織 ID。

      這個檔案定義的限制是，如果每個新叢集的叢集模式不是 Autopilot，系統就會拒絕作業。

    2. 套用限制：

      gcloud org-policies set-custom-constraint ~/constraint-enable-autopilot.yaml

    3. 確認限制是否存在：

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      輸出結果會與下列內容相似：

      CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                     DISPLAY_NAME
custom.enableGkeAutopilot               DENY         CREATE         container.googleapis.com/Cluster   Enable GKE Autopilot
...

    建立政策

    1. 將下列檔案儲存為 policy-enable-autopilot.yaml：

      name: projects/PROJECT_ID/policies/custom.enableGkeAutopilot
spec:
  rules:
  - enforce: true

      將 PROJECT_ID 替換為專案 ID。

    2. 套用政策：

      gcloud org-policies set-policy ~/policy-enable-autopilot.yaml

    3. 確認政策是否存在：

      gcloud org-policies list --project=PROJECT_ID

      輸出結果會與下列內容相似：

      CONSTRAINT                  LIST_POLICY    BOOLEAN_POLICY    ETAG
custom.enableGkeAutopilot   -              SET               COCsm5QGENiXi2E=

    套用政策後，請等待約兩分鐘， Google Cloud 就會開始強制執行政策。

    測試政策

    嘗試在專案中建立 GKE Standard 叢集：

    gcloud container clusters create org-policy-test \
    --project=PROJECT_ID \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=1

    更改下列內容：

    • PROJECT_ID：政策所屬專案的專案 ID。
    • CONTROL_PLANE_LOCATION：叢集控制層的 Compute Engine 位置。為地區叢集提供區域，或為區域叢集提供可用區。

    輸出內容如下：

    Operation denied by custom org policies: ["customConstraints/custom.enableGkeAutopilot": "All new clusters must be Autopilot clusters."]

    常見用途的自訂組織政策範例

    以下範例提供一些實用的自訂限制語法：

    說明 限制語法
    請勿為新的節點集區停用節點自動升級功能 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.enableAutoUpgrade
resourceTypes:
- container.googleapis.com/NodePool
methodTypes:
- CREATE
condition: "resource.management.autoUpgrade == true"
actionType: ALLOW
displayName: Enable node auto-upgrade
description: All node pools must have node auto-upgrade enabled.
    限制新叢集和現有叢集對叢集端點的匿名存取權 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.gkeAnonymousAccessLimited
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
- UPDATE
condition: "resource.anonymousAuthenticationConfig.mode == LIMITED"
actionType: ALLOW
displayName: "Restrict anonymous access to cluster endpoints."
description: "All new and updated clusters must restrict anonymous access to cluster endpoints."

    有條件的機構政策

    您可以根據附加至資源的標記，有條件地強制執行機構政策。舉例來說，只有在資源 (例如專案或叢集) 的 environment 標記設為 dev 時，下列組織政策才會強制執行 custom.enableAutoUpgrade 限制：

    name: organizations/ORGANIZATION_ID/policies/custom.enableAutoUpgrade
spec:
  rules:
  - condition:
      expression: "resource.matchTag('ORGANIZATION_ID/environment', 'dev')"
    enforce: true

    GKE 支援的資源

    下表列出可在自訂限制中參照的 GKE 資源。

    資源 欄位
    container.googleapis.com/Cluster resource.addonsConfig.cloudRunConfig.disabled
    resource.addonsConfig.cloudRunConfig.loadBalancerType
    resource.addonsConfig.configConnectorConfig.enabled
    resource.addonsConfig.dnsCacheConfig.enabled
    resource.addonsConfig.gcePersistentDiskCsiDriverConfig.enabled
    resource.addonsConfig.gcpFilestoreCsiDriverConfig.enabled
    resource.addonsConfig.gcsFuseCsiDriverConfig.enabled
    resource.addonsConfig.gkeBackupAgentConfig.enabled
    resource.addonsConfig.highScaleCheckpointingConfig.enabled
    resource.addonsConfig.horizontalPodAutoscaling.disabled
    resource.addonsConfig.httpLoadBalancing.disabled
    resource.addonsConfig.kubernetesDashboard.disabled
    resource.addonsConfig.networkPolicyConfig.disabled
    resource.addonsConfig.parallelstoreCsiDriverConfig.enabled
    resource.addonsConfig.rayOperatorConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterLoggingConfig.enabled
    resource.addonsConfig.rayOperatorConfig.rayClusterMonitoringConfig.enabled
    resource.addonsConfig.statefulHAConfig.enabled
    resource.alphaClusterFeatureGates
    resource.anonymousAuthenticationConfig.mode
    resource.authenticatorGroupsConfig.enabled
    resource.authenticatorGroupsConfig.securityGroup
    resource.autopilot.enabled
    resource.autopilot.privilegedAdmissionConfig.allowlistPaths
    resource.autopilot.workloadPolicyConfig.allowNetAdmin
    resource.autopilot.workloadPolicyConfig.autopilotCompatibilityAuditingEnabled
    resource.autoscaling.autoprovisioningLocations
    resource.autoscaling.autoprovisioningNodePoolDefaults.bootDiskKmsKey
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskSizeGb
    resource.autoscaling.autoprovisioningNodePoolDefaults.diskType
    resource.autoscaling.autoprovisioningNodePoolDefaults.imageType
    resource.autoscaling.autoprovisioningNodePoolDefaults.insecureKubeletReadonlyPortEnabled
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoRepair
    resource.autoscaling.autoprovisioningNodePoolDefaults.management.autoUpgrade
    resource.autoscaling.autoprovisioningNodePoolDefaults.minCpuPlatform
    resource.autoscaling.autoprovisioningNodePoolDefaults.oauthScopes
    resource.autoscaling.autoprovisioningNodePoolDefaults.serviceAccount
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.autoscaling.autoprovisioningNodePoolDefaults.shieldedInstanceConfig.enableSecureBoot
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxSurge
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.maxUnavailable
    resource.autoscaling.autoprovisioningNodePoolDefaults.upgradeSettings.strategy
    resource.autoscaling.autoscalingProfile
    resource.autoscaling.enableNodeAutoprovisioning
    resource.autoscaling.resourceLimits.maximum
    resource.autoscaling.resourceLimits.minimum
    resource.autoscaling.resourceLimits.resourceType
    resource.binaryAuthorization.enabled
    resource.binaryAuthorization.evaluationMode
    resource.binaryAuthorization.policyBindings.name
    resource.clusterIpv4Cidr
    resource.compliancePostureConfig.complianceStandards.standard
    resource.compliancePostureConfig.mode
    resource.conditions.code
    resource.conditions.message
    resource.confidentialNodes.confidentialInstanceType
    resource.confidentialNodes.enabled
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.allowExternalTraffic
    resource.controlPlaneEndpointsConfig.dnsEndpointConfig.endpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.cidrBlocks.displayName
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.authorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enabled
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.enablePublicEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.globalAccess
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpoint
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.privateEndpointSubnetwork
    resource.controlPlaneEndpointsConfig.ipEndpointsConfig.publicEndpoint
    resource.costManagementConfig.enabled
    resource.currentNodeCount
    resource.databaseEncryption.keyName
    resource.databaseEncryption.state
    resource.defaultMaxPodsConstraint.maxPodsPerNode
    resource.description
    resource.enableK8sBetaApis.enabledApis
    resource.enableKubernetesAlpha
    resource.enterpriseConfig.clusterTier
    resource.fleet.membership
    resource.fleet.preRegistered
    resource.fleet.project
    resource.identityServiceConfig.enabled
    resource.initialClusterVersion
    resource.initialNodeCount
    resource.ipAllocationPolicy.clusterIpv4Cidr
    resource.ipAllocationPolicy.clusterIpv4CidrBlock
    resource.ipAllocationPolicy.clusterSecondaryRangeName
    resource.ipAllocationPolicy.createSubnetwork
    resource.ipAllocationPolicy.ipv6AccessType
    resource.ipAllocationPolicy.nodeIpv4Cidr
    resource.ipAllocationPolicy.nodeIpv4CidrBlock
    resource.ipAllocationPolicy.podCidrOverprovisionConfig.disable
    resource.ipAllocationPolicy.servicesIpv4Cidr
    resource.ipAllocationPolicy.servicesIpv4CidrBlock
    resource.ipAllocationPolicy.servicesSecondaryRangeName
    resource.ipAllocationPolicy.stackType
    resource.ipAllocationPolicy.subnetworkName
    resource.ipAllocationPolicy.tpuIpv4CidrBlock
    resource.ipAllocationPolicy.useIpAliases
    resource.ipAllocationPolicy.useRoutes
    resource.labelFingerprint
    resource.legacyAbac.enabled
    resource.location
    resource.locations
    resource.loggingConfig.componentConfig.enableComponents
    resource.loggingService
    resource.maintenancePolicy.resourceVersion
    resource.maintenancePolicy.window.dailyMaintenanceWindow.startTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].endTime
    resource.maintenancePolicy.window.maintenanceExclusions[*].maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.maintenanceExclusions[*].startTime
    resource.maintenancePolicy.window.recurringWindow.recurrence
    resource.maintenancePolicy.window.recurringWindow.window.endTime
    resource.maintenancePolicy.window.recurringWindow.window.maintenanceExclusionOptions.scope
    resource.maintenancePolicy.window.recurringWindow.window.startTime
    resource.masterAuth.clientCertificateConfig.issueClientCertificate
    resource.masterAuth.username
    resource.masterAuthorizedNetworksConfig.cidrBlocks.cidrBlock
    resource.masterAuthorizedNetworksConfig.cidrBlocks.displayName
    resource.masterAuthorizedNetworksConfig.enabled
    resource.masterAuthorizedNetworksConfig.gcpPublicCidrsAccessEnabled
    resource.masterAuthorizedNetworksConfig.privateEndpointEnforcementEnabled
    resource.meshCertificates.enableCertificates
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableMetrics
    resource.monitoringConfig.advancedDatapathObservabilityConfig.enableRelay
    resource.monitoringConfig.advancedDatapathObservabilityConfig.relayMode
    resource.monitoringConfig.componentConfig.enableComponents
    resource.monitoringConfig.managedPrometheusConfig.autoMonitoringConfig.scope
    resource.monitoringConfig.managedPrometheusConfig.enabled
    resource.monitoringService
    resource.name
    resource.network
    resource.networkConfig.datapathProvider
    resource.networkConfig.defaultEnablePrivateNodes
    resource.networkConfig.defaultSnatStatus.disabled
    resource.networkConfig.disableL4LbFirewallReconciliation
    resource.networkConfig.dnsConfig.additiveVpcScopeDnsDomain
    resource.networkConfig.dnsConfig.clusterDns
    resource.networkConfig.dnsConfig.clusterDnsDomain
    resource.networkConfig.dnsConfig.clusterDnsScope
    resource.networkConfig.enableCiliumClusterwideNetworkPolicy
    resource.networkConfig.enableFqdnNetworkPolicy
    resource.networkConfig.enableIntraNodeVisibility
    resource.networkConfig.enableL4ilbSubsetting
    resource.networkConfig.enableMultiNetworking
    resource.networkConfig.gatewayApiConfig.channel
    resource.networkConfig.inTransitEncryptionConfig
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.privateIpv6GoogleAccess
    resource.networkConfig.serviceExternalIpsConfig.enabled
    resource.networkPolicy.enabled
    resource.networkPolicy.provider
    resource.nodeConfig.accelerators.acceleratorCount
    resource.nodeConfig.accelerators.acceleratorType
    resource.nodeConfig.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.nodeConfig.accelerators.gpuPartitionSize
    resource.nodeConfig.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.nodeConfig.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.nodeConfig.advancedMachineFeatures.enableNestedVirtualization
    resource.nodeConfig.advancedMachineFeatures.performanceMonitoringUnit
    resource.nodeConfig.advancedMachineFeatures.threadsPerCore
    resource.nodeConfig.bootDiskKmsKey
    resource.nodeConfig.confidentialNodes.confidentialInstanceType
    resource.nodeConfig.confidentialNodes.enabled
    resource.nodeConfig.diskSizeGb
    resource.nodeConfig.diskType
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.nodeConfig.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.nodeConfig.fastSocket.enabled
    resource.nodeConfig.flexStart
    resource.nodeConfig.gcfsConfig.enabled
    resource.nodeConfig.gvnic.enabled
    resource.nodeConfig.imageType
    resource.nodeConfig.kubeletConfig.allowedUnsafeSysctls
    resource.nodeConfig.kubeletConfig.containerLogMaxFiles
    resource.nodeConfig.kubeletConfig.containerLogMaxSize
    resource.nodeConfig.kubeletConfig.cpuCfsQuota
    resource.nodeConfig.kubeletConfig.cpuCfsQuotaPeriod
    resource.nodeConfig.kubeletConfig.cpuManagerPolicy
    resource.nodeConfig.kubeletConfig.imageGcHighThresholdPercent
    resource.nodeConfig.kubeletConfig.imageGcLowThresholdPercent
    resource.nodeConfig.kubeletConfig.imageMaximumGcAge
    resource.nodeConfig.kubeletConfig.imageMinimumGcAge
    resource.nodeConfig.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodeConfig.kubeletConfig.memoryManager.policy
    resource.nodeConfig.kubeletConfig.podPidsLimit
    resource.nodeConfig.kubeletConfig.topologyManager.policy
    resource.nodeConfig.kubeletConfig.topologyManager.scope
    resource.nodeConfig.labels
    resource.nodeConfig.linuxNodeConfig.cgroupMode
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize1g
    resource.nodeConfig.linuxNodeConfig.hugepages.hugepageSize2m
    resource.nodeConfig.linuxNodeConfig.sysctls
    resource.nodeConfig.localNvmeSsdBlockConfig.localSsdCount
    resource.nodeConfig.localSsdCount
    resource.nodeConfig.localSsdEncryptionMode
    resource.nodeConfig.loggingConfig.variantConfig.variant
    resource.nodeConfig.machineType
    resource.nodeConfig.maxRunDuration
    resource.nodeConfig.metadata
    resource.nodeConfig.minCpuPlatform
    resource.nodeConfig.nodeGroup
    resource.nodeConfig.oauthScopes
    resource.nodeConfig.preemptible
    resource.nodeConfig.reservationAffinity.consumeReservationType
    resource.nodeConfig.reservationAffinity.key
    resource.nodeConfig.reservationAffinity.values
    resource.nodeConfig.resourceLabels
    resource.nodeConfig.resourceManagerTags.tags
    resource.nodeConfig.sandboxConfig.type
    resource.nodeConfig.secondaryBootDisks.diskImage
    resource.nodeConfig.secondaryBootDisks.mode
    resource.nodeConfig.serviceAccount
    resource.nodeConfig.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.nodeConfig.shieldedInstanceConfig.enableSecureBoot
    resource.nodeConfig.soleTenantConfig.nodeAffinities.key
    resource.nodeConfig.soleTenantConfig.nodeAffinities.operator
    resource.nodeConfig.soleTenantConfig.nodeAffinities.values
    resource.nodeConfig.spot
    resource.nodeConfig.storagePools
    resource.nodeConfig.tags
    resource.nodeConfig.taints.effect
    resource.nodeConfig.taints.key
    resource.nodeConfig.taints.value
    resource.nodeConfig.windowsNodeConfig.osVersion
    resource.nodeConfig.workloadMetadataConfig.mode
    resource.nodePoolAutoConfig.networkTags.tags
    resource.nodePoolAutoConfig.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolAutoConfig.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolAutoConfig.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolAutoConfig.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolAutoConfig.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.podPidsLimit
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolAutoConfig.nodeKubeletConfig.topologyManager.scope
    resource.nodePoolDefaults.nodeConfigDefaults.gcfsConfig.enabled
    resource.nodePoolDefaults.nodeConfigDefaults.loggingConfig.variantConfig.variant
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.allowedUnsafeSysctls
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxFiles
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.containerLogMaxSize
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuota
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuCfsQuotaPeriod
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.cpuManagerPolicy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcHighThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageGcLowThresholdPercent
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMaximumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.imageMinimumGcAge
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.memoryManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.podPidsLimit
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.policy
    resource.nodePoolDefaults.nodeConfigDefaults.nodeKubeletConfig.topologyManager.scope
    resource.notificationConfig.pubsub.enabled
    resource.notificationConfig.pubsub.filter.eventType
    resource.notificationConfig.pubsub.topic
    resource.podAutoscaling.hpaProfile
    resource.privateClusterConfig.enablePrivateEndpoint
    resource.privateClusterConfig.enablePrivateNodes
    resource.privateClusterConfig.masterGlobalAccessConfig.enabled
    resource.privateClusterConfig.masterIpv4CidrBlock
    resource.privateClusterConfig.privateEndpointSubnetwork
    resource.rbacBindingConfig.enableInsecureBindingSystemAuthenticated
    resource.rbacBindingConfig.enableInsecureBindingSystemUnauthenticated
    resource.releaseChannel.channel
    resource.resourceLabels
    resource.resourceUsageExportConfig.bigqueryDestination.datasetId
    resource.resourceUsageExportConfig.consumptionMeteringConfig.enabled
    resource.resourceUsageExportConfig.enableNetworkEgressMetering
    resource.secretManagerConfig.enabled
    resource.securityPostureConfig.mode
    resource.securityPostureConfig.vulnerabilityMode
    resource.shieldedNodes.enabled
    resource.subnetwork
    resource.userManagedKeysConfig.aggregationCa
    resource.userManagedKeysConfig.clusterCa
    resource.userManagedKeysConfig.controlPlaneDiskEncryptionKey
    resource.userManagedKeysConfig.etcdApiCa
    resource.userManagedKeysConfig.etcdPeerCa
    resource.userManagedKeysConfig.gkeopsEtcdBackupEncryptionKey
    resource.userManagedKeysConfig.serviceAccountSigningKeys
    resource.userManagedKeysConfig.serviceAccountVerificationKeys
    resource.verticalPodAutoscaling.enabled
    resource.workloadIdentityConfig.workloadPool
    resource.zone
    container.googleapis.com/NodePool resource.autopilotConfig.enabled
    resource.autoscaling.autoprovisioned
    resource.autoscaling.enabled
    resource.autoscaling.locationPolicy
    resource.autoscaling.maxNodeCount
    resource.autoscaling.minNodeCount
    resource.autoscaling.totalMaxNodeCount
    resource.autoscaling.totalMinNodeCount
    resource.bestEffortProvisioning.enabled
    resource.bestEffortProvisioning.minProvisionNodes
    resource.conditions.code
    resource.conditions.message
    resource.config.accelerators.acceleratorCount
    resource.config.accelerators.acceleratorType
    resource.config.accelerators.gpuDriverInstallationConfig.gpuDriverVersion
    resource.config.accelerators.gpuPartitionSize
    resource.config.accelerators.gpuSharingConfig.gpuSharingStrategy
    resource.config.accelerators.gpuSharingConfig.maxSharedClientsPerGpu
    resource.config.advancedMachineFeatures.enableNestedVirtualization
    resource.config.advancedMachineFeatures.performanceMonitoringUnit
    resource.config.advancedMachineFeatures.threadsPerCore
    resource.config.bootDiskKmsKey
    resource.config.confidentialNodes.confidentialInstanceType
    resource.config.confidentialNodes.enabled
    resource.config.diskSizeGb
    resource.config.diskType
    resource.config.ephemeralStorageLocalSsdConfig.dataCacheCount
    resource.config.ephemeralStorageLocalSsdConfig.localSsdCount
    resource.config.fastSocket.enabled
    resource.config.flexStart
    resource.config.gcfsConfig.enabled
    resource.config.gvnic.enabled
    resource.config.imageType
    resource.config.kubeletConfig.allowedUnsafeSysctls
    resource.config.kubeletConfig.containerLogMaxFiles
    resource.config.kubeletConfig.containerLogMaxSize
    resource.config.kubeletConfig.cpuCfsQuota
    resource.config.kubeletConfig.cpuCfsQuotaPeriod
    resource.config.kubeletConfig.cpuManagerPolicy
    resource.config.kubeletConfig.imageGcHighThresholdPercent
    resource.config.kubeletConfig.imageGcLowThresholdPercent
    resource.config.kubeletConfig.imageMaximumGcAge
    resource.config.kubeletConfig.imageMinimumGcAge
    resource.config.kubeletConfig.insecureKubeletReadonlyPortEnabled
    resource.config.kubeletConfig.memoryManager.policy
    resource.config.kubeletConfig.podPidsLimit
    resource.config.kubeletConfig.topologyManager.policy
    resource.config.kubeletConfig.topologyManager.scope
    resource.config.labels
    resource.config.linuxNodeConfig.cgroupMode
    resource.config.linuxNodeConfig.hugepages.hugepageSize1g
    resource.config.linuxNodeConfig.hugepages.hugepageSize2m
    resource.config.linuxNodeConfig.sysctls
    resource.config.localNvmeSsdBlockConfig.localSsdCount
    resource.config.localSsdCount
    resource.config.localSsdEncryptionMode
    resource.config.loggingConfig.variantConfig.variant
    resource.config.machineType
    resource.config.maxRunDuration
    resource.config.metadata
    resource.config.minCpuPlatform
    resource.config.nodeGroup
    resource.config.oauthScopes
    resource.config.preemptible
    resource.config.reservationAffinity.consumeReservationType
    resource.config.reservationAffinity.key
    resource.config.reservationAffinity.values
    resource.config.resourceLabels
    resource.config.resourceManagerTags.tags
    resource.config.sandboxConfig.type
    resource.config.secondaryBootDisks.diskImage
    resource.config.secondaryBootDisks.mode
    resource.config.serviceAccount
    resource.config.shieldedInstanceConfig.enableIntegrityMonitoring
    resource.config.shieldedInstanceConfig.enableSecureBoot
    resource.config.soleTenantConfig.nodeAffinities.key
    resource.config.soleTenantConfig.nodeAffinities.operator
    resource.config.soleTenantConfig.nodeAffinities.values
    resource.config.spot
    resource.config.storagePools
    resource.config.tags
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.windowsNodeConfig.osVersion
    resource.config.workloadMetadataConfig.mode
    resource.initialNodeCount
    resource.locations
    resource.management.autoRepair
    resource.management.autoUpgrade
    resource.maxPodsConstraint.maxPodsPerNode
    resource.name
    resource.networkConfig.additionalNodeNetworkConfigs.network
    resource.networkConfig.additionalNodeNetworkConfigs.subnetwork
    resource.networkConfig.additionalPodNetworkConfigs.networkAttachment
    resource.networkConfig.createPodRange
    resource.networkConfig.enablePrivateNodes
    resource.networkConfig.networkPerformanceConfig.totalEgressBandwidthTier
    resource.networkConfig.podIpv4CidrBlock
    resource.networkConfig.podRange
    resource.placementPolicy.policyName
    resource.placementPolicy.tpuTopology
    resource.placementPolicy.type
    resource.queuedProvisioning.enabled
    resource.upgradeSettings.blueGreenSettings.nodePoolSoakDuration
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchNodeCount
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchPercentage
    resource.upgradeSettings.blueGreenSettings.standardRolloutPolicy.batchSoakDuration
    resource.upgradeSettings.maxSurge
    resource.upgradeSettings.maxUnavailable
    resource.upgradeSettings.strategy
    resource.version

    後續步驟