カスタム制約の作成と管理

このページでは、組織のポリシー サービスのカスタム制約を使用して、次の Google Cloud リソースに対する特定のオペレーションを制限する方法について説明します。

  • gkeonprem.googleapis.com/BareMetalAdminCluster
  • gkeonprem.googleapis.com/BareMetalCluster
  • gkeonprem.googleapis.com/BareMetalNodePool
  • gkeonprem.googleapis.com/VmwareAdminCluster
  • gkeonprem.googleapis.com/VmwareCluster
  • gkeonprem.googleapis.com/VmwareNodePool

組織のポリシーの詳細については、カスタムの組織のポリシーをご覧ください。

組織のポリシーと制約について

Google Cloud 組織のポリシー サービスを使用すると、組織のリソースをプログラマティックに一元管理できます。組織のポリシー管理者は組織のポリシーを定義できます。組織のポリシーは、Google Cloud リソース階層内のGoogle Cloud リソースやそれらのリソースの子孫に適用される、制約と呼ばれる一連の制限です。組織のポリシーは、組織レベル、フォルダレベル、またはプロジェクト レベルで適用できます。

組織のポリシーを利用することで、あらかじめ用意されたマネージド制約をさまざまな Google Cloud サービスに適用できます。ただし、組織のポリシーで制限されている特定の項目をより細かくカスタマイズして制御したい場合は、カスタム制約を作成して、それを組織のポリシーで使うこともできます。

ポリシーの継承

デフォルトでは、組織のポリシーは、そのポリシーを適用したリソースの子孫に継承されます。たとえば、フォルダにポリシーを適用した場合、 Google Cloud はそのフォルダ内のすべてのプロジェクトにそのポリシーを適用します。この動作の詳細と変更方法については、階層評価ルールをご覧ください。

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Install the Google Cloud CLI.

  5. 外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

  6. gcloud CLI を初期化するには、次のコマンドを実行します。

    gcloud init

  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Install the Google Cloud CLI.

  10. 外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

  11. gcloud CLI を初期化するには、次のコマンドを実行します。

    gcloud init
  12. 組織 ID を確認します。

    13. 必要なロール

    カスタムの組織のポリシーを管理するために必要な権限を取得するには、組織のリソースに対する組織のポリシー管理者（roles/orgpolicy.policyAdmin）の IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

    必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

    カスタム制約を設定する

    カスタム制約は、組織のポリシーを適用しているサービスでサポートされるリソース、メソッド、条件、アクションを使用して YAML ファイルで定義されます。カスタム制約の条件は、Common Expression Language（CEL）を使用して定義されます。CEL を使用してカスタム制約で条件を作成する方法については、カスタム制約の作成と管理の CEL セクションをご覧ください。

    コンソール

    カスタム制約を作成する方法は次のとおりです。

    1. Google Cloud コンソールで [組織のポリシー] ページに移動します。

      [組織のポリシー] に移動

    2. プロジェクト選択ツールで、組織のポリシーを設定するプロジェクトを選択します。
    3. [ カスタム制約] をクリックします。
    4. [表示名] ボックスに、制約の名前を人が読める形式で入力します。この名前はエラー メッセージで使用されるほか、識別やデバッグにも使用できます。エラー メッセージで公開される可能性があるため、表示名に個人情報（PII）や機密データを使用しないでください。このフィールドには、最大 200 文字まで入力できます。
    5. [制約 ID] ボックスに、新しいカスタム制約の名前を入力します。カスタム制約の名前には、英字（大文字と小文字）または数字のみを使用できます（例: custom.disableGkeAutoUpgrade）。このフィールドには、接頭辞（custom.）を除き、最大 70 文字まで入力できます（例: organizations/123456789/customConstraints/custom）。エラー メッセージで公開される可能性があるため、制約 ID に個人情報（PII）や機密データを含めないでください。
    6. [説明] ボックスに、制約の説明を人が読める形式で入力します。この説明は、ポリシー違反の際にエラー メッセージとして使用されます。ポリシー違反が発生した理由と、ポリシー違反を解決する方法に関する詳細を含めてください。エラー メッセージで公開される可能性があるため、説明に個人情報（PII）や機密データを含めないでください。このフィールドには、最大 2,000 文字まで入力できます。
    7. [リソースの種類] ボックスで、制限するオブジェクトとフィールドを含む Google Cloud REST リソースの名前を選択します（例: container.googleapis.com/NodePool）。ほとんどの種類のリソースは、最大 20 個のカスタム制約をサポートしています。これより多くのカスタム制約を作成しようとすると、オペレーションは失敗します。
    8. [適用方法] で、REST CREATE メソッドに制約を適用するか、CREATE メソッドと UPDATE メソッドの両方に制約を適用するかを選択します。制約に違反するリソースに対する UPDATE メソッドに制約を適用した場合、そのリソースへの変更は、違反を解決するものでない限り、組織のポリシーによってブロックされます。

      9. すべての Google Cloud サービスで両方のメソッドがサポートされているわけではありません。各サービスでサポートされているメソッドを確認するには、サポートされているサービスで対象のサービスを検索してください。

    9. 条件を定義するには、 [条件を編集] をクリックします。
      1. [条件を追加] パネルで、サポートされているサービス リソースを参照する CEL 条件を作成します（例: resource.management.autoUpgrade == false）。このフィールドには、最大 1,000 文字まで入力できます。CEL の使用方法の詳細については、Common Expression Language をご覧ください。カスタム制約で使用できるサービス リソースの詳細については、カスタム制約のサポート サービスをご覧ください。
      2. [保存] をクリックします。
    10. [アクション] で、条件が満たされた場合に評価対象のメソッドを許可するか拒否するかを選択します。

      11. 拒否アクションは、条件が true と評価された場合に、リソースを作成または更新するオペレーションがブロックされることを意味します。

      許可アクションは、条件が true と評価された場合にのみ、リソースを作成または更新するオペレーションが許可されることを意味します。条件に明記されているケースを除き、他のケースはすべてブロックされます。

    11. [制約を作成] をクリックします。

      12. 各フィールドに値を入力すると、このカスタム制約に対応する YAML 構成が右側に表示されます。

    gcloud

    1. カスタム制約を作成するには、次の形式で YAML ファイルを作成します。 
      2.       name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
      resourceTypes:
      - RESOURCE_NAME
      methodTypes:
      - CREATE
      condition: "CONDITION"
      actionType: ACTION
      displayName: DISPLAY_NAME
      description: DESCRIPTION

      次のように置き換えます。

      • ORGANIZATION_ID: 組織 ID（例: 123456789）。
      • CONSTRAINT_NAME: 新しいカスタム制約の名前。カスタム制約の名前には、英字（大文字と小文字）または数字のみを使用できます（例: custom.denyHighNumvCPUs）。このフィールドには、最大 70 文字まで入力できます。
      • RESOURCE_NAME: 制限するオブジェクトとフィールドを含む Google Cloudリソースの完全修飾名。例: gkeonprem.googleapis.com/gkeonprem.googleapis.com/VmwareNodePool。
      • CONDITION: サポート対象のサービス リソースの表現に対して書き込まれる CEL 条件。このフィールドには、最大 1,000 文字まで入力できます。例: resource.config.cpus > 4。

        • 条件の書き込み先として使用できるリソースの詳細については、サポートされているリソースをご覧ください。

      • ACTION: condition が満たされている場合に実行するアクション。ALLOW のみを設定できます。

        • 許可アクションは、条件が true と評価された場合に、リソースを作成または更新するオペレーションが許可されることを意味します。つまり、条件に明記されているケースを除き、他のケースはすべてブロックされます。

      • DISPLAY_NAME: 制約の名前。わかりやすい名前を入力してください。このフィールドには、最大 200 文字まで入力できます。
      • DESCRIPTION: ポリシー違反の際にエラー メッセージとして表示される制約の説明。わかりやすい説明を入力してください。このフィールドには、最大 2,000 文字まで入力できます。
    2. 新しいカスタム制約の YAML ファイルを作成したら、組織内の組織のポリシーで使用できるように設定する必要があります。カスタム制約を設定するには、gcloud org-policies set-custom-constraint コマンドを使用します。 
      3.         gcloud org-policies set-custom-constraint CONSTRAINT_PATH

      CONSTRAINT_PATH は、カスタム制約ファイルのフルパスに置き換えます。例: /home/user/customconstraint.yaml。

      このオペレーションが完了すると、指定したカスタム制約が Google Cloud 組織のポリシーのリストに表示され、組織のポリシーとして使用できるようになります。

    3. カスタム制約が存在することを確認するには、gcloud org-policies list-custom-constraints コマンドを使用します。 
      4.       gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      ORGANIZATION_ID は組織リソースの ID に置き換えます。

      詳細については、組織のポリシーの表示をご覧ください。

    カスタムの組織のポリシーを適用する

    制約を適用するには、それを参照する組織のポリシーを作成し、その組織のポリシーを Google Cloud リソースに適用します。

    コンソール

    1. Google Cloud コンソールで [組織のポリシー] ページに移動します。

      [組織のポリシー] に移動

    2. プロジェクト選択ツールで、組織のポリシーを設定するプロジェクトを選択します。
    3. [組織のポリシー] ページのリストで制約を選択して、その制約の [ポリシーの詳細] ページを表示します。
    4. このリソースの組織のポリシーを構成するには、[ポリシーを管理] をクリックします。
    5. [ポリシーの編集] ページで、[Override parent's policy] を選択します。
    6. [ルールを追加] をクリックします。
    7. [適用] セクションで、この組織のポリシーを適用するかどうかを選択します。
    8. 省略可: タグで組織のポリシーに条件を設定するには、[条件を追加] をクリックします。組織のポリシーに条件付きルールを追加する場合は、少なくとも 1 つは無条件のルールを追加する必要があります。そうしないとポリシーを保存できないのでご注意ください。詳細については、タグを使用した組織のポリシーの設定をご覧ください。
    9. [変更内容をテスト] をクリックして、組織のポリシーの効果をシミュレートします。詳細については、Policy Simulator で組織のポリシーの変更をテストするをご覧ください。
    10. ドライラン モードで組織のポリシーを適用するには、[ドライラン ポリシーを設定] をクリックします。詳細については、ドライラン モードで組織のポリシーを作成するをご覧ください。
    11. ドライラン モードで組織のポリシーが想定どおりに動作することを確認したら、[ポリシーを設定] をクリックして有効なポリシーを設定します。

    gcloud

    1. ブール値のルールを含む組織のポリシーを作成するには、制約を参照するポリシーの YAML ファイルを作成します。 
      2.         name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
        spec:
          rules:
          - enforce: true
        
        dryRunSpec:
          rules:
          - enforce: true

      次のように置き換えます。

      • PROJECT_ID: 制約を適用するプロジェクト。
      • CONSTRAINT_NAME: カスタム制約に定義した名前。例: custom.denyHighNumvCPUs。
    2. ドライラン モードで組織のポリシーを適用するには、dryRunSpec フラグを指定して次のコマンドを実行します。 
      3.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=dryRunSpec

      POLICY_PATH は、組織のポリシーの YAML ファイルのフルパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

    3. ドライラン モードで組織のポリシーが想定どおりに動作することを確認したら、org-policies set-policy コマンドと spec フラグを使用して有効なポリシーを設定します。 
      4.         gcloud org-policies set-policy POLICY_PATH \
          --update-mask=spec

      POLICY_PATH は、組織のポリシーの YAML ファイルのフルパスに置き換えます。ポリシーが有効になるまでに最大 15 分かかります。

    カスタム組織のポリシーをテストする

    次の例は、Google Distributed Cloud（ソフトウェアのみ）VMware ユーザー クラスタで 5 つ以上の vCPU を持つノードプールの更新を拒否する方法を示しています。

    始める前に、以下を把握しておく必要があります。

    • 組織の ID
    • プロジェクト ID

    制約を作成する

    1. 次のファイルに constraint-node-pool-vcpus.yaml という名前を付けて保存します。

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyHighNumvCPUs
resourceTypes:
- gkeonprem.googleapis.com/VmwareNodePool
methodTypes:
- CREATE
- UPDATE
condition: resource.config.cpus > 4
actionType: DENY
displayName: Node pool vCPU constraint
description: Node pools must have 4 or fewer vCPUs.

      これにより、ノードプールの vCPU 数を 4 以下に制限する制約が定義されます。ノードプールの作成または更新時に vCPU の数が 4 より大きい場合、オペレーションは拒否されます。

    2. 制約を適用します。

      gcloud org-policies set-custom-constraint ~/constraint-node-pool-vcpus.yaml

    3. 制約が存在することを確認します。

      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

      出力は次のようになります。

      CUSTOM_CONSTRAINT         ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                            DISPLAY_NAME
custom.denyHighNumvCPUs   DENY         CREATE         gkeonprem.googleapis.com/VmwareNodePool   Node pool vCPU constraint
...

    ポリシーを作成する

    1. 次のファイルに policy-deny-node-pool-high-vcpus.yaml という名前を付けて保存します。

      name: projects/PROJECT_ID/policies/custom.denyHighNumvCPUs
spec:
  rules:
  - enforce: true

      PROJECT_ID は、実際のプロジェクト ID に置き換えます。

    2. ポリシーを適用します。

      gcloud org-policies set-policy ~/policy-deny-node-pool-high-vcpus.yaml

    3. ポリシーが存在することを確認します。

      gcloud org-policies list --project=PROJECT_ID

      出力は次のようになります。

      CONSTRAINT               LIST_POLICY    BOOLEAN_POLICY    ETAG
custom.denyHighNumvCPUs  -              SET               COCsm5QGENiXi2E=

    ポリシーを適用したら、 Google Cloud がポリシーの適用を開始するまで 15 分ほど待ちます。

    ポリシーのテスト

    ポリシーに違反するノードプールの更新を試みます。

    1. 必要に応じて、ユーザー クラスタを一覧表示して、クラスタ名とリージョンを取得します。

      gcloud container vmware clusters list \
    --project=PROJECT_ID\
    --location=-

      --location=- に設定すると、すべてのリージョンのユーザー クラスタが一覧表示されます。リストを絞り込む必要がある場合は、クラスタの作成時または GKE On-Prem API へのクラスタの登録時に指定したリージョンを --location に設定します。

    2. 必要に応じて、ノードプールの一覧を表示して、更新するノードプールの名前を取得します。

      gcloud container vmware node-pools list \
    --cluster=USER_CLUSTER_NAME \
    --project=PROJECT_ID \
    --location=REGION

      次のように置き換えます。

      • USER_CLUSTER_NAME: ノードプールを含むユーザー クラスタの名前。

      • REGION: ユーザー クラスタに関連付けられた Google Cloud リージョン。

    3. 次のコマンドを実行して、vCPU の数を 6 に更新します。

      gcloud container vmware node-pools update NODE_POOL_NAME \
    --cluster=USER_CLUSTER_NAME  \
    --project=PROJECT_ID \
    --location=REGION \
    --cpus=6

      NODE_POOL_NAME: ノードプールの名前に置き換えます。

    オペレーションが拒否されました。次のような出力が表示されます。

    Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/REGION/entryGroups/org-policy-test': ["customConstraints/custom.denyHighNumvCPUs"]

    一般的なユースケースのカスタム組織ポリシーの例

    次の表では一般的なカスタム制約の構文例をまとめています。

    説明 制約の構文
    バージョンを拒否する 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.VersionDeny
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.bareMetalVersion.startsWith("1.29")
    actionType: DENY
    displayName: Bare metal user cluster version denied
    description: The bare metal user cluster version is no longer supported
    キーが存在する場合にのみ許可 
        name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowAnnotation
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalAdminCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: '"allowKey" in resource.annotations'
    actionType: ALLOW
    displayName: Bare metal admin cluster annotation keys allowed
    description: Annotation keys are allowed on bare metal admin clusters

    GKE On-Prem API でサポートされているリソース

    次の表に、カスタム制約で参照できる GKE On-Prem API リソースを示します。

    リソース フィールド
    gkeonprem.googleapis.com/BareMetalAdminCluster resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    gkeonprem.googleapis.com/BareMetalCluster resource.adminClusterMembership
    resource.annotations
    resource.bareMetalVersion
    resource.binaryAuthorization.evaluationMode
    resource.clusterOperations.enableApplicationLogs
    resource.controlPlane.apiServerArgs.argument
    resource.controlPlane.apiServerArgs.value
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
    resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
    resource.description
    resource.loadBalancer.bgpLbConfig.addressPools.addresses
    resource.loadBalancer.bgpLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.bgpLbConfig.addressPools.manualAssign
    resource.loadBalancer.bgpLbConfig.addressPools.pool
    resource.loadBalancer.bgpLbConfig.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.asn
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.controlPlaneNodes
    resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.ipAddress
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.manualLbConfig.enabled
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
    resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
    resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.maintenanceConfig.maintenanceAddressCidrBlocks
    resource.name
    resource.networkConfig.advancedNetworking
    resource.networkConfig.islandModeCidr.podAddressCidrBlocks
    resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
    resource.networkConfig.multipleNetworkInterfacesConfig.enabled
    resource.networkConfig.srIovConfig.enabled
    resource.nodeAccessConfig.loginUser
    resource.nodeConfig.containerRuntime
    resource.nodeConfig.maxPodsPerNode
    resource.osEnvironmentConfig.packageRepoExcluded
    resource.proxy.noProxy
    resource.proxy.uri
    resource.securityConfig.authorization.adminUsers.username
    resource.storage.lvpNodeMountsConfig.path
    resource.storage.lvpNodeMountsConfig.storageClass
    resource.storage.lvpShareConfig.lvpConfig.path
    resource.storage.lvpShareConfig.lvpConfig.storageClass
    resource.storage.lvpShareConfig.sharedPathPvCount
    resource.upgradePolicy.policy
    gkeonprem.googleapis.com/BareMetalNodePool resource.annotations
    resource.displayName
    resource.name
    resource.nodePoolConfig.kubeletConfig.registryBurst
    resource.nodePoolConfig.kubeletConfig.registryPullQps
    resource.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
    resource.nodePoolConfig.nodeConfigs.nodeIp
    resource.nodePoolConfig.operatingSystem
    resource.nodePoolConfig.taints.effect
    resource.nodePoolConfig.taints.key
    resource.nodePoolConfig.taints.value
    resource.upgradePolicy.parallelUpgradeConfig.concurrentNodes
    resource.upgradePolicy.parallelUpgradeConfig.minimumAvailableNodes
    gkeonprem.googleapis.com/VmwareAdminCluster resource.addonNode.autoResizeConfig.enabled
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.viewerUsers.username
    resource.autoRepairConfig.enabled
    resource.bootstrapClusterMembership
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.description
    resource.enableAdvancedCluster
    resource.imageType
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.addonsNodePort
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.enabled
    resource.loadBalancer.vipConfig.addonsVip
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.name
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.gateway
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.ip
    resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.netmask
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.platformConfig.requiredPlatformVersion
    resource.vcenter.address
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.dataDisk
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    gkeonprem.googleapis.com/VmwareCluster resource.adminClusterMembership
    resource.annotations
    resource.antiAffinityGroups.aagConfigDisabled
    resource.authorization.adminUsers.username
    resource.autoRepairConfig.enabled
    resource.binaryAuthorization.evaluationMode
    resource.controlPlaneNode.autoResizeConfig.enabled
    resource.controlPlaneNode.cpus
    resource.controlPlaneNode.memory
    resource.controlPlaneNode.replicas
    resource.controlPlaneNode.vsphereConfig.datastore
    resource.controlPlaneNode.vsphereConfig.storagePolicyName
    resource.dataplaneV2.advancedNetworking
    resource.dataplaneV2.dataplaneV2Enabled
    resource.dataplaneV2.forwardMode
    resource.dataplaneV2.windowsDataplaneV2Enabled
    resource.description
    resource.disableBundledIngress
    resource.enableAdvancedCluster
    resource.enableControlPlaneV2
    resource.loadBalancer.f5Config.address
    resource.loadBalancer.f5Config.partition
    resource.loadBalancer.f5Config.snatPool
    resource.loadBalancer.manualLbConfig.controlPlaneNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpNodePort
    resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
    resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
    resource.loadBalancer.metalLbConfig.addressPools.addresses
    resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
    resource.loadBalancer.metalLbConfig.addressPools.manualAssign
    resource.loadBalancer.metalLbConfig.addressPools.pool
    resource.loadBalancer.vipConfig.controlPlaneVip
    resource.loadBalancer.vipConfig.ingressVip
    resource.name
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.gateway
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.hostname
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.ip
    resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.netmask
    resource.networkConfig.dhcpIpConfig.enabled
    resource.networkConfig.hostConfig.dnsSearchDomains
    resource.networkConfig.hostConfig.dnsServers
    resource.networkConfig.hostConfig.ntpServers
    resource.networkConfig.podAddressCidrBlocks
    resource.networkConfig.serviceAddressCidrBlocks
    resource.networkConfig.staticIpConfig.ipBlocks.gateway
    resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
    resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
    resource.networkConfig.staticIpConfig.ipBlocks.netmask
    resource.networkConfig.vcenterNetwork
    resource.onPremVersion
    resource.storage.vsphereCsiDisabled
    resource.upgradePolicy.controlPlaneOnly
    resource.vcenter.caCertData
    resource.vcenter.cluster
    resource.vcenter.datacenter
    resource.vcenter.datastore
    resource.vcenter.folder
    resource.vcenter.resourcePool
    resource.vcenter.storagePolicyName
    resource.vmTrackingEnabled
    gkeonprem.googleapis.com/VmwareNodePool resource.annotations
    resource.config.bootDiskSizeGb
    resource.config.cpus
    resource.config.enableLoadBalancer
    resource.config.image
    resource.config.imageType
    resource.config.memoryMb
    resource.config.replicas
    resource.config.taints.effect
    resource.config.taints.key
    resource.config.taints.value
    resource.config.vsphereConfig.datastore
    resource.config.vsphereConfig.hostGroups
    resource.config.vsphereConfig.tags.category
    resource.config.vsphereConfig.tags.tag
    resource.displayName
    resource.name
    resource.nodePoolAutoscaling.maxReplicas
    resource.nodePoolAutoscaling.minReplicas
    resource.onPremVersion

    次のステップ