Membuat dan mengelola batasan kustom

Halaman ini menunjukkan cara menggunakan batasan kustom Layanan Kebijakan Organisasi untuk membatasi operasi tertentu pada resource Google Cloud berikut:

  • gkeonprem.googleapis.com/BareMetalAdminCluster
  • gkeonprem.googleapis.com/BareMetalCluster
  • gkeonprem.googleapis.com/BareMetalNodePool
  • gkeonprem.googleapis.com/VmwareAdminCluster
  • gkeonprem.googleapis.com/VmwareCluster
  • gkeonprem.googleapis.com/VmwareNodePool

Untuk mempelajari lebih lanjut Kebijakan Organisasi, lihat Kebijakan organisasi kustom.

Tentang batasan dan kebijakan organisasi

Layanan Kebijakan Organisasi Google Cloud memberi Anda kontrol terpusat dan terprogram atas resource organisasi Anda. Sebagai administrator kebijakan organisasi, Anda dapat menentukan kebijakan organisasi, yang merupakan serangkaian batasan yang disebut batasan yang berlaku untuk resourceGoogle Cloud dan turunan dari resource tersebut dalam hierarki resourceGoogle Cloud . Anda dapat menerapkan kebijakan organisasi di level organisasi, folder, atau project.

Kebijakan Organisasi menyediakan batasan terkelola bawaan untuk berbagai layanan Google Cloud . Namun, jika menginginkan kontrol yang lebih terperinci dan dapat disesuaikan atas kolom tertentu yang dibatasi dalam kebijakan organisasi, Anda juga dapat membuat batasan kustom dan menggunakan batasan kustom tersebut dalam kebijakan organisasi.

Pewarisan kebijakan

Secara default, kebijakan organisasi diwarisi oleh turunan resource tempat Anda menerapkan kebijakan tersebut. Misalnya, jika Anda menerapkan kebijakan pada folder, Google Cloud akan menerapkan kebijakan tersebut pada semua project di folder tersebut. Untuk mempelajari lebih lanjut perilaku ini dan cara mengubahnya, lihat Aturan evaluasi hierarki.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Instal Google Cloud CLI.

  5. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  6. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

    gcloud init
  7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  8. Verify that billing is enabled for your Google Cloud project.

  9. Instal Google Cloud CLI.

  10. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  11. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

    gcloud init
  12. Pastikan Anda mengetahui ID organisasi Anda.

Peran yang diperlukan

Guna mendapatkan izin yang diperlukan untuk mengelola kebijakan organisasi kustom, minta administrator untuk memberi Anda peran IAM Organization Policy Administrator (roles/orgpolicy.policyAdmin) di resource organisasi. Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran kustom atau peran bawaan lainnya.

Menyiapkan batasan kustom

Batasan kustom ditentukan dalam file YAML oleh resource, metode, kondisi, dan tindakan yang didukung oleh layanan tempat Anda menerapkan kebijakan organisasi. Kondisi untuk batasan kustom Anda ditentukan menggunakan Common Expression Language (CEL). Untuk mengetahui informasi selengkapnya tentang cara membuat kondisi dalam batasan kustom menggunakan CEL, lihat bagian CEL tentang Membuat dan mengelola batasan kustom.

Konsol

Untuk membuat batasan kustom, lakukan hal-hal berikut:

  1. Di konsol Google Cloud , buka halaman Organization policies.

    Buka Organization policies

  2. Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
  3. Klik Custom constraint.
  4. Di kotak Display name, masukkan nama yang dapat dibaca manusia untuk batasan. Nama ini digunakan dalam pesan error dan dapat digunakan untuk identifikasi dan proses debug. Jangan menggunakan informasi identitas pribadi (PII) atau data sensitif dalam nama tampilan karena nama ini dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 200 karakter.
  5. Di kotak Constraint ID, masukkan ID yang diinginkan untuk batasan kustom baru. Batasan kustom hanya boleh berisi huruf (termasuk huruf besar dan huruf kecil) atau angka, misalnya custom.denyHighNumvCPUs. Kolom ini dapat berisi hingga 70 karakter, tidak termasuk imbuhan (custom.), misalnya, organizations/123456789/customConstraints/custom. Jangan sertakan PII atau data sensitif dalam ID batasan Anda, karena dapat terekspos dalam pesan error.
  6. Di kotak Description, masukkan deskripsi batasan yang dapat dibaca manusia. Deskripsi ini digunakan sebagai pesan error saat kebijakan dilanggar. Sertakan detail tentang alasan pelanggaran kebijakan dapat terjadi dan cara menyelesaikan pelanggaran kebijakan tersebut. Jangan sertakan PII atau data sensitif dalam deskripsi Anda, karena dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 2.000 karakter.
  7. Di kotak Resource type, pilih nama resource REST Google Cloud yang berisi objek dan kolom yang ingin Anda batasi—misalnya, container.googleapis.com/NodePool. Sebagian besar jenis resource mendukung hingga 20 batasan kustom. Jika Anda mencoba membuat lebih banyak batasan kustom, operasi akan gagal.
  8. Batasan ini hanya dapat diterapkan pada metode REST CREATE.
  9. Untuk melihat metode yang didukung untuk setiap layanan, temukan layanan di Layanan yang mendukung batasan kustom.

  10. Untuk menentukan kondisi, klik Edit condition.
    1. Di panel Add condition, buat kondisi CEL yang mengacu pada resource layanan yang didukung, misalnya resource.management.autoUpgrade == false. Kolom ini dapat berisi hingga 1.000 karakter. Untuk mengetahui detail tentang penggunaan CEL, lihat Common Expression Language. Untuk mengetahui informasi selengkapnya tentang resource layanan yang dapat Anda gunakan dalam batasan kustom, lihat Layanan yang didukung batasan kustom.
    2. Klik Save.
  11. Di bagian Action, pilih apakah akan mengizinkan atau menolak metode yang dievaluasi jika kondisi di atas terpenuhi.
  12. Tindakan penolakan berarti operasi untuk membuat atau memperbarui resource diblokir jika kondisi bernilai benar.

    Tindakan izinkan berarti operasi untuk membuat atau memperbarui resource hanya diizinkan jika kondisi bernilai benar. Setiap kasus lainnya, kecuali yang tercantum secara eksplisit dalam kondisi, akan diblokir.

  13. Klik Create constraint.
  14. Setelah Anda memasukkan nilai ke setiap kolom, konfigurasi YAML yang setara untuk batasan kustom ini akan muncul di sebelah kanan.

gcloud

  1. Untuk membuat batasan kustom, buat file YAML menggunakan format berikut:
  2. name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
    resourceTypes: RESOURCE_NAME
    methodTypes:
      - CREATE
    condition: "CONDITION"
    actionType: ACTION
    displayName: DISPLAY_NAME
    description: DESCRIPTION

    Ganti kode berikut:

    • ORGANIZATION_ID: ID organisasi Anda, seperti 123456789.
    • CONSTRAINT_NAME: nama yang Anda inginkan untuk batasan kustom baru Anda. Batasan kustom hanya boleh berisi huruf (termasuk huruf besar dan huruf kecil) atau angka, misalnya, custom.denyHighNumvCPUs. Kolom ini dapat berisi hingga 70 karakter, tidak termasuk awalan (custom.)— misalnya, organizations/123456789/customConstraints/custom. Jangan sertakan PII atau data sensitif dalam ID batasan Anda, karena dapat terekspos dalam pesan error.
    • RESOURCE_NAME: nama resource Google Cloudyang sepenuhnya memenuhi syarat, yang berisi objek dan kolom yang ingin Anda batasi. Contoh, gkeonprem.googleapis.com/VmwareNodePool. Sebagian besar jenis resource mendukung hingga 20 batasan kustom. Jika Anda mencoba membuat lebih banyak batasan kustom, operasi akan gagal.
    • methodTypes: metode REST yang menerapkan batasan. Hanya dapat berupa CREATE.
    • Untuk melihat metode yang didukung untuk setiap layanan, temukan layanan di Layanan yang mendukung batasan kustom.

    • CONDITION: Kondisi CEL yang ditulis berdasarkan representasi resource layanan yang didukung. Kolom ini dapat berisi hingga 1.000 karakter. Contoh, resource.config.cpus > 4.
    • Untuk mengetahui informasi selengkapnya tentang resource yang tersedia untuk menulis kondisi, lihat Resource yang didukung.

    • ACTION: tindakan yang akan diambil jika condition terpenuhi. Hanya dapat berupa ALLOW.
    • Tindakan izinkan berarti jika kondisi bernilai benar, operasi untuk membuat atau memperbarui resource diizinkan. Artinya juga bahwa setiap kasus lain kecuali yang tercantum secara eksplisit dalam kondisi diblokir.

    • DISPLAY_NAME: nama yang mudah dibaca manusia untuk batasan tersebut. Nama ini digunakan dalam pesan error dan dapat digunakan untuk identifikasi dan proses debug. Jangan menggunakan PII atau data sensitif dalam nama tampilan karena nama ini dapat terekspos dalam pesan error. Kolom ini dapat berisi hingga 200 karakter.
    • DESCRIPTION: deskripsi batasan yang mudah dipahami manusia untuk ditampilkan sebagai pesan error saat kebijakan dilanggar. Kolom ini dapat berisi hingga 2.000 karakter.
  3. Setelah membuat file YAML untuk batasan kustom baru, Anda harus menyiapkannya agar tersedia untuk kebijakan organisasi di organisasi Anda. Untuk menyiapkan batasan kustom, gunakan perintah gcloud org-policies set-custom-constraint:
  4. gcloud org-policies set-custom-constraint CONSTRAINT_PATH

    Ganti CONSTRAINT_PATH dengan jalur lengkap ke file batasan kustom Anda. Contoh, /home/user/customconstraint.yaml.

    Setelah operasi ini selesai, batasan kustom Anda tersedia sebagai kebijakan organisasi dalam daftar kebijakan organisasi Google Cloud .

  5. Untuk memverifikasi ada tidaknya batasan kustom, gunakan perintah gcloud org-policies list-custom-constraints:
  6. gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

    Ganti ORGANIZATION_ID dengan ID resource organisasi Anda.

    Untuk mengetahui informasi selengkapnya, lihat Melihat kebijakan organisasi.

Menerapkan kebijakan organisasi kustom

Anda dapat menerapkan batasan dengan membuat kebijakan organisasi yang mereferensikannya, lalu menerapkan kebijakan organisasi tersebut ke resource Google Cloud .

Konsol

  1. Di konsol Google Cloud , buka halaman Organization policies.

    Buka Organization policies

  2. Dari pemilih project, pilih project yang ingin Anda tetapkan kebijakan organisasinya.
  3. Dari daftar di halaman Organization policies, pilih batasan Anda untuk melihat halaman Policy details untuk batasan tersebut.
  4. Guna mengonfigurasi kebijakan organisasi untuk resource ini, klik Manage policy.
  5. Di halaman Edit policy, pilih Override parent's policy.
  6. Klik Add a rule.
  7. Di bagian Enforcement, pilih apakah kebijakan organisasi ini diterapkan atau tidak.
  8. Opsional: Agar kebijakan organisasi menjadi bersyarat pada tag, klik Add condition. Perhatikan bahwa jika menambahkan aturan kondisional ke kebijakan organisasi, Anda harus menambahkan setidaknya satu aturan tanpa syarat atau kebijakan tidak dapat disimpan. Untuk mengetahui informasi selengkapnya, lihat Mencakup kebijakan organisasi dengan tag.
  9. Klik Test changes untuk menyimulasikan efek kebijakan organisasi. Untuk mengetahui informasi selengkapnya, lihat Menguji perubahan kebijakan organisasi dengan Policy Simulator.
  10. Untuk menerapkan kebijakan organisasi dalam mode uji coba, klik Set dry run policy. Untuk informasi selengkapnya, lihat Menguji kebijakan organisasi.
  11. Setelah Anda memverifikasi bahwa kebijakan organisasi dalam mode uji coba berfungsi sebagaimana mestinya, tetapkan kebijakan aktif dengan mengklik Set policy.

gcloud

  1. Untuk membuat kebijakan organisasi dengan aturan boolean, buat file YAML kebijakan yang mereferensikan batasan:
  2. name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
    spec:
      rules:
      - enforce: true
    
    dryRunSpec:
      rules:
      - enforce: true

    Ganti kode berikut:

    • PROJECT_ID: project tempat Anda ingin menerapkan batasan Anda.
    • CONSTRAINT_NAME: nama yang Anda tentukan untuk batasan kustom. Contoh, custom.denyHighNumvCPUs.
  3. Untuk menerapkan kebijakan organisasi dalam mode uji coba, jalankan perintah berikut dengan tanda dryRunSpec:
  4. gcloud org-policies set-policy POLICY_PATH --update-mask=dryRunSpec

    Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

  5. Setelah Anda memverifikasi bahwa kebijakan organisasi dalam mode uji coba berfungsi sebagaimana mestinya, tetapkan kebijakan aktif dengan perintah org-policies set-policy dan tanda spec:
  6. gcloud org-policies set-policy POLICY_PATH --update-mask=spec

    Ganti POLICY_PATH dengan jalur lengkap ke file YAML kebijakan organisasi Anda. Kebijakan ini memerlukan waktu hingga 15 menit untuk diterapkan.

Menguji kebijakan organisasi kustom

Contoh berikut menunjukkan cara menolak update kumpulan node dengan lebih dari empat vCPU di cluster pengguna VMware Google Distributed Cloud (khusus software).

Sebelum memulai, Anda harus mengetahui hal-hal berikut:

  • ID organisasi Anda
  • Project ID

Membuat batasan

  1. Simpan file berikut sebagai constraint-node-pool-vcpus.yaml:

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyHighNumvCPUs
    resourceTypes:
    - gkeonprem.googleapis.com/VmwareNodePool
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.config.cpus > 4
    actionType: DENY
    displayName: Node pool vCPU constraint
    description: Node pools must have 4 or fewer vCPUs.
    

    Hal ini menentukan batasan yang membatasi jumlah vCPU di kumpulan node hingga 4 atau kurang. Jika jumlah vCPU lebih besar dari 4 pada pembuatan atau update node pool, operasi akan ditolak.

  2. Terapkan batasan:

    gcloud org-policies set-custom-constraint ~/constraint-node-pool-vcpus.yaml
    
  3. Pastikan batasan ada:

    gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
    

    Outputnya mirip dengan contoh berikut:

    CUSTOM_CONSTRAINT         ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                            DISPLAY_NAME
    custom.denyHighNumvCPUs   DENY         CREATE         gkeonprem.googleapis.com/VmwareNodePool   Node pool vCPU constraint
    ...
    

Membuat kebijakan

  1. Simpan file berikut sebagai policy-deny-node-pool-high-vcpus.yaml:

    name: projects/PROJECT_ID/policies/custom.denyHighNumvCPUs
    spec:
      rules:
      - enforce: true
    

    Ganti PROJECT_ID dengan project ID Anda.

  2. Terapkan kebijakan:

    gcloud org-policies set-policy ~/policy-deny-node-pool-high-vcpus.yaml
    
  3. Pastikan kebijakan ada:

    gcloud org-policies list --project=PROJECT_ID
    

    Outputnya mirip dengan hal berikut ini:

    CONSTRAINT               LIST_POLICY    BOOLEAN_POLICY    ETAG
    custom.denyHighNumvCPUs  -              SET               COCsm5QGENiXi2E=
    

Setelah Anda menerapkan kebijakan, tunggu sekitar 15 menit hingga Google Cloud mulai menerapkan kebijakan tersebut.

Menguji kebijakan

Coba perbarui node pool yang melanggar kebijakan.

  1. Atau, cantumkan cluster pengguna untuk mendapatkan nama dan region cluster:

    gcloud container vmware clusters list \
        --project=PROJECT_ID\
        --location=-
    

    Saat Anda menyetel --location=-, artinya mencantumkan semua cluster pengguna di semua region. Jika Anda perlu mempersempit cakupan daftar, tetapkan --location ke region yang Anda tentukan saat membuat cluster atau mendaftarkan cluster di GKE On-Prem API.

  2. Secara opsional, cantumkan node pool untuk mendapatkan nama node pool yang ingin Anda perbarui:

    gcloud container vmware node-pools list \
        --cluster=USER_CLUSTER_NAME \
        --project=PROJECT_ID \
        --location=REGION
    

    Ganti kode berikut:

    • USER_CLUSTER_NAME: Nama cluster pengguna yang berisi node pool.

    • REGION: Google Cloud Region yang terkait dengan cluster pengguna.

  3. Jalankan perintah berikut untuk mencoba mengupdate jumlah vCPU menjadi 6:

    gcloud container vmware node-pools update NODE_POOL_NAME \
        --cluster=USER_CLUSTER_NAME  \
        --project=PROJECT_ID \
        --location=REGION \
        --cpus=6
     

    Ganti NODE_POOL_NAME: nama node pool.

Operasi ditolak. Outputnya adalah sebagai berikut:

Operation denied by custom org policy on resource 'projects/PROJECT_ID/locations/REGION/entryGroups/org-policy-test': ["customConstraints/custom.denyHighNumvCPUs"]

Contoh kebijakan organisasi kustom untuk kasus penggunaan umum

Tabel ini memberikan contoh sintaksis untuk beberapa batasan kustom umum.

Deskripsi Sintaksis batasan
Menolak versi
    name: organizations/ORGANIZATION_ID/customConstraints/custom.VersionDeny
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.bareMetalVersion.startsWith("1.29")
    actionType: DENY
    displayName: Bare metal user cluster version denied
    description: The bare metal user cluster version is no longer supported
    
Hanya izinkan jika ada kunci
    name: organizations/ORGANIZATION_ID/customConstraints/custom.AllowAnnotation
    resourceTypes:
    - gkeonprem.googleapis.com/BareMetalAdminCluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: '"allowKey" in resource.annotations'
    actionType: ALLOW
    displayName: Bare metal admin cluster annotation keys allowed
    description: Annotation keys are allowed on bare metal admin clusters
    

Resource yang didukung GKE On-Prem API

Tabel berikut mencantumkan resource GKE On-Prem API yang dapat Anda referensikan dalam batasan kustom.

Resource Kolom
gkeonprem.googleapis.com/BareMetalAdminCluster resource.annotations
resource.bareMetalVersion
resource.binaryAuthorization.evaluationMode
resource.clusterOperations.enableApplicationLogs
resource.controlPlane.apiServerArgs.argument
resource.controlPlane.apiServerArgs.value
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
resource.description
resource.loadBalancer.manualLbConfig.enabled
resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
resource.loadBalancer.vipConfig.controlPlaneVip
resource.maintenanceConfig.maintenanceAddressCidrBlocks
resource.name
resource.networkConfig.islandModeCidr.podAddressCidrBlocks
resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
resource.nodeAccessConfig.loginUser
resource.nodeConfig.maxPodsPerNode
resource.osEnvironmentConfig.packageRepoExcluded
resource.proxy.noProxy
resource.proxy.uri
resource.securityConfig.authorization.adminUsers.username
resource.storage.lvpNodeMountsConfig.path
resource.storage.lvpNodeMountsConfig.storageClass
resource.storage.lvpShareConfig.lvpConfig.path
resource.storage.lvpShareConfig.lvpConfig.storageClass
resource.storage.lvpShareConfig.sharedPathPvCount
gkeonprem.googleapis.com/BareMetalCluster resource.adminClusterMembership
resource.annotations
resource.bareMetalVersion
resource.binaryAuthorization.evaluationMode
resource.clusterOperations.enableApplicationLogs
resource.controlPlane.apiServerArgs.argument
resource.controlPlane.apiServerArgs.value
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.operatingSystem
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.effect
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.key
resource.controlPlane.controlPlaneNodePoolConfig.nodePoolConfig.taints.value
resource.description
resource.loadBalancer.bgpLbConfig.addressPools.addresses
resource.loadBalancer.bgpLbConfig.addressPools.avoidBuggyIps
resource.loadBalancer.bgpLbConfig.addressPools.manualAssign
resource.loadBalancer.bgpLbConfig.addressPools.pool
resource.loadBalancer.bgpLbConfig.asn
resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.asn
resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.controlPlaneNodes
resource.loadBalancer.bgpLbConfig.bgpPeerConfigs.ipAddress
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
resource.loadBalancer.bgpLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
resource.loadBalancer.manualLbConfig.enabled
resource.loadBalancer.metalLbConfig.addressPools.addresses
resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
resource.loadBalancer.metalLbConfig.addressPools.manualAssign
resource.loadBalancer.metalLbConfig.addressPools.pool
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryBurst
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.registryPullQps
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.nodeConfigs.nodeIp
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.operatingSystem
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.effect
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.key
resource.loadBalancer.metalLbConfig.loadBalancerNodePoolConfig.nodePoolConfig.taints.value
resource.loadBalancer.portConfig.controlPlaneLoadBalancerPort
resource.loadBalancer.vipConfig.controlPlaneVip
resource.loadBalancer.vipConfig.ingressVip
resource.maintenanceConfig.maintenanceAddressCidrBlocks
resource.name
resource.networkConfig.advancedNetworking
resource.networkConfig.islandModeCidr.podAddressCidrBlocks
resource.networkConfig.islandModeCidr.serviceAddressCidrBlocks
resource.networkConfig.multipleNetworkInterfacesConfig.enabled
resource.networkConfig.srIovConfig.enabled
resource.nodeAccessConfig.loginUser
resource.nodeConfig.containerRuntime
resource.nodeConfig.maxPodsPerNode
resource.osEnvironmentConfig.packageRepoExcluded
resource.proxy.noProxy
resource.proxy.uri
resource.securityConfig.authorization.adminUsers.username
resource.storage.lvpNodeMountsConfig.path
resource.storage.lvpNodeMountsConfig.storageClass
resource.storage.lvpShareConfig.lvpConfig.path
resource.storage.lvpShareConfig.lvpConfig.storageClass
resource.storage.lvpShareConfig.sharedPathPvCount
resource.upgradePolicy.policy
gkeonprem.googleapis.com/BareMetalNodePool resource.annotations
resource.displayName
resource.name
resource.nodePoolConfig.kubeletConfig.registryBurst
resource.nodePoolConfig.kubeletConfig.registryPullQps
resource.nodePoolConfig.kubeletConfig.serializeImagePullsDisabled
resource.nodePoolConfig.nodeConfigs.nodeIp
resource.nodePoolConfig.operatingSystem
resource.nodePoolConfig.taints.effect
resource.nodePoolConfig.taints.key
resource.nodePoolConfig.taints.value
resource.upgradePolicy.parallelUpgradeConfig.concurrentNodes
resource.upgradePolicy.parallelUpgradeConfig.minimumAvailableNodes
gkeonprem.googleapis.com/VmwareAdminCluster resource.addonNode.autoResizeConfig.enabled
resource.annotations
resource.antiAffinityGroups.aagConfigDisabled
resource.authorization.viewerUsers.username
resource.autoRepairConfig.enabled
resource.bootstrapClusterMembership
resource.controlPlaneNode.cpus
resource.controlPlaneNode.memory
resource.controlPlaneNode.replicas
resource.description
resource.enableAdvancedCluster
resource.imageType
resource.loadBalancer.f5Config.address
resource.loadBalancer.f5Config.partition
resource.loadBalancer.f5Config.snatPool
resource.loadBalancer.manualLbConfig.addonsNodePort
resource.loadBalancer.manualLbConfig.controlPlaneNodePort
resource.loadBalancer.manualLbConfig.ingressHttpNodePort
resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
resource.loadBalancer.metalLbConfig.enabled
resource.loadBalancer.vipConfig.addonsVip
resource.loadBalancer.vipConfig.controlPlaneVip
resource.name
resource.networkConfig.dhcpIpConfig.enabled
resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.gateway
resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.hostname
resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.ips.ip
resource.networkConfig.haControlPlaneConfig.controlPlaneIpBlock.netmask
resource.networkConfig.hostConfig.dnsSearchDomains
resource.networkConfig.hostConfig.dnsServers
resource.networkConfig.hostConfig.ntpServers
resource.networkConfig.podAddressCidrBlocks
resource.networkConfig.serviceAddressCidrBlocks
resource.networkConfig.staticIpConfig.ipBlocks.gateway
resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
resource.networkConfig.staticIpConfig.ipBlocks.netmask
resource.networkConfig.vcenterNetwork
resource.onPremVersion
resource.platformConfig.requiredPlatformVersion
resource.vcenter.address
resource.vcenter.caCertData
resource.vcenter.cluster
resource.vcenter.datacenter
resource.vcenter.dataDisk
resource.vcenter.datastore
resource.vcenter.folder
resource.vcenter.resourcePool
resource.vcenter.storagePolicyName
gkeonprem.googleapis.com/VmwareCluster resource.adminClusterMembership
resource.annotations
resource.antiAffinityGroups.aagConfigDisabled
resource.authorization.adminUsers.username
resource.autoRepairConfig.enabled
resource.binaryAuthorization.evaluationMode
resource.controlPlaneNode.autoResizeConfig.enabled
resource.controlPlaneNode.cpus
resource.controlPlaneNode.memory
resource.controlPlaneNode.replicas
resource.controlPlaneNode.vsphereConfig.datastore
resource.controlPlaneNode.vsphereConfig.storagePolicyName
resource.dataplaneV2.advancedNetworking
resource.dataplaneV2.dataplaneV2Enabled
resource.dataplaneV2.forwardMode
resource.dataplaneV2.windowsDataplaneV2Enabled
resource.description
resource.disableBundledIngress
resource.enableAdvancedCluster
resource.enableControlPlaneV2
resource.loadBalancer.f5Config.address
resource.loadBalancer.f5Config.partition
resource.loadBalancer.f5Config.snatPool
resource.loadBalancer.manualLbConfig.controlPlaneNodePort
resource.loadBalancer.manualLbConfig.ingressHttpNodePort
resource.loadBalancer.manualLbConfig.ingressHttpsNodePort
resource.loadBalancer.manualLbConfig.konnectivityServerNodePort
resource.loadBalancer.metalLbConfig.addressPools.addresses
resource.loadBalancer.metalLbConfig.addressPools.avoidBuggyIps
resource.loadBalancer.metalLbConfig.addressPools.manualAssign
resource.loadBalancer.metalLbConfig.addressPools.pool
resource.loadBalancer.vipConfig.controlPlaneVip
resource.loadBalancer.vipConfig.ingressVip
resource.name
resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.gateway
resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.hostname
resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.ips.ip
resource.networkConfig.controlPlaneV2Config.controlPlaneIpBlock.netmask
resource.networkConfig.dhcpIpConfig.enabled
resource.networkConfig.hostConfig.dnsSearchDomains
resource.networkConfig.hostConfig.dnsServers
resource.networkConfig.hostConfig.ntpServers
resource.networkConfig.podAddressCidrBlocks
resource.networkConfig.serviceAddressCidrBlocks
resource.networkConfig.staticIpConfig.ipBlocks.gateway
resource.networkConfig.staticIpConfig.ipBlocks.ips.hostname
resource.networkConfig.staticIpConfig.ipBlocks.ips.ip
resource.networkConfig.staticIpConfig.ipBlocks.netmask
resource.networkConfig.vcenterNetwork
resource.onPremVersion
resource.storage.vsphereCsiDisabled
resource.upgradePolicy.controlPlaneOnly
resource.vcenter.caCertData
resource.vcenter.cluster
resource.vcenter.datacenter
resource.vcenter.datastore
resource.vcenter.folder
resource.vcenter.resourcePool
resource.vcenter.storagePolicyName
resource.vmTrackingEnabled
gkeonprem.googleapis.com/VmwareNodePool resource.annotations
resource.config.bootDiskSizeGb
resource.config.cpus
resource.config.enableLoadBalancer
resource.config.image
resource.config.imageType
resource.config.memoryMb
resource.config.replicas
resource.config.taints.effect
resource.config.taints.key
resource.config.taints.value
resource.config.vsphereConfig.datastore
resource.config.vsphereConfig.hostGroups
resource.config.vsphereConfig.tags.category
resource.config.vsphereConfig.tags.tag
resource.displayName
resource.name
resource.nodePoolAutoscaling.maxReplicas
resource.nodePoolAutoscaling.minReplicas
resource.onPremVersion

Langkah berikutnya