Menyiapkan cluster Standard untuk menggunakan Autopilot secara default

Anda dapat mengonfigurasi cluster Google Kubernetes Engine (GKE) Standard agar berfungsi mirip dengan cluster mode Autopilot dengan mengaktifkan setelan cluster seperti ComputeClass default, kebijakan keamanan cluster Autopilot, dan penskalaan hingga nol cluster.

Dokumen ini ditujukan untuk administrator platform dan engineer keamanan yang ingin mendapatkan semua manfaat mode Autopilot di cluster Standard dengan fleksibilitas untuk mengubah atau menonaktifkan setelan individual. Jika Anda tidak memerlukan fleksibilitas ini, buat cluster Autopilot khusus.

Anda seharusnya sudah memahami konsep berikut:

Setelan cluster Autopilot

Untuk mengonfigurasi cluster Standard agar berfungsi seperti cluster Autopilot, Anda harus mengonfigurasi semua setelan berikut:

  • ComputeClass Autopilot sebagai default cluster: tetapkan salah satu ComputeClass Autopilot bawaan. Setiap Pod yang tidak memilih ComputeClass akan berjalan menggunakan ComputeClass default yang ditentukan. ComputeClass bawaan semuanya menggunakan mode Autopilot dan model penagihan berbasis Pod.
  • Lakukan penskalaan otomatis cluster ke nol node: konfigurasikan autoscaler cluster untuk menskalakan cluster ke nol node saat tidak ada workload pengguna yang aktif di cluster. Secara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler menskalakan cluster ke nol node.
  • Nol node awal: selama pembuatan cluster, cegah pembuatan otomatis node pool default. Untuk cluster yang ada, hapus node pool yang dibuat secara manual.
  • Kebijakan keamanan cluster Autopilot: menerapkan semua kebijakan keamanan Autopilot. Kebijakan ini membantu melindungi workload dan identitas sistem.

Anda dapat mengubah cluster untuk mengubah setelan ini secara terpisah dari setelan lainnya. Misalnya, jika Anda perlu membuat node pool secara manual, Anda dapat menonaktifkan kebijakan keamanan cluster Autopilot yang sesuai tanpa mengubah setelan lainnya.

Pertimbangan fleksibilitas dan keamanan

Saat Anda membuat cluster Autopilot, mode cluster bersifat permanen. Setelan cluster seperti penskalaan ke nol node, mencegah pembuatan node pool secara manual, dan berbagai batasan keamanan tidak dapat diubah. Namun, saat Anda mengonfigurasi cluster Standard untuk menggunakan semua setelan cluster Autopilot, setelan tersebut dapat diubah. Siapa pun yang memiliki akses untuk mengubah konfigurasi cluster dapat mengubah atau menonaktifkan setelan individual.

Untuk menerapkan penggunaan setelan ini di seluruh organisasi, folder, atau project, administrator organisasi dapat menggunakan batasan kebijakan organisasi kustom. Untuk mengetahui informasi selengkapnya, lihat bagian Menerapkan setelan Autopilot dengan kebijakan organisasi kustom dalam dokumen ini.

Batasan

Jika Anda mengonfigurasi Confidential GKE Nodes di level cluster, GKE akan mengabaikan perintah Anda untuk menggunakan ComputeClass Autopilot sebagai default cluster.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

  • Aktifkan Google Kubernetes Engine API.
  • Aktifkan Google Kubernetes Engine API
  • Untuk menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
  • Pastikan Anda memiliki cluster Standard yang memenuhi semua persyaratan.

Persyaratan

Untuk menggunakan semua kemampuan Autopilot di cluster Standard, cluster Anda harus memenuhi persyaratan berikut:

  • Cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru. Persyaratan versi untuk setiap setelan adalah sebagai berikut:

    • Untuk menetapkan ComputeClass Autopilot bawaan sebagai default cluster, cluster harus menjalankan GKE versi 1.37.1-gke.1380000 atau yang lebih baru.
    • Untuk membuat cluster yang memiliki nol node awal, cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru.
    • Untuk mengonfigurasi autoscaler cluster agar menskalakan cluster ke nol node, cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru.

    Untuk mengupgrade cluster ke versi yang kompatibel, lihat Mengupgrade bidang kontrol atau node pool cluster secara manual.

  • Cluster harus memenuhi semua persyaratan untuk menggunakan ComputeClasses Autopilot. Untuk memeriksa apakah cluster Anda memenuhi persyaratan ini, lihat Menjalankan workload dalam mode Autopilot di cluster Standard.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat atau mengupdate cluster agar menggunakan mode Autopilot, minta administrator untuk memberi Anda peran IAM berikut di project Google Cloud Anda:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat cluster Standard yang menggunakan mode Autopilot

Untuk membuat cluster Standard baru yang menggunakan semua setelan Autopilot, jalankan perintah berikut:

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Ganti kode berikut:

  • CLUSTER_NAME: nama untuk cluster baru Anda.
  • CONTROL_PLANE_LOCATION: region untuk bidang kontrol cluster Anda, seperti us-central1.
  • BUILT_IN_COMPUTECLASS_NAME: ComputeClass bawaan yang akan digunakan sebagai default cluster, seperti autopilot.

Secara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler cluster menskalakan cluster ke nol node menggunakan flag --cluster-scale-to-zero-delay:

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Ganti SCALE_TO_ZERO_DELAY dengan durasi penundaan. Nilai ini harus menentukan bilangan bulat dan satuan waktu, seperti 0s, 1m, atau 3h. Penundaan maksimum adalah 3 jam. Jika Anda tidak menentukan flag --cluster-scale-to-zero-delay, penundaan defaultnya adalah 3 jam.

Jika perintah pembuatan cluster Anda gagal dan menampilkan pesan error, periksa pesan error untuk mengetahui informasi selengkapnya. Error yang paling umum adalah sebagai berikut:

  • Cluster Anda menggunakan versi yang tidak mendukung salah satu flag yang ditentukan. Untuk mengatasi error ini, update cluster Anda ke versi minimum yang diperlukan seperti yang ditentukan di bagian Persyaratan.
  • Anda menentukan flag konfigurasi node pool (seperti flag --machine-type) dalam perintah pembuatan cluster. Karena cluster baru Anda tidak memiliki node pool awal, Anda tidak dapat menentukan flag konfigurasi node pool. Untuk mengatasi error ini, hapus flag konfigurasi node pool dari perintah Anda.
  • Anda menentukan nama ComputeClass kustom untuk flag --default-compute-class. Untuk mengatasi error ini, tentukan salah satu ComputeClass Autopilot bawaan.

Mengupdate cluster Standard yang ada untuk menggunakan mode Autopilot

Anda dapat mengubah cluster Standard yang ada untuk menggunakan mode Autopilot. Proses ini melibatkan perubahan yang berpotensi mengganggu workload Anda, seperti menghapus node pool yang dibuat secara manual. Lakukan langkah-langkah ini selama periode pemeliharaan terjadwal.

  1. Pastikan cluster Anda memenuhi semua Persyaratan dalam dokumen ini.

  2. Tinjau cluster Anda dan lakukan perubahan yang diperlukan untuk menghindari konflik dengan kebijakan cluster Autopilot. Untuk mengetahui informasi selengkapnya tentang potensi perubahan, lihat Kebijakan yang didukung.

  3. Saat Anda menetapkan ComputeClass Autopilot sebagai default cluster, Pod masuk yang tidak memilih ComputeClass lain akan menjadi workload Autopilot. Periksa workload yang tidak memilih ComputeClass untuk properti berikut:

    • Pastikan workload Anda mematuhi batasan keamanan Autopilot, atau konfigurasikan daftar yang diizinkan untuk workload dengan hak istimewa.
    • Temukan dan hapus pemilih node cloud.google.com/gke-nodepool atau aturan afinitas node dari Pod.
    • Periksa apakah ada namespace yang memiliki label cloud.google.com/default-compute-class atau cloud.google.com/default-compute-class-non-daemonset. ComputeClass default tingkat namespace lebih diutamakan daripada ComputeClass default tingkat cluster.
  4. Periksa apakah cluster memiliki ComputeClass kustom yang bernama default:

    kubectl get computeclass default -o yaml
    

    Jika output kosong, lanjutkan ke langkah berikutnya. Jika ComputeClass default ada, output-nya akan mirip dengan yang berikut ini:

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    

    Dalam output, jika anotasi cloud.google.com/gke-managed-default-compute-class: "true" ada di kolom metadata.annotations, lanjutkan ke langkah berikutnya. Jika anotasi ini tidak ada, hapus ComputeClass:

    kubectl delete computeclass default
    
  5. Temukan dan hapus node pool yang dibuat secara manual di cluster.

  6. Aktifkan setelan Autopilot untuk cluster:

    1. Tetapkan ComputeClass default cluster ke ComputeClass bawaan:

      gcloud container clusters update CLUSTER_NAME \
          --location=CONTROL_PLANE_LOCATION \
          --default-compute-class=BUILT_IN_COMPUTECLASS_NAME
      

      Ganti kode berikut:

      • CLUSTER_NAME: nama cluster Standard yang ada.
      • CONTROL_PLANE_LOCATION: region bidang kontrol cluster Anda.
      • BUILT_IN_COMPUTECLASS_NAME: ComputeClass Autopilot bawaan yang akan digunakan sebagai default cluster, seperti autopilot.
      1. Aktifkan penskalaan otomatis cluster dan biarkan autoscaler menskalakan cluster ke nol node:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero
        

        Secara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler cluster menskalakan cluster ke nol node menggunakan flag --cluster-scale-to-zero-delay:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero \
            --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY
        

        Ganti SCALE_TO_ZERO_DELAY dengan durasi penundaan. Nilai ini harus menentukan bilangan bulat dan satuan waktu, seperti 0s, 1m, atau 3h. Penundaan maksimum adalah 3 jam. Jika Anda tidak menentukan flag --cluster-scale-to-zero-delay, penundaan defaultnya adalah 3 jam.

      2. Aktifkan kebijakan cluster Autopilot:

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
        

    Jika salah satu perintah update cluster Anda gagal dan menampilkan pesan error, periksa pesan error untuk mengetahui informasi selengkapnya. Error yang paling umum adalah sebagai berikut:

    • Cluster Anda menggunakan versi yang tidak mendukung salah satu flag yang ditentukan. Untuk mengatasi error ini, upgrade cluster Anda ke versi minimum yang diperlukan seperti yang ditentukan di bagian Persyaratan.
    • Anda menentukan nama ComputeClass kustom untuk flag --default-compute-class. Untuk mengatasi error ini, tentukan salah satu ComputeClass Autopilot bawaan.
    • Cluster Anda memiliki node pool yang dibuat secara manual, sehingga GKE tidak dapat menerapkan kebijakan no-standard-node-pools. Untuk mengatasi error ini, hapus node pool yang dibuat secara manual.

Memverifikasi bahwa cluster Anda menggunakan mode Autopilot

Setelah mengonfigurasi cluster baru atau yang sudah ada, pastikan setelan Autopilot aktif:

  1. Pastikan setelan ComputeClass default, penskalaan hingga nol, dan kebijakan cluster diaktifkan di cluster:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"
    

    Outputnya mirip dengan hal berikut ini:

    autoscaling:
      defaultComputeClassConfig:
        computeClass: autopilot
        enabled: true
      scaleToZeroConfig:
        enabled: true
        delay: 3h
    autopilot:
      clusterPolicyConfig:
        noManualNodePools: true
        noSystemImpersonation: true
        noSystemMutation: true
        noUnsafeWebhooks: true
    
  2. Pastikan GKE membuat ComputeClass default terkelola di cluster Anda:

    kubectl get computeclass default -o yaml
    

    Outputnya mirip dengan hal berikut ini:

    Jika output kosong, lanjutkan ke langkah berikutnya. Jika ComputeClass default ada, output-nya akan mirip dengan yang berikut ini:

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    spec:
      autopilot:
        enabled: true
    # Multiple lines are omitted here.
    

    Dalam output ini, anotasi cloud.google.com/gke-managed-default-compute-class: "true" menunjukkan bahwa GKE membuat ComputeClass.

  3. Saat Anda men-deploy Pod yang tidak memilih ComputeClass yang berbeda, pastikan Pod tersebut berjalan di node yang dikelola Autopilot:

    kubectl get pods -o wide
    

    Dalam output, node yang dikelola oleh Autopilot memiliki awalan gk3- di kolom NODE.

Mengubah atau menonaktifkan setelan Autopilot satu per satu

Karena setiap kemampuan Autopilot dalam cluster Standard bersifat modular, Anda dapat menyesuaikan atau menonaktifkan setelan individual kapan saja. Jika Anda adalah administrator keamanan, Anda dapat menggunakan batasan kebijakan organisasi kustom untuk menerapkan setelan ini. Untuk mengetahui informasi selengkapnya, lihat Menerapkan setelan Autopilot dengan kebijakan organisasi kustom.

Menerapkan setelan Autopilot dengan kebijakan organisasi kustom

Karena setelan Autopilot di cluster Standard dapat diubah atau dinonaktifkan oleh pengguna yang memiliki izin update cluster, administrator organisasi dapat menggunakan batasan kebijakan organisasi kustom di Organization Policy Service untuk menerapkan setelan ini di seluruh organisasi, folder, atau project. Contoh batasan berikut menolak operasi pembuatan atau update cluster untuk cluster yang tidak menerapkan semua setelan Autopilot:

name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
  "resource.ClusterPolicyConfig.no_system_mutation != true ||
  resource.ClusterPolicyConfig.no_system_impersonation != true ||
  resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
  resource.ClusterPolicyConfig.no_standard_node_pools != true ||
  resource.ScaleToZeroConfig.enabled != true ||
  !(resource.DefaultComputeClassConfig.computeClass in [
    'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
  ])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.

Ganti ORGANIZATION_ID dengan ID organisasi Anda.

Langkah berikutnya