Puoi configurare i cluster Google Kubernetes Engine (GKE) Standard in modo che funzionino in modo simile ai cluster in modalità Autopilot abilitando impostazioni del cluster come la classe di computing predefinita, le policy di sicurezza del cluster Autopilot e la scalabilità fino a zero del cluster.
Questo documento è rivolto agli amministratori della piattaforma e ai Security Engineer che vogliono ottenere tutti i vantaggi della modalità Autopilot in un cluster Standard con la flessibilità di modificare o disabilitare singole impostazioni. Se non hai bisogno di questa flessibilità, crea un cluster Autopilot dedicato.
Dovresti già avere familiarità con i seguenti concetti:
- Modalità GKE Autopilot
- Informazioni sui workload in modalità Autopilot in GKE Standard
- GKE ComputeClasses
Impostazioni del cluster Autopilot
Per configurare un cluster Standard in modo che funzioni come un cluster Autopilot, configura tutte le seguenti impostazioni:
- ComputeClass Autopilot come predefinita del cluster: imposta una delle ComputeClass Autopilot integrate. Tutti i pod che non selezionano una classe di computing vengono eseguiti utilizzando la classe di computing predefinita specificata. Le classi di computing integrate utilizzano tutte la modalità Autopilot e il modello di fatturazione basato su pod.
- Scala automaticamente il cluster fino a zero nodi: configura il gestore della scalabilità automatica dei cluster per scalare il cluster fino a zero nodi quando non sono presenti workload utente attivi nel cluster. Facoltativamente, puoi modificare il periodo di ritardo prima che il gestore della scalabilità automatica riduca il cluster a zero nodi.
- Zero nodi iniziali: durante la creazione del cluster, impedisce la creazione automatica di un pool di nodi predefinito. Per i cluster esistenti, elimina i pool di nodi creati manualmente.
- Policy di sicurezza dei cluster Autopilot: applica tutte le policy di sicurezza Autopilot. Queste policy contribuiscono a proteggere i workload e le identità del sistema.
Puoi modificare il cluster per cambiare una di queste impostazioni indipendentemente dalle altre. Ad esempio, se devi creare manualmente un pool di nodi, puoi disattivare la policy di sicurezza del cluster Autopilot corrispondente senza modificare le altre impostazioni.
Considerazioni su flessibilità e sicurezza
Quando crei un cluster Autopilot, la modalità del cluster è permanente. Le impostazioni del cluster, come la scalabilità a zero nodi, la prevenzione della creazione manuale di node pool e i vari vincoli di sicurezza, non sono modificabili. Tuttavia, quando configuri un cluster Standard in modo che utilizzi tutte le impostazioni di un cluster Autopilot, le impostazioni sono modificabili. Chiunque abbia accesso per modificare le configurazioni del cluster può modificare o disattivare singole impostazioni.
Per applicare l'utilizzo di queste impostazioni in un'organizzazione, una cartella o un progetto, gli amministratori dell'organizzazione possono utilizzare un vincolo delle policy dell'organizzazione personalizzato. Per maggiori informazioni, consulta la sezione Applica le impostazioni di Autopilot con le policy dell'organizzazione personalizzate di questo documento.
Limitazioni
Se configuri Confidential GKE Node a livello di cluster, GKE ignora il comando per utilizzare una classe di computing Autopilot come valore predefinito del cluster.
Prima di iniziare
Prima di iniziare, assicurati di aver eseguito le seguenti attività:
- Abilita l'API Google Kubernetes Engine. Abilita l'API Google Kubernetes Engine
- Per utilizzare Google Cloud CLI per questa attività,
installala e poi
inizializza
gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima
versione eseguendo il comando
gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
- Assicurati di avere un cluster Standard che soddisfi tutti i requisiti.
Requisiti
Per utilizzare tutte le funzionalità di Autopilot in un cluster Standard, il cluster deve soddisfare i seguenti requisiti:
Il cluster deve eseguire GKE versione 1.37.1-gke.3020000 o successiva. I requisiti di versione per le singole impostazioni sono i seguenti:
- Per impostare una classe ComputeClass Autopilot integrata come predefinita per il cluster, il cluster deve eseguire GKE versione 1.37.1-gke.1380000 o successiva.
- Per creare un cluster con zero nodi iniziali, il cluster deve eseguire GKE versione 1.37.1-gke.3020000 o successive.
- Per configurare il gestore della scalabilità automatica dei cluster in modo da scalare il cluster fino a zero nodi, il cluster deve eseguire GKE versione 1.37.1-gke.3020000 o successiva.
Per eseguire l'upgrade del cluster a una versione compatibile, consulta Esegui manualmente l'upgrade del control plane o dei node pool di un cluster.
Il cluster deve soddisfare tutti i requisiti per l'utilizzo delle classi di computing Autopilot. Per verificare se il tuo cluster soddisfa questi requisiti, consulta Esegui i workload in modalità Autopilot nei cluster Standard.
Ruoli e autorizzazioni richiesti
Per ottenere le autorizzazioni necessarie per creare o aggiornare i cluster in modo da utilizzare la modalità Autopilot, chiedi all'amministratore di concederti i seguenti ruoli IAM nel tuo progetto Google Cloud :
-
Creare e aggiornare cluster e node pool:
Kubernetes Engine Cluster Admin (
roles/container.clusterAdmin) -
Gestisci le classi di calcolo e i workload nel cluster:
Kubernetes Engine Developer (
roles/container.developer)
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Crea un cluster Standard che utilizza la modalità Autopilot
Per creare un nuovo cluster Standard che utilizzi tutte le impostazioni di Autopilot, esegui questo comando:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Sostituisci quanto segue:
CLUSTER_NAME: un nome per il nuovo cluster.CONTROL_PLANE_LOCATION: una regione per il control plane del cluster, ad esempious-central1.BUILT_IN_COMPUTECLASS_NAME: la classe ComputeClass integrata da utilizzare come predefinita del cluster, ad esempioautopilot.
Facoltativamente, puoi modificare il periodo di ritardo prima che il gestore della scalabilità automatica dei cluster
scali il cluster a zero nodi utilizzando il flag
--cluster-scale-to-zero-delay:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Sostituisci SCALE_TO_ZERO_DELAY con la durata del ritardo.
Questo valore deve specificare un numero intero e un'unità di tempo, ad esempio 0s, 1m o 3h. Il ritardo massimo è di 3 ore. Se non specifichi il flag --cluster-scale-to-zero-delay, il ritardo predefinito è di 3 ore.
Se il comando di creazione del cluster non va a buon fine e viene visualizzato un messaggio di errore, controlla il messaggio di errore per ulteriori informazioni. Gli errori più comuni sono i seguenti:
- Il cluster utilizza una versione che non supporta uno dei flag specificati. Per risolvere questo errore, aggiorna il cluster alla versione minima richiesta, come specificato nella sezione Requisiti.
- Hai specificato i flag di configurazione del pool di nodi (come il flag
--machine-type) nel comando di creazione del cluster. Poiché il nuovo cluster non ha un pool di nodi iniziale, non puoi specificare i flag di configurazione del pool di nodi. Per risolvere questo errore, rimuovi i flag di configurazione del pool di nodi dal comando. - Hai specificato il nome di una ComputeClass personalizzata per il flag
--default-compute-class. Per risolvere questo errore, specifica una delle classi di computing Autopilot integrate.
Aggiorna un cluster Standard esistente per utilizzare la modalità Autopilot
Puoi modificare un cluster Standard esistente per utilizzare la modalità Autopilot. Questo processo comporta modifiche potenzialmente dannose ai workload, come l'eliminazione dei node pool creati manualmente. Esegui questi passaggi durante un periodo di manutenzione programmata.
Verifica che il cluster soddisfi tutti i requisiti descritti in questo documento.
Esamina il cluster e apporta le modifiche necessarie per evitare conflitti con le policy del cluster Autopilot. Per saperne di più sulle potenziali modifiche, consulta Policy supportate.
Quando imposti una classe ComputeClass Autopilot come predefinita del cluster, i pod in entrata che non selezionano una classe ComputeClass diversa diventano workload Autopilot. Controlla tutti i workload che non selezionano una ComputeClass per le seguenti proprietà:
- Verifica che i tuoi workload rispettino i vincoli di sicurezza di Autopilot o configura una lista consentita per i workload con privilegi.
- Trova e rimuovi
cloud.google.com/gke-nodepoolselettori di nodi o regole di affinità dei nodi dai pod. - Controlla se gli spazi dei nomi hanno l'etichetta
cloud.google.com/default-compute-classocloud.google.com/default-compute-class-non-daemonset. Le classi ComputeClass predefinite a livello di spazio dei nomi hanno la precedenza sulla classe ComputeClass predefinita a livello di cluster.
Controlla se il cluster ha una ComputeClass personalizzata denominata
default:kubectl get computeclass default -o yamlSe l'output è vuoto, vai al passaggio successivo. Se la classe ComputeClass
defaultesiste, l'output è simile al seguente:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.Nell'output, se l'annotazione
cloud.google.com/gke-managed-default-compute-class: "true"si trova nel campometadata.annotations, vai al passaggio successivo. Se questa annotazione non esiste, elimina la classe ComputeClass:kubectl delete computeclass defaultTrova ed elimina eventuali node pool esistenti creati manualmente nel cluster.
Attiva le impostazioni di Autopilot per il cluster:
Imposta la classe ComputeClass predefinita del cluster su una classe ComputeClass integrata:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMESostituisci quanto segue:
CLUSTER_NAME: il nome del tuo cluster Standard esistente.CONTROL_PLANE_LOCATION: la regione del control plane del cluster.BUILT_IN_COMPUTECLASS_NAME: la classe ComputeClass Autopilot integrata da utilizzare come predefinita del cluster, ad esempioautopilot.
Attiva la scalabilità automatica dei cluster e consenti al gestore della scalabilità automatica di scalare il cluster a zero nodi:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroFacoltativamente, puoi modificare il periodo di ritardo prima che il gestore della scalabilità automatica del cluster riduca il cluster a zero nodi utilizzando il flag
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYSostituisci
SCALE_TO_ZERO_DELAYcon la durata del ritardo. Questo valore deve specificare un numero intero e un'unità di tempo, ad esempio0s,1mo3h. Il ritardo massimo è di 3 ore. Se non specifichi il flag--cluster-scale-to-zero-delay, il ritardo predefinito è di 3 ore.Attiva le policy del cluster Autopilot:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Se uno dei comandi di aggiornamento del cluster non va a buon fine e viene visualizzato un messaggio di errore, controlla il messaggio di errore per ulteriori informazioni. Gli errori più comuni sono i seguenti:
- Il cluster utilizza una versione che non supporta uno dei flag specificati. Per risolvere questo errore, esegui l'upgrade del cluster alla versione minima richiesta, come specificato nella sezione Requisiti.
- Hai specificato il nome di una ComputeClass personalizzata per il flag
--default-compute-class. Per risolvere questo errore, specifica una delle classi di calcolo Autopilot integrate. - Il tuo cluster ha node pool creati manualmente, quindi GKE non può applicare la policy
no-standard-node-pools. Per risolvere questo errore, elimina i pool di nodi creati manualmente.
Verifica che il cluster utilizzi la modalità Autopilot
Dopo aver configurato il cluster nuovo o esistente, verifica che le impostazioni di Autopilot siano attive:
Verifica che le impostazioni predefinite di ComputeClass, scalabilità fino a zero e policy del cluster siano abilitate sul cluster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"L'output è simile al seguente:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: trueVerifica che GKE abbia creato la classe ComputeClass
defaultgestita nel tuo cluster:kubectl get computeclass default -o yamlL'output è simile al seguente:
Se l'output è vuoto, vai al passaggio successivo. Se la classe ComputeClass
defaultesiste, l'output è simile al seguente:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.In questo output, l'annotazione
cloud.google.com/gke-managed-default-compute-class: "true"indica che GKE ha creato la classe ComputeClass.Quando esegui il deployment di un pod che non seleziona una classe di computing diversa, verifica che il pod venga eseguito su un nodo gestito da Autopilot:
kubectl get pods -o wideNell'output, i nodi gestiti da Autopilot hanno il prefisso
gk3-nella colonnaNODE.
Modifica o disattiva le singole impostazioni di Autopilot
Poiché ogni funzionalità di Autopilot in un cluster Standard è modulare, puoi personalizzare o disattivare le singole impostazioni in qualsiasi momento. Se sei un amministratore della sicurezza, puoi utilizzare i vincoli delle policy dell'organizzazione personalizzate per applicare queste impostazioni. Per saperne di più, consulta Applica le impostazioni di Autopilot con policy dell'organizzazione personalizzate.
- Disattiva policy Autopilot specifiche nel cluster, ad esempio
no-standard-node-pools. - Disattiva la classe ComputeClass predefinita a livello di cluster. In alternativa, puoi impostare una ComputeClass personalizzata come predefinita del cluster creando una ComputeClass denominata
default. Impedisci al cluster di fare lo scale down automatico a zero nodi:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
Applica le impostazioni di Autopilot con policy dell'organizzazione personalizzate
Poiché le impostazioni di Autopilot nei cluster Standard possono essere modificate o disabilitate dagli utenti che dispongono delle autorizzazioni di aggiornamento del cluster, gli amministratori dell'organizzazione possono utilizzare vincoli delle policy dell'organizzazione personalizzate nel servizio Policy dell'organizzazione per applicare queste impostazioni a un'organizzazione, una cartella o un progetto. Il seguente vincolo di esempio nega le operazioni di creazione o aggiornamento dei cluster per i cluster che non applicano tutte le impostazioni di Autopilot:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
Sostituisci ORGANIZATION_ID con l'ID organizzazione.
Passaggi successivi
- Scopri di più sui workload Autopilot in GKE Standard
- Esegui i workload in modalità Autopilot nei cluster Standard
- Applica ComputeClasses ai pod per impostazione predefinita
- Applica le policy di sicurezza di Autopilot nei cluster Standard
- Scala automaticamente un cluster