Questo documento mostra come disattivare il gestore della scalabilità automatica dei cluster gestito da Google Kubernetes Engine (GKE) e come eseguire il deployment di un gestore della scalabilità automatica dei cluster self-hosted nel tuo cluster Standard utilizzando Helm. Il deployment di un gestore della scalabilità automatica dei cluster in hosting autonomo ti consente di personalizzare i flag di scalabilità automatica, testare i parametri sperimentali o eseguire build personalizzate dal repository del gestore della scalabilità automatica dei cluster GKE open source.
Questo documento è rivolto agli amministratori della piattaforma che gestiscono la scalabilità e l'infrastruttura dei cluster e richiedono un controllo granulare sui parametri del gestore della scalabilità automatica oltre a quello fornito dal gestore della scalabilità automatica dei cluster gestito da GKE.
Requisiti e limitazioni
- Un gestore della scalabilità automatica dei cluster self-hosted è supportato solo sui cluster GKE Standard che eseguono la versione 1.37.2-gke.1042000 o successive.
- Un gestore della scalabilità automatica dei cluster in hosting autonomo non è compatibile con i cluster Autopilot, i cluster Standard che contengono node pool gestiti da Autopilot o i cluster Standard che utilizzano la modalità Autopilot per ComputeClasses.
- Il cluster deve avere sempre almeno un nodo worker in esecuzione per ospitare il pod del gestore della scalabilità automatica dei cluster in hosting autonomo. Un cluster che esegue un gestore della scalabilità automatica dei cluster self-hosted non può fare lo scale down a zero nodi totali.
- Sei responsabile del deployment, dell'aggiornamento e del monitoraggio del workload del gestore della scalabilità automatica dei cluster in hosting autonomo. L'assistenza clienti Google Cloud non risolve i problemi relativi ai deployment del gestore della scalabilità automatica dei cluster in hosting autonomo o personalizzati. Per ricevere assistenza dal team di assistenza clienti per i problemi di scalabilità automatica, torna al gestore della scalabilità automatica dei cluster gestito da GKE.
- Se la scalabilità automatica gestita da GKE è disabilitata, GKE non emette eventi di visibilità del gestore della scalabilità automatica dei cluster del control plane nel flusso di log
container.googleapis.com/cluster-autoscaler-visibility. Visualizza invece i log e le metriche di scalabilità direttamente dal pod del gestore della scalabilità automatica dei cluster in hosting autonomo.
Prima di iniziare
Prima di iniziare, assicurati di aver eseguito le seguenti attività:
- Abilita l'API Google Kubernetes Engine. Abilita l'API Google Kubernetes Engine
- Per utilizzare Google Cloud CLI per questa attività,
installala e poi
inizializza
gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima
versione eseguendo il comando
gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.
- Verifica di avere un cluster Standard esistente che esegue la versione 1.37.2-gke.1042000 o successive, con la Workload Identity Federation for GKE abilitata sul cluster e su almeno un pool di nodi. Puoi anche creare un nuovo cluster nella sezione successiva.
- Installa Helm versione 4.0.0 o successive, Git, Go e Docker.
- Verifica di avere un repository Docker in Artifact Registry o in un altro registro dei container da cui il cluster può eseguire il pull per archiviare l'immagine container del gestore della scalabilità automatica dei cluster in hosting autonomo. Per saperne di più, consulta Archivia le immagini container Docker in Artifact Registry.
- Configura
kubectlper comunicare con il tuo cluster. Per saperne di più, consulta Installakubectle configura l'accesso al cluster.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per disattivare la scalabilità automatica gestita, configurare le risorse Identity and Access Management (IAM) ed eseguire il deployment del gestore della scalabilità automatica dei cluster self-hosted, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:
-
Gestisci i cluster GKE:
Kubernetes Engine Admin (
roles/container.admin) -
Creare ruoli IAM personalizzati:
Amministratore ruoli (
roles/iam.roleAdmin) -
Creare e gestire i service account IAM:
Amministratore service account (
roles/iam.serviceAccountAdmin) -
Concedi i ruoli IAM sul progetto:
Project IAM Admin (
roles/resourcemanager.projectIamAdmin)
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Disabilita il gestore della scalabilità automatica dei cluster gestito da GKE
Prima di eseguire il deployment di un gestore della scalabilità automatica dei cluster self-hosted, devi disattivare il gestore della scalabilità automatica dei cluster gestito da GKE nel control plane per evitare race condition tra le due istanze del gestore della scalabilità automatica. La disattivazione del gestore della scalabilità automatica dei cluster gestito da GKE impedisce al control plane di scalare i nodi. Tuttavia, GKE conserva le configurazioni di scalabilità automatica dei pool di nodi esistenti e le ComputeClasses in modo che il gestore della scalabilità automatica dei cluster self-hosted possa agire su di esse.
Per disattivare il gestore della scalabilità automatica dei cluster gestito da GKE, completa uno dei seguenti passaggi:
Per disattivare il gestore della scalabilità automatica dei cluster gestito da GKE su un cluster Standard esistente, esegui questo comando:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingSe Workload Identity Federation for GKE non è già abilitato sul cluster e su almeno un pool di nodi per ospitare il pod del gestore della scalabilità automatica dei cluster self-hosted, esegui questi comandi:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
Per creare un nuovo cluster Standard con il gestore della scalabilità automatica dei cluster gestito da GKE già disabilitato, esegui il seguente comando:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
Sostituisci quanto segue:
CLUSTER_NAME: il nome del tuo cluster Standard.CONTROL_PLANE_LOCATION: la regione o zona di Compute Engine del control plane del tuo cluster. Specifica una regione per i cluster a livello di regione o una zona per i cluster a livello di zona.PROJECT_ID: il tuo ID progetto Google Cloud .NODEPOOL_NAME: il nome di un node pool esistente per ospitare il pod del gestore della scalabilità automatica dei cluster in hosting autonomo.CLUSTER_VERSION: la versione di GKE per il nuovo cluster, che deve essere 1.37.2-gke.1042000 o successiva.
Per verificare che il gestore della scalabilità automatica dei cluster gestito da GKE sia disabilitato sul tuo cluster, esegui questo comando:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
L'output è True.
Configura le autorizzazioni IAM per il gestore della scalabilità automatica dei cluster self-hosted
Il gestore della scalabilità automatica dei cluster self-hosted richiede autorizzazioni IAM per gestire i gruppi di istanze di Compute Engine e leggere i metadati dei cluster nel tuo progetto.
Concedi al gestore della scalabilità automatica queste autorizzazioni creando un ruolo IAM personalizzato con privilegio minimo e associandolo al ServiceAccount Kubernetes del gestore della scalabilità automatica con Workload Identity Federation for GKE:
Recupera il numero di progetto:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"Registra il valore di output come
PROJECT_NUMBERda utilizzare nei passaggi successivi.Salva la seguente definizione del ruolo IAM personalizzato come file
gcp-role.yaml:Crea il ruolo IAM personalizzato
selfHostedClusterAutoscalernel tuo progetto:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlCrea un account di servizio IAM denominato
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDConcedi il ruolo IAM personalizzato al account di servizio IAM
selfhosted-autoscaler:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"Se il tuo cluster utilizza il provisioning automatico dei nodi o ComputeClasses personalizzate per creare nuovi node pool, concedi il ruolo Service Account User (
roles/iam.serviceAccountUser) al service accountselfhosted-autoscaler. Esegui questo comando per ogni service account IAM utilizzato dai nuovi nodi:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"Sostituisci
NODE_SA_EMAILcon l'indirizzo email del account di servizio IAM utilizzato dai nodi. Concedi questo ruolo al account di servizio predefinito per il provisioning automatico dei nodi e a qualsiasi account di servizio specificato in una ComputeClass. A meno che non configuri un account di servizio personalizzato, il provisioning automatico dei nodi utilizza il account di servizio predefinito di Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com.Consenti al ServiceAccount Kubernetes
selfhosted-autoscalernello spazio dei nomikube-systemdi impersonare il service account IAM:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Esegui il deployment del gestore della scalabilità automatica dei cluster self-hosted utilizzando Helm
Esegui il deployment del gestore della scalabilità automatica dei cluster self-hosted utilizzando il grafico Helm nella
directory charts/cluster-autoscaler
del repository del gestore della scalabilità automatica dei cluster GKE open source:
Recupera l'ID cluster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Registra il valore di output come
CLUSTER_IDper il file di configurazione Helm.Clona il repository del gestore della scalabilità automatica dei cluster GKE:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitCrea l'immagine container del gestore della scalabilità automatica dei cluster ed eseguine il push nel tuo registro dei container:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGSostituisci quanto segue:
REGISTRY_PATH: il percorso di base del tuo container registry, ad esempioLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. Il comandomake releasecrea l'immagine e ne esegue il push aREGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.IMAGE_TAG: il tag dell'immagine container, ad esempio37.234.0.
Per saperne di più sulla creazione dell'immagine container, consulta il repository del gestore della scalabilità automatica dei cluster GKE.
Vai alla directory del grafico Helm:
cd charts/cluster-autoscalerCrea un file
my-values.yamlper configurare l'identità del cluster, il account di servizio di Workload Identity Federation for GKE e i parametri del gestore della scalabilità automatica:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILESostituisci quanto segue:
REGISTRY_PATH: il percorso di base del tuo container registry di un passaggio precedente, ad esempioLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.IMAGE_TAG: il tag dell'immagine container di cui hai eseguito il push nel passaggio precedente, ad esempio37.234.0. Se ometti il campoimage.tag, il chart Helm utilizza per impostazione predefinita il valoreappVersionimpostato durante il packaging del chart.CLUSTER_ID: l'ID cluster che hai recuperato in un passaggio precedente.PROJECT_NUMBER: il numero di progetto che hai recuperato in un passaggio precedente.IS_REGIONAL:truese il tuo cluster è un cluster a livello di regione ofalsese il tuo cluster è un cluster a livello di zona.AUTOSCALING_PROFILE: il profilo di scalabilità automatica da applicare. Specifica il profilodefaultper una scalabilità bilanciata o il profilooptimizeUtilizationper fare lo scale down dei nodi sottoutilizzati in modo più aggressivo. Per un elenco completo dei flag e dei parametri configurabili, consulta il filevalues.yamlpredefinito in GitHub.
Crea un pacchetto del grafico Helm con la versione del componente del gestore della scalabilità automatica dei cluster che vuoi eseguire e installa il grafico nello spazio dei nomi
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlSostituisci
CA_VERSIONcon la versione del componente del gestore della scalabilità automatica dei cluster nel formato<minor>.<ca-version>.<patch>, ad esempio37.234.0. Il grafico utilizza questa versione per determinare quali esperimenti del gestore della scalabilità automatica attivare dal filevalues.yaml.
Verifica il deployment del gestore della scalabilità automatica dei cluster self-hosted
Dopo aver installato il grafico Helm, verifica che il pod del gestore della scalabilità automatica dei cluster self-hosted sia in esecuzione e monitori attivamente il cluster:
Verifica che il pod del gestore della scalabilità automatica dei cluster self-hosted sia nello stato
Running:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caL'output è simile al seguente:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mIspeziona i log del pod del gestore della scalabilità automatica dei cluster in hosting autonomo per verificare che venga avviato senza errori di autenticazione:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50Controlla il ConfigMap
cluster-autoscaler-statusper visualizzare lo stato di scalabilità attuale segnalato dal gestore della scalabilità automatica:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
Torna al gestore della scalabilità automatica dei cluster gestito da GKE
Per tornare al gestore della scalabilità automatica dei cluster gestito da GKE, rimuovi il deployment self-hosted prima di riattivare la scalabilità automatica gestita nel control plane:
Disinstalla la release Helm del gestore della scalabilità automatica dei cluster in hosting autonomo:
helm uninstall selfhosted-ca --namespace=kube-systemRiattiva il gestore della scalabilità automatica dei cluster gestito da GKE sul tuo cluster:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingVerifica che il gestore della scalabilità automatica dei cluster gestito da GKE sia abilitato:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"L'output è vuoto o
False.
Passaggi successivi
- Scopri di più su come funziona il gestore della scalabilità automatica dei cluster.
- Scopri come configurare la scalabilità automatica dei cluster per i node pool.
- Esplora il repository e il chart Helm del gestore della scalabilità automatica dei cluster GKE open source.