Esegui il deployment di un gestore della scalabilità automatica dei cluster self-hosted

Questo documento mostra come disattivare il gestore della scalabilità automatica dei cluster gestito da Google Kubernetes Engine (GKE) e come eseguire il deployment di un gestore della scalabilità automatica dei cluster self-hosted nel tuo cluster Standard utilizzando Helm. Il deployment di un gestore della scalabilità automatica dei cluster in hosting autonomo ti consente di personalizzare i flag di scalabilità automatica, testare i parametri sperimentali o eseguire build personalizzate dal repository del gestore della scalabilità automatica dei cluster GKE open source.

Questo documento è rivolto agli amministratori della piattaforma che gestiscono la scalabilità e l'infrastruttura dei cluster e richiedono un controllo granulare sui parametri del gestore della scalabilità automatica oltre a quello fornito dal gestore della scalabilità automatica dei cluster gestito da GKE.

Requisiti e limitazioni

  • Un gestore della scalabilità automatica dei cluster self-hosted è supportato solo sui cluster GKE Standard che eseguono la versione 1.37.2-gke.1042000 o successive.
  • Un gestore della scalabilità automatica dei cluster in hosting autonomo non è compatibile con i cluster Autopilot, i cluster Standard che contengono node pool gestiti da Autopilot o i cluster Standard che utilizzano la modalità Autopilot per ComputeClasses.
  • Il cluster deve avere sempre almeno un nodo worker in esecuzione per ospitare il pod del gestore della scalabilità automatica dei cluster in hosting autonomo. Un cluster che esegue un gestore della scalabilità automatica dei cluster self-hosted non può fare lo scale down a zero nodi totali.
  • Sei responsabile del deployment, dell'aggiornamento e del monitoraggio del workload del gestore della scalabilità automatica dei cluster in hosting autonomo. L'assistenza clienti Google Cloud non risolve i problemi relativi ai deployment del gestore della scalabilità automatica dei cluster in hosting autonomo o personalizzati. Per ricevere assistenza dal team di assistenza clienti per i problemi di scalabilità automatica, torna al gestore della scalabilità automatica dei cluster gestito da GKE.
  • Se la scalabilità automatica gestita da GKE è disabilitata, GKE non emette eventi di visibilità del gestore della scalabilità automatica dei cluster del control plane nel flusso di log container.googleapis.com/cluster-autoscaler-visibility. Visualizza invece i log e le metriche di scalabilità direttamente dal pod del gestore della scalabilità automatica dei cluster in hosting autonomo.

Prima di iniziare

Prima di iniziare, assicurati di aver eseguito le seguenti attività:

  • Abilita l'API Google Kubernetes Engine.
  • Abilita l'API Google Kubernetes Engine
  • Per utilizzare Google Cloud CLI per questa attività, installala e poi inizializza gcloud CLI. Se hai già installato gcloud CLI, scarica l'ultima versione eseguendo il comando gcloud components update. Le versioni precedenti di gcloud CLI potrebbero non supportare l'esecuzione dei comandi in questo documento.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per disattivare la scalabilità automatica gestita, configurare le risorse Identity and Access Management (IAM) ed eseguire il deployment del gestore della scalabilità automatica dei cluster self-hosted, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Disabilita il gestore della scalabilità automatica dei cluster gestito da GKE

Prima di eseguire il deployment di un gestore della scalabilità automatica dei cluster self-hosted, devi disattivare il gestore della scalabilità automatica dei cluster gestito da GKE nel control plane per evitare race condition tra le due istanze del gestore della scalabilità automatica. La disattivazione del gestore della scalabilità automatica dei cluster gestito da GKE impedisce al control plane di scalare i nodi. Tuttavia, GKE conserva le configurazioni di scalabilità automatica dei pool di nodi esistenti e le ComputeClasses in modo che il gestore della scalabilità automatica dei cluster self-hosted possa agire su di esse.

Per disattivare il gestore della scalabilità automatica dei cluster gestito da GKE, completa uno dei seguenti passaggi:

  • Per disattivare il gestore della scalabilità automatica dei cluster gestito da GKE su un cluster Standard esistente, esegui questo comando:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    Se Workload Identity Federation for GKE non è già abilitato sul cluster e su almeno un pool di nodi per ospitare il pod del gestore della scalabilità automatica dei cluster self-hosted, esegui questi comandi:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • Per creare un nuovo cluster Standard con il gestore della scalabilità automatica dei cluster gestito da GKE già disabilitato, esegui il seguente comando:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

Sostituisci quanto segue:

  • CLUSTER_NAME: il nome del tuo cluster Standard.
  • CONTROL_PLANE_LOCATION: la regione o zona di Compute Engine del control plane del tuo cluster. Specifica una regione per i cluster a livello di regione o una zona per i cluster a livello di zona.
  • PROJECT_ID: il tuo ID progetto Google Cloud .
  • NODEPOOL_NAME: il nome di un node pool esistente per ospitare il pod del gestore della scalabilità automatica dei cluster in hosting autonomo.
  • CLUSTER_VERSION: la versione di GKE per il nuovo cluster, che deve essere 1.37.2-gke.1042000 o successiva.

Per verificare che il gestore della scalabilità automatica dei cluster gestito da GKE sia disabilitato sul tuo cluster, esegui questo comando:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

L'output è True.

Configura le autorizzazioni IAM per il gestore della scalabilità automatica dei cluster self-hosted

Il gestore della scalabilità automatica dei cluster self-hosted richiede autorizzazioni IAM per gestire i gruppi di istanze di Compute Engine e leggere i metadati dei cluster nel tuo progetto.

Concedi al gestore della scalabilità automatica queste autorizzazioni creando un ruolo IAM personalizzato con privilegio minimo e associandolo al ServiceAccount Kubernetes del gestore della scalabilità automatica con Workload Identity Federation for GKE:

  1. Recupera il numero di progetto:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    Registra il valore di output come PROJECT_NUMBER da utilizzare nei passaggi successivi.

  2. Salva la seguente definizione del ruolo IAM personalizzato come file gcp-role.yaml:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. Crea il ruolo IAM personalizzato selfHostedClusterAutoscaler nel tuo progetto:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. Crea un account di servizio IAM denominato selfhosted-autoscaler:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. Concedi il ruolo IAM personalizzato al account di servizio IAM selfhosted-autoscaler:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. Se il tuo cluster utilizza il provisioning automatico dei nodi o ComputeClasses personalizzate per creare nuovi node pool, concedi il ruolo Service Account User (roles/iam.serviceAccountUser) al service account selfhosted-autoscaler. Esegui questo comando per ogni service account IAM utilizzato dai nuovi nodi:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    Sostituisci NODE_SA_EMAIL con l'indirizzo email del account di servizio IAM utilizzato dai nodi. Concedi questo ruolo al account di servizio predefinito per il provisioning automatico dei nodi e a qualsiasi account di servizio specificato in una ComputeClass. A meno che non configuri un account di servizio personalizzato, il provisioning automatico dei nodi utilizza il account di servizio predefinito di Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com.

  7. Consenti al ServiceAccount Kubernetes selfhosted-autoscaler nello spazio dei nomi kube-system di impersonare il service account IAM:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Esegui il deployment del gestore della scalabilità automatica dei cluster self-hosted utilizzando Helm

Esegui il deployment del gestore della scalabilità automatica dei cluster self-hosted utilizzando il grafico Helm nella directory charts/cluster-autoscaler del repository del gestore della scalabilità automatica dei cluster GKE open source:

  1. Recupera l'ID cluster:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Registra il valore di output come CLUSTER_ID per il file di configurazione Helm.

  2. Clona il repository del gestore della scalabilità automatica dei cluster GKE:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. Crea l'immagine container del gestore della scalabilità automatica dei cluster ed eseguine il push nel tuo registro dei container:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    Sostituisci quanto segue:

    • REGISTRY_PATH: il percorso di base del tuo container registry, ad esempio LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. Il comando make release crea l'immagine e ne esegue il push a REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.
    • IMAGE_TAG: il tag dell'immagine container, ad esempio 37.234.0.

    Per saperne di più sulla creazione dell'immagine container, consulta il repository del gestore della scalabilità automatica dei cluster GKE.

  4. Vai alla directory del grafico Helm:

    cd charts/cluster-autoscaler
    
  5. Crea un file my-values.yaml per configurare l'identità del cluster, il account di servizio di Workload Identity Federation for GKE e i parametri del gestore della scalabilità automatica:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    Sostituisci quanto segue:

    • REGISTRY_PATH: il percorso di base del tuo container registry di un passaggio precedente, ad esempio LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.
    • IMAGE_TAG: il tag dell'immagine container di cui hai eseguito il push nel passaggio precedente, ad esempio 37.234.0. Se ometti il campo image.tag, il chart Helm utilizza per impostazione predefinita il valore appVersion impostato durante il packaging del chart.
    • CLUSTER_ID: l'ID cluster che hai recuperato in un passaggio precedente.
    • PROJECT_NUMBER: il numero di progetto che hai recuperato in un passaggio precedente.
    • IS_REGIONAL: true se il tuo cluster è un cluster a livello di regione o false se il tuo cluster è un cluster a livello di zona.
    • AUTOSCALING_PROFILE: il profilo di scalabilità automatica da applicare. Specifica il profilo default per una scalabilità bilanciata o il profilo optimizeUtilization per fare lo scale down dei nodi sottoutilizzati in modo più aggressivo. Per un elenco completo dei flag e dei parametri configurabili, consulta il file values.yaml predefinito in GitHub.
  6. Crea un pacchetto del grafico Helm con la versione del componente del gestore della scalabilità automatica dei cluster che vuoi eseguire e installa il grafico nello spazio dei nomi kube-system:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    Sostituisci CA_VERSION con la versione del componente del gestore della scalabilità automatica dei cluster nel formato <minor>.<ca-version>.<patch>, ad esempio 37.234.0. Il grafico utilizza questa versione per determinare quali esperimenti del gestore della scalabilità automatica attivare dal file values.yaml.

Verifica il deployment del gestore della scalabilità automatica dei cluster self-hosted

Dopo aver installato il grafico Helm, verifica che il pod del gestore della scalabilità automatica dei cluster self-hosted sia in esecuzione e monitori attivamente il cluster:

  1. Verifica che il pod del gestore della scalabilità automatica dei cluster self-hosted sia nello stato Running:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    L'output è simile al seguente:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. Ispeziona i log del pod del gestore della scalabilità automatica dei cluster in hosting autonomo per verificare che venga avviato senza errori di autenticazione:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. Controlla il ConfigMap cluster-autoscaler-status per visualizzare lo stato di scalabilità attuale segnalato dal gestore della scalabilità automatica:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

Torna al gestore della scalabilità automatica dei cluster gestito da GKE

Per tornare al gestore della scalabilità automatica dei cluster gestito da GKE, rimuovi il deployment self-hosted prima di riattivare la scalabilità automatica gestita nel control plane:

  1. Disinstalla la release Helm del gestore della scalabilità automatica dei cluster in hosting autonomo:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. Riattiva il gestore della scalabilità automatica dei cluster gestito da GKE sul tuo cluster:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. Verifica che il gestore della scalabilità automatica dei cluster gestito da GKE sia abilitato:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    L'output è vuoto o False.

Passaggi successivi