Implantar um escalonador automático de clusters auto-hospedado

Neste documento, mostramos como desativar o escalonador automático de clusters gerenciado pelo Google Kubernetes Engine (GKE) e implantar um escalonador automático de clusters auto-hospedado no cluster padrão usando o Helm. A implantação de um escalonador automático de cluster auto-hospedado permite personalizar flags de escalonamento automático, testar parâmetros experimentais ou executar builds personalizados do repositório de escalonador automático de cluster do GKE de código aberto.

Este documento é destinado a administradores de plataforma que gerenciam o escalonamento e a infraestrutura de clusters e precisam de controle granular sobre os parâmetros do escalonador automático, além do que é fornecido pelo escalonador automático de clusters gerenciado pelo GKE.

Requisitos e limitações

  • Um escalonador automático de cluster autohospedado é compatível apenas com clusters do GKE Standard que executam a versão 1.37.2-gke.1042000 ou mais recente.
  • Um escalonador automático de cluster auto-hospedado não é compatível com clusters do Autopilot, clusters Standard que contêm pools de nós gerenciados pelo Autopilot ou clusters Standard que usam o modo Autopilot para ComputeClasses.
  • O cluster precisa ter pelo menos um nó de trabalho em execução o tempo todo para hospedar o pod do escalonador automático de clusters autogerenciado. Um cluster que executa um escalonador automático de clusters auto-hospedado não pode reduzir escala vertical para zero nós no total.
  • Você é responsável por implantar, atualizar e monitorar a carga de trabalho do escalonador automático de cluster autogerenciado. O Cloud Customer Care não resolve problemas de implantações de escalonador automático de clusters auto-hospedadas ou personalizadas. Para receber suporte do atendimento ao cliente para problemas de escalonamento automático, volte para o escalonador automático de cluster gerenciado pelo GKE.
  • Se o escalonamento automático gerenciado pelo GKE estiver desativado, o GKE não vai emitir eventos de visibilidade do escalonador automático de cluster do plano de controle para o fluxo de registros container.googleapis.com/cluster-autoscaler-visibility. Em vez disso, visualize os registros e as métricas de escalonamento diretamente do pod do escalonador automático de cluster autogerenciado.

Antes de começar

Antes de começar, verifique se você realizou as tarefas a seguir:

  • Ative a API Google Kubernetes Engine.
  • Ativar a API Google Kubernetes Engine
  • Para usar a Google Cloud CLI nesta tarefa, instale e inicialize a CLI gcloud. Se você instalou a CLI gcloud anteriormente, instale a versão mais recente executando o comando gcloud components update. Talvez as versões anteriores da CLI gcloud não sejam compatíveis com a execução dos comandos neste documento.

Funções exigidas

Para receber as permissões necessárias para desativar o escalonamento automático gerenciado, configurar recursos do Identity and Access Management (IAM) e implantar o escalonador automático de cluster autogerenciado, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Desativar o escalonador automático de clusters gerenciado pelo GKE

Antes de implantar um escalonador automático de cluster autogerenciado, desative o escalonador automático de cluster gerenciado pelo GKE no plano de controle para evitar disputas entre as duas instâncias do escalonador automático. A desativação do escalonador automático de cluster gerenciado pelo GKE impede que o plano de controle escalone nós. No entanto, o GKE preserva as configurações de escalonamento automático do pool de nós e as ComputeClasses para que o escalonador automático de cluster auto-hospedado possa agir sobre elas.

Para desativar o escalonador automático de clusters gerenciado pelo GKE, siga estas etapas, conclua uma das seguintes etapas:

  • Para desativar o escalonador automático de clusters gerenciado pelo GKE em um cluster Standard, execute o seguinte comando:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    Se a federação de identidade da carga de trabalho para GKE ainda não estiver ativada no cluster e em pelo menos um pool de nós para hospedar o pod do escalonador automático de cluster autogerenciado, execute os seguintes comandos:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • Para criar um novo cluster padrão com o escalonador automático de clusters gerenciado pelo GKE já desativado, execute o seguinte comando:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

Substitua:

  • CLUSTER_NAME: o nome do cluster padrão.
  • CONTROL_PLANE_LOCATION: a região ou zona do Compute Engine do plano de controle do cluster. Forneça uma região para clusters regionais ou uma zona para clusters zonais.
  • PROJECT_ID: o ID do projeto Google Cloud .
  • NODEPOOL_NAME: o nome de um pool de nós atual para hospedar o pod do escalonador automático de cluster autogerenciado.
  • CLUSTER_VERSION: a versão do GKE para o novo cluster, que precisa ser 1.37.2-gke.1042000 ou posterior.

Para verificar se o escalonador automático de clusters gerenciado pelo GKE está desativado no cluster, execute o seguinte comando:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

A resposta é True.

Configurar permissões do IAM para o escalonador automático de cluster autogerenciado

O escalonador automático de cluster auto-hospedado requer permissões do IAM para gerenciar grupos de instâncias do Compute Engine e ler metadados de cluster no projeto.

Conceda essas permissões ao escalonador automático criando um papel personalizado do IAM com privilégio mínimo e vinculando-o à conta de serviço do Kubernetes do escalonador automático com a Federação de Identidade da Carga de Trabalho para GKE:

  1. Recupere o número do projeto:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    Registre o valor de saída como PROJECT_NUMBER para usar em etapas posteriores.

  2. Salve a seguinte definição de papel personalizado do IAM como um arquivo gcp-role.yaml:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. Crie o papel personalizado do IAM selfHostedClusterAutoscaler no projeto:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. Crie uma conta de serviço do IAM chamada selfhosted-autoscaler:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. Conceda o papel personalizado do IAM à conta de serviço do IAM selfhosted-autoscaler:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. Se o cluster usar o provisionamento automático de nós ou ComputeClasses personalizadas para criar pools de nós, conceda o papel de usuário da conta de serviço (roles/iam.serviceAccountUser) à conta de serviço selfhosted-autoscaler. Execute o seguinte comando para cada conta de serviço do IAM usada pelos novos nós:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    Substitua NODE_SA_EMAIL pelo endereço de e-mail da conta de serviço do IAM que os nós usam. Conceda esse papel na conta de serviço padrão de provisionamento automático de nós e em qualquer conta de serviço especificada em uma ComputeClass. A menos que você configure uma conta de serviço personalizada, o provisionamento automático de nós usará a conta de serviço padrão do Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com.

  7. Permita que a conta de serviço do Kubernetes selfhosted-autoscaler no namespace kube-system represente a conta de serviço do IAM:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Implantar o escalonador automático de cluster auto-hospedado usando o Helm

Implante o escalonador automático de cluster autohospedado usando o gráfico Helm no diretório charts/cluster-autoscaler do repositório de código aberto do escalonador automático de cluster do GKE:

  1. Recupere o ID do cluster:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Registre o valor de saída como CLUSTER_ID para o arquivo de configuração do Helm.

  2. Clone o repositório do escalonador automático de cluster do GKE:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. Crie e envie a imagem do contêiner do escalonador automático de cluster para o registro de contêiner:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    Substitua:

    • REGISTRY_PATH: o caminho base do registro de contêiner, como LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. O comando make release cria e envia a imagem para REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.
    • IMAGE_TAG: a tag da imagem do contêiner, como 37.234.0.

    Para mais informações sobre como criar a imagem do contêiner, consulte o repositório do escalonador automático de clusters do GKE.

  4. Navegue até o diretório do gráfico Helm:

    cd charts/cluster-autoscaler
    
  5. Crie um arquivo my-values.yaml para configurar a identidade do cluster, a conta de serviço da federação de identidade da carga de trabalho para o GKE e os parâmetros do escalonador automático:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    Substitua:

    • REGISTRY_PATH: o caminho base do registro de contêiner de uma etapa anterior, como LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.
    • IMAGE_TAG: a tag da imagem de contêiner que você enviou na etapa anterior, como 37.234.0. Se você omitir o campo image.tag, o gráfico Helm usará como padrão o valor appVersion definido ao empacotar o gráfico.
    • CLUSTER_ID: o ID do cluster que você recuperou em uma etapa anterior.
    • PROJECT_NUMBER: o número do projeto que você recuperou em uma etapa anterior.
    • IS_REGIONAL: true se o cluster for regional ou false se for zonal.
    • AUTOSCALING_PROFILE: o perfil de escalonamento automático a ser aplicado. Especifique o perfil default para escalonamento equilibrado ou o perfil optimizeUtilization para reduzir escala vertical vertical de nós subutilizados de forma mais agressiva. Para uma lista completa de flags e parâmetros configuráveis, consulte o arquivo values.yaml padrão no GitHub.
  6. Empacote o gráfico Helm com a versão do componente do escalonador automático de cluster que você quer executar e instale o gráfico no namespace kube-system:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    Substitua CA_VERSION pela versão do componente do escalonador automático de cluster no formato <minor>.<ca-version>.<patch>, como 37.234.0. O gráfico usa essa versão para determinar quais experimentos do escalonador automático serão ativados no arquivo values.yaml.

Verificar a implantação do escalonador automático de clusters autogerenciado

Depois de instalar o gráfico Helm, verifique se o pod do escalonador automático de cluster auto-hospedado está em execução e monitorando ativamente o cluster:

  1. Verifique se o pod do escalonador automático de cluster autogerenciado está no estado Running:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    O resultado será o seguinte:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. Inspecione os registros do pod do escalonador automático de cluster auto-hospedado para confirmar se ele é iniciado sem erros de autenticação:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. Verifique o ConfigMap cluster-autoscaler-status para conferir o status de escalonamento atual informado pelo escalonador automático:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

Voltar para o escalonador automático de clusters gerenciado pelo GKE

Para voltar ao escalonador automático de cluster gerenciado pelo GKE, remova a implantação autohospedada antes de reativar o escalonamento automático gerenciado no plano de controle:

  1. Desinstale a versão do Helm do escalonador automático de clusters auto-hospedado:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. Reative o escalonador automático de clusters gerenciado pelo GKE no cluster:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. Verifique se o escalonador automático de clusters gerenciado pelo GKE está ativado:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    A saída está vazia ou é False.

A seguir