Implementa un escalador automático de clústeres autohospedado

En este documento, se muestra cómo inhabilitar el escalador automático de clústeres administrado por Google Kubernetes Engine (GKE) y, además, implementar un escalador automático de clústeres autohospedado en tu clúster de Standard con Helm. Implementar un escalador automático de clústeres autohospedado te permite personalizar las marcas de escalado automático, probar parámetros experimentales o ejecutar compilaciones personalizadas desde el repositorio de escalador automático de clústeres de GKE de código abierto.

Este documento está dirigido a los administradores de plataformas que administran el escalamiento y la infraestructura de los clústeres, y que requieren un control detallado de los parámetros del escalador automático más allá de lo que proporciona el escalador automático de clústeres administrado por GKE.

Requisitos y limitaciones

  • Un escalador automático de clústeres alojado de forma automática solo es compatible con los clústeres de GKE Standard que ejecutan la versión 1.37.2-gke.1042000 o una posterior.
  • Un escalador automático de clústeres alojado de forma automática no es compatible con los clústeres de Autopilot, los clústeres de Standard que contienen grupos de nodos administrados por Autopilot ni los clústeres de Standard que usan el modo Autopilot para ComputeClasses.
  • Tu clúster debe tener al menos un nodo trabajador en ejecución en todo momento para alojar el Pod del escalador automático de clústeres autoadministrado. Un clúster que ejecuta un escalador automático de clústeres autohospedado no puede reducir la escala verticalmente a cero nodos en total.
  • Eres responsable de implementar, actualizar y supervisar la carga de trabajo del escalador automático del clúster autohospedado. La Atención al cliente de Cloud no soluciona problemas de implementaciones del escalador automático de clústeres autohospedadas o personalizadas. Para recibir asistencia del equipo de Atención al cliente por problemas de escalado automático, vuelve al escalador automático de clústeres administrado por GKE.
  • Si el ajuste de escala automático administrado por GKE está inhabilitado, GKE no emite eventos de visibilidad del escalador automático de clústeres del plano de control al flujo de registros container.googleapis.com/cluster-autoscaler-visibility. En su lugar, consulta los registros y las métricas de escalamiento directamente desde el Pod del escalador automático del clúster autohospedado.

Antes de comenzar

Antes de comenzar, asegúrate de haber realizado las siguientes tareas:

  • Habilita la API de Google Kubernetes Engine.
  • Habilitar la API de Google Kubernetes Engine
  • Si deseas usar Google Cloud CLI para esta tarea, instala y, luego, inicializa la gcloud CLI. Si ya instalaste gcloud CLI, ejecuta el comando gcloud components update para obtener la versión más reciente. Es posible que las versiones anteriores de gcloud CLI no admitan la ejecución de los comandos de este documento.

Roles obligatorios

Para obtener los permisos que necesitas para inhabilitar el ajuste de escala automático administrado, configurar los recursos de Identity and Access Management (IAM) y, luego, implementar el escalador automático de clústeres autohospedado, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Inhabilita el escalador automático de clústeres administrado por GKE

Antes de implementar un escalador automático de clústeres autohospedado, debes inhabilitar el escalador automático de clústeres administrado por GKE en el plano de control para evitar condiciones de carrera entre las dos instancias del escalador automático. Inhabilitar el escalador automático de clústeres administrado por GKE impide que el plano de control escale los nodos. Sin embargo, GKE conserva las configuraciones de ajuste de escala automático del grupo de nodos existentes y las ComputeClasses para que el escalador automático de clústeres autoalojado pueda actuar sobre ellas.

Para inhabilitar el escalador automático de clústeres administrado por GKE, sigue estos pasos y completa uno de los siguientes:

  • Para inhabilitar el escalador automático de clústeres administrado por GKE en un clúster de Standard existente, ejecuta el siguiente comando:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    Si Workload Identity Federation for GKE aún no está habilitada en el clúster y en al menos un grupo de nodos para alojar el Pod del escalador automático de clústeres autoadministrado, ejecuta los siguientes comandos:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • Para crear un clúster de Standard nuevo con el escalador automático de clústeres administrado por GKE ya inhabilitado, ejecuta el siguiente comando:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

Reemplaza lo siguiente:

  • CLUSTER_NAME: Es el nombre de tu clúster de Standard.
  • CONTROL_PLANE_LOCATION: la región o zona de Compute Engine del plano de control del clúster. Proporciona una región para los clústeres regionales o una zona para los clústeres zonales.
  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • NODEPOOL_NAME: Es el nombre de un grupo de nodos existente para alojar el Pod del escalador automático de clústeres autohospedado.
  • CLUSTER_VERSION: Es la versión de GKE para el clúster nuevo, que debe ser 1.37.2-gke.1042000 o posterior.

Para verificar que el escalador automático de clústeres administrado por GKE esté inhabilitado en tu clúster, ejecuta el siguiente comando:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

El resultado es True.

Configura los permisos de IAM para el escalador automático de clústeres autohospedado

El escalador automático de clústeres autoalojado requiere permisos de IAM para administrar grupos de instancias de Compute Engine y leer metadatos de clústeres en tu proyecto.

Otorga al escalador automático estos permisos creando un rol de IAM personalizado con privilegios mínimos y vinculándolo a la ServiceAccount de Kubernetes del escalador automático con Workload Identity Federation for GKE:

  1. Recupera el número de tu proyecto:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    Registra el valor de salida como PROJECT_NUMBER para usarlo en pasos posteriores.

  2. Guarda la siguiente definición de rol de IAM personalizado como un archivo gcp-role.yaml:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. Crea el rol de IAM personalizado selfHostedClusterAutoscaler en tu proyecto:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. Crea una cuenta de servicio de IAM llamada selfhosted-autoscaler:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. Otorga el rol de IAM personalizado a la cuenta de servicio de IAM de selfhosted-autoscaler:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. Si tu clúster usa el aprovisionamiento automático de nodos o ComputeClasses personalizadas para crear grupos de nodos nuevos, otorga el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) a la cuenta de servicio de selfhosted-autoscaler. Ejecuta el siguiente comando para cada cuenta de servicio de IAM que usen tus nodos nuevos:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    Reemplaza NODE_SA_EMAIL por la dirección de correo electrónico de la cuenta de servicio de IAM que usan tus nodos. Otorga este rol en la cuenta de servicio predeterminada del aprovisionamiento automático de nodos y en cualquier cuenta de servicio que especifiques en una ComputeClass. A menos que configures una cuenta de servicio personalizada, el aprovisionamiento automático de nodos usa la cuenta de servicio predeterminada de Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com.

  7. Permite que la ServiceAccount de Kubernetes selfhosted-autoscaler en el espacio de nombres kube-system actúe en nombre de la cuenta de servicio de IAM:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Implementa el escalador automático de clústeres autohospedado con Helm

Implementa el escalador automático de clústeres autohospedado con el gráfico de Helm en el directorio charts/cluster-autoscaler del repositorio de código abierto del escalador automático de clúster de GKE:

  1. Recupera el ID de tu clúster:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Registra el valor de salida como CLUSTER_ID para el archivo de configuración de Helm.

  2. Clona el repositorio del escalador automático de clúster de GKE:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. Compila y envía la imagen de contenedor del escalador automático de clústeres a tu registro de contenedores:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    Reemplaza lo siguiente:

    • REGISTRY_PATH: Es la ruta de acceso base de tu registro de contenedores, como LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. El comando make release compila y envía la imagen a REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.
    • IMAGE_TAG: Es la etiqueta de la imagen de contenedor, como 37.234.0.

    Para obtener más información sobre cómo compilar la imagen de contenedor, consulta el repositorio del escalador automático de clústeres de GKE.

  4. Navega al directorio del gráfico de Helm:

    cd charts/cluster-autoscaler
    
  5. Crea un archivo my-values.yaml para configurar la identidad del clúster, Workload Identity Federation for GKE service account, y los parámetros del escalador automático:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    Reemplaza lo siguiente:

    • REGISTRY_PATH: Es la ruta de acceso base de tu registro de contenedores de un paso anterior, como LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.
    • IMAGE_TAG: Es la etiqueta de la imagen de contenedor que enviaste en el paso anterior, como 37.234.0. Si omites el campo image.tag, el gráfico de Helm se establece de forma predeterminada en el valor appVersion que configuraste cuando empaquetaste el gráfico.
    • CLUSTER_ID: Es el ID del clúster que recuperaste en un paso anterior.
    • PROJECT_NUMBER: Es el número de proyecto que recuperaste en un paso anterior.
    • IS_REGIONAL: true si tu clúster es regional o false si es zonal.
    • AUTOSCALING_PROFILE: Es el perfil de ajuste de escala automático que se aplicará. Especifica el perfil default para el escalamiento balanceado o el perfil optimizeUtilization para reducir la escala verticalmente de los nodos con poco uso de forma más agresiva. Para obtener una lista completa de las marcas y los parámetros configurables, consulta el archivo values.yaml predeterminado en GitHub.
  6. Empaqueta el gráfico de Helm con la versión del componente del escalador automático del clúster que deseas ejecutar y, luego, instala el gráfico en el espacio de nombres kube-system:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    Reemplaza CA_VERSION por la versión del componente del escalador automático de clústeres en el formato <minor>.<ca-version>.<patch>, como 37.234.0. El gráfico usa esta versión para determinar qué experimentos del escalador automático se deben habilitar desde el archivo values.yaml.

Verifica la implementación del escalador automático de clústeres autohospedado

Después de instalar el gráfico de Helm, verifica que el Pod del escalador automático de clústeres alojado de forma automática esté en ejecución y supervisando activamente tu clúster:

  1. Verifica que el Pod del escalador automático de clústeres alojado de forma automática esté en el estado Running:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    El resultado es similar a lo siguiente:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. Inspecciona los registros del Pod del escalador automático de clústeres autohospedado para confirmar que se inicie sin errores de autenticación:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. Verifica el ConfigMap cluster-autoscaler-status para ver el estado de escalamiento actual que informa el escalador automático:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

Vuelve al escalador automático de clústeres administrado por GKE

Para volver al escalador automático de clústeres administrado por GKE, quita tu implementación autohospedada antes de volver a habilitar el ajuste de escala automático administrado en el plano de control:

  1. Desinstala la versión de Helm del escalador automático de clústeres autohospedado:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. Vuelve a habilitar el escalador automático de clústeres administrado por GKE en tu clúster:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. Verifica que el escalador automático de clústeres administrado por GKE esté habilitado:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    El resultado está vacío o es False.

¿Qué sigue?