En este documento, se muestra cómo inhabilitar el escalador automático de clústeres administrado por Google Kubernetes Engine (GKE) y, además, implementar un escalador automático de clústeres autohospedado en tu clúster de Standard con Helm. Implementar un escalador automático de clústeres autohospedado te permite personalizar las marcas de escalado automático, probar parámetros experimentales o ejecutar compilaciones personalizadas desde el repositorio de escalador automático de clústeres de GKE de código abierto.
Este documento está dirigido a los administradores de plataformas que administran el escalamiento y la infraestructura de los clústeres, y que requieren un control detallado de los parámetros del escalador automático más allá de lo que proporciona el escalador automático de clústeres administrado por GKE.
Requisitos y limitaciones
- Un escalador automático de clústeres alojado de forma automática solo es compatible con los clústeres de GKE Standard que ejecutan la versión 1.37.2-gke.1042000 o una posterior.
- Un escalador automático de clústeres alojado de forma automática no es compatible con los clústeres de Autopilot, los clústeres de Standard que contienen grupos de nodos administrados por Autopilot ni los clústeres de Standard que usan el modo Autopilot para ComputeClasses.
- Tu clúster debe tener al menos un nodo trabajador en ejecución en todo momento para alojar el Pod del escalador automático de clústeres autoadministrado. Un clúster que ejecuta un escalador automático de clústeres autohospedado no puede reducir la escala verticalmente a cero nodos en total.
- Eres responsable de implementar, actualizar y supervisar la carga de trabajo del escalador automático del clúster autohospedado. La Atención al cliente de Cloud no soluciona problemas de implementaciones del escalador automático de clústeres autohospedadas o personalizadas. Para recibir asistencia del equipo de Atención al cliente por problemas de escalado automático, vuelve al escalador automático de clústeres administrado por GKE.
- Si el ajuste de escala automático administrado por GKE está inhabilitado,
GKE no emite eventos de visibilidad del escalador automático de clústeres
del plano de control al flujo de registros
container.googleapis.com/cluster-autoscaler-visibility. En su lugar, consulta los registros y las métricas de escalamiento directamente desde el Pod del escalador automático del clúster autohospedado.
Antes de comenzar
Antes de comenzar, asegúrate de haber realizado las siguientes tareas:
- Habilita la API de Google Kubernetes Engine. Habilitar la API de Google Kubernetes Engine
- Si deseas usar Google Cloud CLI para esta tarea,
instala y, luego,
inicializa la
gcloud CLI. Si ya instalaste gcloud CLI, ejecuta el comando
gcloud components updatepara obtener la versión más reciente. Es posible que las versiones anteriores de gcloud CLI no admitan la ejecución de los comandos de este documento.
- Verifica que tengas un clúster de Standard existente que ejecute la versión 1.37.2-gke.1042000 o posterior, con Workload Identity Federation for GKE habilitada en el clúster y en, al menos, un grupo de nodos. También puedes crear un clúster nuevo en la siguiente sección.
- Instala la versión 4.0.0 o posterior de Helm, Git, Go y Docker.
- Verifica que tengas un repositorio de Docker en Artifact Registry o en otro registro de contenedores del que tu clúster pueda extraer para almacenar la imagen de contenedor del escalador automático de clústeres autohospedado. Para obtener más información, consulta Almacena imágenes de contenedor de Docker en Artifact Registry.
- Configura
kubectlpara que se comunique con tu clúster. Para obtener más información, consulta Instalakubectly configura el acceso al clúster.
Roles obligatorios
Para obtener los permisos que necesitas para inhabilitar el ajuste de escala automático administrado, configurar los recursos de Identity and Access Management (IAM) y, luego, implementar el escalador automático de clústeres autohospedado, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:
-
Administra clústeres de GKE:
Administrador de Kubernetes Engine (
roles/container.admin) -
Crea roles de IAM personalizados:
Administrador de roles (
roles/iam.roleAdmin) -
Crea y administra cuentas de servicio de IAM:
Administrador de cuentas de servicio (
roles/iam.serviceAccountAdmin) -
Otorga roles de IAM en el proyecto:
Administrador de IAM del proyecto (
roles/resourcemanager.projectIamAdmin)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.
Inhabilita el escalador automático de clústeres administrado por GKE
Antes de implementar un escalador automático de clústeres autohospedado, debes inhabilitar el escalador automático de clústeres administrado por GKE en el plano de control para evitar condiciones de carrera entre las dos instancias del escalador automático. Inhabilitar el escalador automático de clústeres administrado por GKE impide que el plano de control escale los nodos. Sin embargo, GKE conserva las configuraciones de ajuste de escala automático del grupo de nodos existentes y las ComputeClasses para que el escalador automático de clústeres autoalojado pueda actuar sobre ellas.
Para inhabilitar el escalador automático de clústeres administrado por GKE, sigue estos pasos y completa uno de los siguientes:
Para inhabilitar el escalador automático de clústeres administrado por GKE en un clúster de Standard existente, ejecuta el siguiente comando:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingSi Workload Identity Federation for GKE aún no está habilitada en el clúster y en al menos un grupo de nodos para alojar el Pod del escalador automático de clústeres autoadministrado, ejecuta los siguientes comandos:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
Para crear un clúster de Standard nuevo con el escalador automático de clústeres administrado por GKE ya inhabilitado, ejecuta el siguiente comando:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
Reemplaza lo siguiente:
CLUSTER_NAME: Es el nombre de tu clúster de Standard.CONTROL_PLANE_LOCATION: la región o zona de Compute Engine del plano de control del clúster. Proporciona una región para los clústeres regionales o una zona para los clústeres zonales.PROJECT_ID: Es el ID del proyecto de Google Cloud .NODEPOOL_NAME: Es el nombre de un grupo de nodos existente para alojar el Pod del escalador automático de clústeres autohospedado.CLUSTER_VERSION: Es la versión de GKE para el clúster nuevo, que debe ser 1.37.2-gke.1042000 o posterior.
Para verificar que el escalador automático de clústeres administrado por GKE esté inhabilitado en tu clúster, ejecuta el siguiente comando:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
El resultado es True.
Configura los permisos de IAM para el escalador automático de clústeres autohospedado
El escalador automático de clústeres autoalojado requiere permisos de IAM para administrar grupos de instancias de Compute Engine y leer metadatos de clústeres en tu proyecto.
Otorga al escalador automático estos permisos creando un rol de IAM personalizado con privilegios mínimos y vinculándolo a la ServiceAccount de Kubernetes del escalador automático con Workload Identity Federation for GKE:
Recupera el número de tu proyecto:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"Registra el valor de salida como
PROJECT_NUMBERpara usarlo en pasos posteriores.Guarda la siguiente definición de rol de IAM personalizado como un archivo
gcp-role.yaml:Crea el rol de IAM personalizado
selfHostedClusterAutoscaleren tu proyecto:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlCrea una cuenta de servicio de IAM llamada
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDOtorga el rol de IAM personalizado a la cuenta de servicio de IAM de
selfhosted-autoscaler:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"Si tu clúster usa el aprovisionamiento automático de nodos o ComputeClasses personalizadas para crear grupos de nodos nuevos, otorga el rol de usuario de cuenta de servicio (
roles/iam.serviceAccountUser) a la cuenta de servicio deselfhosted-autoscaler. Ejecuta el siguiente comando para cada cuenta de servicio de IAM que usen tus nodos nuevos:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"Reemplaza
NODE_SA_EMAILpor la dirección de correo electrónico de la cuenta de servicio de IAM que usan tus nodos. Otorga este rol en la cuenta de servicio predeterminada del aprovisionamiento automático de nodos y en cualquier cuenta de servicio que especifiques en una ComputeClass. A menos que configures una cuenta de servicio personalizada, el aprovisionamiento automático de nodos usa la cuenta de servicio predeterminada de Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com.Permite que la ServiceAccount de Kubernetes
selfhosted-autoscaleren el espacio de nombreskube-systemactúe en nombre de la cuenta de servicio de IAM:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Implementa el escalador automático de clústeres autohospedado con Helm
Implementa el escalador automático de clústeres autohospedado con el gráfico de Helm en el
directorio charts/cluster-autoscaler
del repositorio de código abierto del escalador automático de clúster de GKE:
Recupera el ID de tu clúster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Registra el valor de salida como
CLUSTER_IDpara el archivo de configuración de Helm.Clona el repositorio del escalador automático de clúster de GKE:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitCompila y envía la imagen de contenedor del escalador automático de clústeres a tu registro de contenedores:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGReemplaza lo siguiente:
REGISTRY_PATH: Es la ruta de acceso base de tu registro de contenedores, comoLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. El comandomake releasecompila y envía la imagen aREGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.IMAGE_TAG: Es la etiqueta de la imagen de contenedor, como37.234.0.
Para obtener más información sobre cómo compilar la imagen de contenedor, consulta el repositorio del escalador automático de clústeres de GKE.
Navega al directorio del gráfico de Helm:
cd charts/cluster-autoscalerCrea un archivo
my-values.yamlpara configurar la identidad del clúster, Workload Identity Federation for GKE service account, y los parámetros del escalador automático:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILEReemplaza lo siguiente:
REGISTRY_PATH: Es la ruta de acceso base de tu registro de contenedores de un paso anterior, comoLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.IMAGE_TAG: Es la etiqueta de la imagen de contenedor que enviaste en el paso anterior, como37.234.0. Si omites el campoimage.tag, el gráfico de Helm se establece de forma predeterminada en el valorappVersionque configuraste cuando empaquetaste el gráfico.CLUSTER_ID: Es el ID del clúster que recuperaste en un paso anterior.PROJECT_NUMBER: Es el número de proyecto que recuperaste en un paso anterior.IS_REGIONAL:truesi tu clúster es regional ofalsesi es zonal.AUTOSCALING_PROFILE: Es el perfil de ajuste de escala automático que se aplicará. Especifica el perfildefaultpara el escalamiento balanceado o el perfiloptimizeUtilizationpara reducir la escala verticalmente de los nodos con poco uso de forma más agresiva. Para obtener una lista completa de las marcas y los parámetros configurables, consulta el archivovalues.yamlpredeterminado en GitHub.
Empaqueta el gráfico de Helm con la versión del componente del escalador automático del clúster que deseas ejecutar y, luego, instala el gráfico en el espacio de nombres
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlReemplaza
CA_VERSIONpor la versión del componente del escalador automático de clústeres en el formato<minor>.<ca-version>.<patch>, como37.234.0. El gráfico usa esta versión para determinar qué experimentos del escalador automático se deben habilitar desde el archivovalues.yaml.
Verifica la implementación del escalador automático de clústeres autohospedado
Después de instalar el gráfico de Helm, verifica que el Pod del escalador automático de clústeres alojado de forma automática esté en ejecución y supervisando activamente tu clúster:
Verifica que el Pod del escalador automático de clústeres alojado de forma automática esté en el estado
Running:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caEl resultado es similar a lo siguiente:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mInspecciona los registros del Pod del escalador automático de clústeres autohospedado para confirmar que se inicie sin errores de autenticación:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50Verifica el ConfigMap
cluster-autoscaler-statuspara ver el estado de escalamiento actual que informa el escalador automático:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
Vuelve al escalador automático de clústeres administrado por GKE
Para volver al escalador automático de clústeres administrado por GKE, quita tu implementación autohospedada antes de volver a habilitar el ajuste de escala automático administrado en el plano de control:
Desinstala la versión de Helm del escalador automático de clústeres autohospedado:
helm uninstall selfhosted-ca --namespace=kube-systemVuelve a habilitar el escalador automático de clústeres administrado por GKE en tu clúster:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingVerifica que el escalador automático de clústeres administrado por GKE esté habilitado:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"El resultado está vacío o es
False.
¿Qué sigue?
- Obtén más información sobre cómo funciona el escalador automático de clústeres.
- Obtén información para configurar el escalado automático de clústeres en grupos de nodos.
- Explora el repositorio del escalador automático de clústeres de GKE y el gráfico de Helm de código abierto.