Configurer les clusters standards pour qu'ils utilisent Autopilot par défaut

Vous pouvez configurer les clusters Google Kubernetes Engine (GKE) Standard pour qu'ils fonctionnent de la même manière que les clusters en mode Autopilot en activant des paramètres de cluster tels que la classe ComputeClass par défaut, les règles de sécurité des clusters Autopilot et le scaling à zéro du cluster.

Ce document est destiné aux administrateurs de plate-forme et aux ingénieurs de sécurité qui souhaitent bénéficier de tous les avantages du mode Autopilot dans un cluster Standard, avec la possibilité de modifier ou de désactiver des paramètres individuels. Si vous n'avez pas besoin de cette flexibilité, créez plutôt un cluster Autopilot dédié.

Vous devez déjà connaître les concepts suivants :

Paramètres des clusters Autopilot

Pour configurer un cluster Standard afin qu'il fonctionne comme un cluster Autopilot, vous devez configurer tous les paramètres suivants :

  • ComputeClass Autopilot par défaut du cluster : définissez l'une des ComputeClasses Autopilot intégrées. Tous les pods qui ne sélectionnent pas de ComputeClass s'exécutent à l'aide de la ComputeClass par défaut spécifiée. Les ComputeClasses intégrées utilisent toutes le mode Autopilot et le modèle de facturation basé sur les pods.
  • Effectuer un autoscaling du cluster à zéro nœud : configurez l'autoscaler de cluster pour qu'il effectue un scaling du cluster à zéro nœud lorsqu'il n'y a pas de charges de travail utilisateur actives dans le cluster. Vous pouvez éventuellement ajuster le délai avant que l'autoscaler ne redimensionne le cluster à zéro nœud.
  • Zéro nœud initial : lors de la création du cluster, empêchez la création automatique d'un pool de nœuds par défaut. Pour les clusters existants, supprimez tous les pools de nœuds créés manuellement.
  • Règles de sécurité des clusters Autopilot : appliquez toutes les règles de sécurité Autopilot. Ces règles permettent de protéger les charges de travail et les identités du système.

Vous pouvez modifier votre cluster pour changer l'un de ces paramètres indépendamment des autres. Par exemple, si vous devez créer manuellement un pool de nœuds, vous pouvez désactiver la règle de sécurité du cluster Autopilot correspondante sans modifier les autres paramètres.

Points à prendre en compte concernant la flexibilité et la sécurité

Lorsque vous créez un cluster Autopilot, le mode du cluster est permanent. Les paramètres de cluster tels que le scaling à zéro nœud, l'interdiction de la création manuelle de pools de nœuds et les différentes contraintes de sécurité sont immuables. Toutefois, lorsque vous configurez un cluster Standard pour qu'il utilise tous les paramètres d'un cluster Autopilot, les paramètres sont modifiables. Toute personne autorisée à modifier les configurations de cluster peut modifier ou désactiver des paramètres individuels.

Pour appliquer l'utilisation de ces paramètres dans une organisation, un dossier ou un projet, les administrateurs de l'organisation peuvent utiliser une contrainte de règle d'administration personnalisée. Pour en savoir plus, consultez la section Appliquer les paramètres Autopilot avec des règles d'administration personnalisées de ce document.

Limites

Si vous configurez des nœuds GKE confidentiels au niveau du cluster, GKE ignore votre commande d'utiliser une ComputeClass Autopilot comme valeur par défaut du cluster.

Avant de commencer

Avant de commencer, effectuez les tâches suivantes :

  • Activez l'API Google Kubernetes Engine.
  • Activer l'API Google Kubernetes Engine
  • Pour utiliser la Google Cloud CLI pour cette tâche, installez puis initialisez la gcloud CLI. Si vous avez déjà installé la gcloud CLI, obtenez la dernière version en exécutant la commande gcloud components update. Il est possible que les versions antérieures de la gcloud CLI ne permettent pas d'exécuter les commandes de ce document.
  • Assurez-vous de disposer d'un cluster standard qui répond à toutes les exigences.

Conditions requises

Pour utiliser toutes les fonctionnalités d'Autopilot dans un cluster Standard, votre cluster doit répondre aux exigences suivantes :

  • Le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure. Les exigences de version pour les paramètres individuels sont les suivantes :

    • Pour définir une ComputeClass Autopilot intégrée comme valeur par défaut du cluster, celui-ci doit exécuter GKE version 1.37.1-gke.1380000 ou ultérieure.
    • Pour créer un cluster sans nœuds initiaux, le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure.
    • Pour configurer l'autoscaler de cluster afin qu'il effectue un scaling du cluster jusqu'à zéro nœud, le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure.

    Pour mettre à niveau votre cluster vers une version compatible, consultez Mettre à niveau manuellement le plan de contrôle ou les pools de nœuds d'un cluster.

  • Le cluster doit remplir toutes les conditions requises pour utiliser les ComputeClasses Autopilot. Pour vérifier si votre cluster répond à ces exigences, consultez Exécuter des charges de travail en mode Autopilot dans des clusters standards.

Rôles et autorisations nécessaires

Pour obtenir les autorisations nécessaires pour créer ou mettre à jour des clusters afin d'utiliser le mode Autopilot, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet Google Cloud  :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer un cluster Standard qui utilise le mode Autopilot

Pour créer un cluster Standard qui utilise tous les paramètres Autopilot, exécutez la commande suivante :

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Remplacez les éléments suivants :

  • CLUSTER_NAME : nom de votre nouveau cluster.
  • CONTROL_PLANE_LOCATION : région du plan de contrôle de votre cluster, par exemple us-central1.
  • BUILT_IN_COMPUTECLASS_NAME : ComputeClass intégrée à utiliser par défaut pour le cluster, par exemple autopilot.

Si vous le souhaitez, vous pouvez ajuster le délai avant que l'autoscaler de cluster ne redimensionne le cluster à zéro nœud à l'aide de l'option --cluster-scale-to-zero-delay :

gcloud container clusters create CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --num-nodes=0 \
    --default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
    --enable-cluster-scale-to-zero \
    --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
    --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools

Remplacez SCALE_TO_ZERO_DELAY par la durée du délai. Cette valeur doit spécifier un entier et une unité de temps, par exemple 0s, 1m ou 3h. Le délai maximal est de trois heures. Si vous ne spécifiez pas l'option --cluster-scale-to-zero-delay, le délai par défaut est de trois heures.

Si la commande de création de cluster échoue et affiche un message d'erreur, consultez ce message pour en savoir plus. Voici les erreurs les plus courantes :

  • Votre cluster utilise une version qui n'est pas compatible avec l'un des indicateurs spécifiés. Pour résoudre cette erreur, mettez à jour votre cluster vers la version minimale requise, comme indiqué dans la section Conditions requises.
  • Vous avez spécifié des options de configuration de pool de nœuds (telles que l'option --machine-type) dans votre commande de création de cluster. Comme votre nouveau cluster ne dispose pas de pool de nœuds initial, vous ne pouvez pas spécifier d'options de configuration de pool de nœuds. Pour résoudre cette erreur, supprimez les options de configuration du pool de nœuds de votre commande.
  • Vous avez spécifié le nom d'une ComputeClass personnalisée pour l'option --default-compute-class. Pour résoudre cette erreur, spécifiez l'une des ComputeClasses Autopilot intégrées.

Mettre à jour un cluster Standard existant pour utiliser le mode Autopilot

Vous pouvez modifier un cluster Standard existant pour utiliser le mode Autopilot. Ce processus implique des modifications potentiellement perturbatrices de vos charges de travail, telles que la suppression des pools de nœuds créés manuellement. Effectuez ces étapes pendant une période de maintenance planifiée.

  1. Vérifiez que votre cluster répond à toutes les exigences de ce document.

  2. Examinez votre cluster et apportez les modifications nécessaires pour éviter les conflits avec les règles de cluster Autopilot. Pour en savoir plus sur les modifications potentielles, consultez Règles compatibles.

  3. Lorsque vous définissez une ComputeClass Autopilot comme valeur par défaut du cluster, les pods entrants qui ne sélectionnent pas une autre ComputeClass deviennent des charges de travail Autopilot. Vérifiez les charges de travail qui ne sélectionnent pas de ComputeClass pour les propriétés suivantes :

    • Vérifiez que vos charges de travail respectent les contraintes de sécurité d'Autopilot ou configurez une liste d'autorisation pour les charges de travail privilégiées.
    • Recherchez et supprimez les sélecteurs de nœuds ou les règles d'affinité de nœuds cloud.google.com/gke-nodepool des pods.
    • Vérifiez si des espaces de noms portent l'étiquette cloud.google.com/default-compute-class ou cloud.google.com/default-compute-class-non-daemonset. Les ComputeClasses par défaut au niveau de l'espace de noms prévalent sur la ComputeClass par défaut au niveau du cluster.
  4. Vérifiez si le cluster possède une ComputeClass personnalisée nommée default :

    kubectl get computeclass default -o yaml
    

    Si le résultat est vide, passez à l'étape suivante. Si la classe ComputeClass default existe, le résultat ressemble à ce qui suit :

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    

    Dans le résultat, si l'annotation cloud.google.com/gke-managed-default-compute-class: "true" se trouve dans le champ metadata.annotations, passez à l'étape suivante. Si cette annotation n'existe pas, supprimez la ComputeClass :

    kubectl delete computeclass default
    
  5. Recherchez et supprimez tous les pools de nœuds existants créés manuellement dans le cluster.

  6. Activez les paramètres Autopilot pour le cluster :

    1. Définissez la ComputeClass par défaut du cluster sur une ComputeClass intégrée :

      gcloud container clusters update CLUSTER_NAME \
          --location=CONTROL_PLANE_LOCATION \
          --default-compute-class=BUILT_IN_COMPUTECLASS_NAME
      

      Remplacez les éléments suivants :

      • CLUSTER_NAME : nom de votre cluster Standard existant.
      • CONTROL_PLANE_LOCATION : région du plan de contrôle de votre cluster.
      • BUILT_IN_COMPUTECLASS_NAME : ComputeClass Autopilot intégrée à utiliser par défaut pour le cluster, par exemple autopilot.
      1. Activez l'autoscaling de cluster et laissez l'autoscaler faire passer le cluster à zéro nœud :

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero
        

        Vous pouvez éventuellement ajuster le délai avant que l'autoscaler de cluster ne réduise le cluster à zéro nœud à l'aide de l'option --cluster-scale-to-zero-delay :

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --enable-autoscaling \
            --enable-cluster-scale-to-zero \
            --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY
        

        Remplacez SCALE_TO_ZERO_DELAY par la durée du délai. Cette valeur doit spécifier un entier et une unité de temps, par exemple 0s, 1m ou 3h. Le délai maximal est de trois heures. Si vous ne spécifiez pas l'option --cluster-scale-to-zero-delay, le délai par défaut est de trois heures.

      2. Activez les règles de cluster Autopilot :

        gcloud container clusters update CLUSTER_NAME \
            --location=CONTROL_PLANE_LOCATION \
            --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
        

    Si l'une de vos commandes de mise à jour de cluster échoue et affiche un message d'erreur, consultez ce message pour en savoir plus. Voici les erreurs les plus courantes :

    • Votre cluster utilise une version qui n'est pas compatible avec l'un des indicateurs spécifiés. Pour résoudre cette erreur, mettez à niveau votre cluster vers la version minimale requise, comme indiqué dans la section Conditions requises.
    • Vous avez spécifié le nom d'une ComputeClass personnalisée pour l'option --default-compute-class. Pour résoudre cette erreur, spécifiez l'une des ComputeClasses Autopilot intégrées.
    • Votre cluster comporte des pools de nœuds créés manuellement. GKE ne peut donc pas appliquer la règle no-standard-node-pools. Pour résoudre cette erreur, supprimez les pools de nœuds créés manuellement.

Vérifier que votre cluster utilise le mode Autopilot

Après avoir configuré votre cluster nouveau ou existant, vérifiez que les paramètres Autopilot sont actifs :

  1. Vérifiez que les paramètres ComputeClass par défaut, de scaling à zéro instance et de règle de cluster sont activés sur le cluster :

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"
    

    Le résultat ressemble à ce qui suit :

    autoscaling:
      defaultComputeClassConfig:
        computeClass: autopilot
        enabled: true
      scaleToZeroConfig:
        enabled: true
        delay: 3h
    autopilot:
      clusterPolicyConfig:
        noManualNodePools: true
        noSystemImpersonation: true
        noSystemMutation: true
        noUnsafeWebhooks: true
    
  2. Vérifiez que GKE a créé la ComputeClass default gérée dans votre cluster :

    kubectl get computeclass default -o yaml
    

    Le résultat ressemble à ce qui suit :

    Si le résultat est vide, passez à l'étape suivante. Si la classe ComputeClass default existe, le résultat ressemble à ce qui suit :

    apiVersion: cloud.google.com/v1
    kind: ComputeClass
    metadata:
      annotations:
        cloud.google.com/gke-managed-default-compute-class: "true"
      name: default
    # Multiple lines are omitted here.
    spec:
      autopilot:
        enabled: true
    # Multiple lines are omitted here.
    

    Dans ce résultat, l'annotation cloud.google.com/gke-managed-default-compute-class: "true" indique que GKE a créé la ComputeClass.

  3. Lorsque vous déployez un pod qui ne sélectionne pas de ComputeClass différente, vérifiez qu'il s'exécute sur un nœud géré par Autopilot :

    kubectl get pods -o wide
    

    Dans le résultat, les nœuds gérés par Autopilot ont le préfixe gk3- dans la colonne NODE.

Modifier ou désactiver des paramètres Autopilot individuels

Comme chaque fonctionnalité Autopilot d'un cluster Standard est modulaire, vous pouvez personnaliser ou désactiver des paramètres individuels à tout moment. Si vous êtes administrateur de la sécurité, vous pouvez utiliser des contraintes de règles d'administration personnalisées pour appliquer ces paramètres. Pour en savoir plus, consultez Appliquer les paramètres Autopilot avec des règles d'administration personnalisées.

Appliquer les paramètres Autopilot avec des règles d'administration personnalisées

Étant donné que les paramètres Autopilot des clusters standards peuvent être modifiés ou désactivés par les utilisateurs disposant d'autorisations de mise à jour des clusters, les administrateurs de l'organisation peuvent utiliser des contraintes de règles d'administration personnalisées dans le service de règles d'administration pour appliquer ces paramètres à l'échelle d'une organisation, d'un dossier ou d'un projet. L'exemple de contrainte suivant refuse les opérations de création ou de mise à jour de clusters pour les clusters qui n'appliquent pas tous les paramètres Autopilot :

name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
  "resource.ClusterPolicyConfig.no_system_mutation != true ||
  resource.ClusterPolicyConfig.no_system_impersonation != true ||
  resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
  resource.ClusterPolicyConfig.no_standard_node_pools != true ||
  resource.ScaleToZeroConfig.enabled != true ||
  !(resource.DefaultComputeClassConfig.computeClass in [
    'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
  ])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.

Remplacez ORGANIZATION_ID par votre ID d'organisation.

Étapes suivantes