Vous pouvez configurer les clusters Google Kubernetes Engine (GKE) Standard pour qu'ils fonctionnent de la même manière que les clusters en mode Autopilot en activant des paramètres de cluster tels que la classe ComputeClass par défaut, les règles de sécurité des clusters Autopilot et le scaling à zéro du cluster.
Ce document est destiné aux administrateurs de plate-forme et aux ingénieurs de sécurité qui souhaitent bénéficier de tous les avantages du mode Autopilot dans un cluster Standard, avec la possibilité de modifier ou de désactiver des paramètres individuels. Si vous n'avez pas besoin de cette flexibilité, créez plutôt un cluster Autopilot dédié.
Vous devez déjà connaître les concepts suivants :
- Mode GKE Autopilot
- À propos des charges de travail en mode Autopilot dans GKE Standard
- ComputeClasses GKE
Paramètres des clusters Autopilot
Pour configurer un cluster Standard afin qu'il fonctionne comme un cluster Autopilot, vous devez configurer tous les paramètres suivants :
- ComputeClass Autopilot par défaut du cluster : définissez l'une des ComputeClasses Autopilot intégrées. Tous les pods qui ne sélectionnent pas de ComputeClass s'exécutent à l'aide de la ComputeClass par défaut spécifiée. Les ComputeClasses intégrées utilisent toutes le mode Autopilot et le modèle de facturation basé sur les pods.
- Effectuer un autoscaling du cluster à zéro nœud : configurez l'autoscaler de cluster pour qu'il effectue un scaling du cluster à zéro nœud lorsqu'il n'y a pas de charges de travail utilisateur actives dans le cluster. Vous pouvez éventuellement ajuster le délai avant que l'autoscaler ne redimensionne le cluster à zéro nœud.
- Zéro nœud initial : lors de la création du cluster, empêchez la création automatique d'un pool de nœuds par défaut. Pour les clusters existants, supprimez tous les pools de nœuds créés manuellement.
- Règles de sécurité des clusters Autopilot : appliquez toutes les règles de sécurité Autopilot. Ces règles permettent de protéger les charges de travail et les identités du système.
Vous pouvez modifier votre cluster pour changer l'un de ces paramètres indépendamment des autres. Par exemple, si vous devez créer manuellement un pool de nœuds, vous pouvez désactiver la règle de sécurité du cluster Autopilot correspondante sans modifier les autres paramètres.
Points à prendre en compte concernant la flexibilité et la sécurité
Lorsque vous créez un cluster Autopilot, le mode du cluster est permanent. Les paramètres de cluster tels que le scaling à zéro nœud, l'interdiction de la création manuelle de pools de nœuds et les différentes contraintes de sécurité sont immuables. Toutefois, lorsque vous configurez un cluster Standard pour qu'il utilise tous les paramètres d'un cluster Autopilot, les paramètres sont modifiables. Toute personne autorisée à modifier les configurations de cluster peut modifier ou désactiver des paramètres individuels.
Pour appliquer l'utilisation de ces paramètres dans une organisation, un dossier ou un projet, les administrateurs de l'organisation peuvent utiliser une contrainte de règle d'administration personnalisée. Pour en savoir plus, consultez la section Appliquer les paramètres Autopilot avec des règles d'administration personnalisées de ce document.
Limites
Si vous configurez des nœuds GKE confidentiels au niveau du cluster, GKE ignore votre commande d'utiliser une ComputeClass Autopilot comme valeur par défaut du cluster.
Avant de commencer
Avant de commencer, effectuez les tâches suivantes :
- Activez l'API Google Kubernetes Engine. Activer l'API Google Kubernetes Engine
- Pour utiliser la Google Cloud CLI pour cette tâche, installez puis initialisez la gcloud CLI. Si vous avez déjà installé la gcloud CLI, obtenez la dernière version en exécutant la commande
gcloud components update. Il est possible que les versions antérieures de la gcloud CLI ne permettent pas d'exécuter les commandes de ce document.
- Assurez-vous de disposer d'un cluster standard qui répond à toutes les exigences.
Conditions requises
Pour utiliser toutes les fonctionnalités d'Autopilot dans un cluster Standard, votre cluster doit répondre aux exigences suivantes :
Le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure. Les exigences de version pour les paramètres individuels sont les suivantes :
- Pour définir une ComputeClass Autopilot intégrée comme valeur par défaut du cluster, celui-ci doit exécuter GKE version 1.37.1-gke.1380000 ou ultérieure.
- Pour créer un cluster sans nœuds initiaux, le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure.
- Pour configurer l'autoscaler de cluster afin qu'il effectue un scaling du cluster jusqu'à zéro nœud, le cluster doit exécuter GKE version 1.37.1-gke.3020000 ou ultérieure.
Pour mettre à niveau votre cluster vers une version compatible, consultez Mettre à niveau manuellement le plan de contrôle ou les pools de nœuds d'un cluster.
Le cluster doit remplir toutes les conditions requises pour utiliser les ComputeClasses Autopilot. Pour vérifier si votre cluster répond à ces exigences, consultez Exécuter des charges de travail en mode Autopilot dans des clusters standards.
Rôles et autorisations nécessaires
Pour obtenir les autorisations nécessaires pour créer ou mettre à jour des clusters afin d'utiliser le mode Autopilot, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet Google Cloud :
-
Créer et mettre à jour des clusters et des pools de nœuds : Administrateur de cluster Kubernetes Engine (
roles/container.clusterAdmin) -
Gérer les ComputeClasses et les charges de travail dans le cluster : Développeur Kubernetes Engine (
roles/container.developer)
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.
Créer un cluster Standard qui utilise le mode Autopilot
Pour créer un cluster Standard qui utilise tous les paramètres Autopilot, exécutez la commande suivante :
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Remplacez les éléments suivants :
CLUSTER_NAME: nom de votre nouveau cluster.CONTROL_PLANE_LOCATION: région du plan de contrôle de votre cluster, par exempleus-central1.BUILT_IN_COMPUTECLASS_NAME: ComputeClass intégrée à utiliser par défaut pour le cluster, par exempleautopilot.
Si vous le souhaitez, vous pouvez ajuster le délai avant que l'autoscaler de cluster ne redimensionne le cluster à zéro nœud à l'aide de l'option --cluster-scale-to-zero-delay :
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Remplacez SCALE_TO_ZERO_DELAY par la durée du délai.
Cette valeur doit spécifier un entier et une unité de temps, par exemple 0s, 1m ou 3h. Le délai maximal est de trois heures. Si vous ne spécifiez pas l'option --cluster-scale-to-zero-delay, le délai par défaut est de trois heures.
Si la commande de création de cluster échoue et affiche un message d'erreur, consultez ce message pour en savoir plus. Voici les erreurs les plus courantes :
- Votre cluster utilise une version qui n'est pas compatible avec l'un des indicateurs spécifiés. Pour résoudre cette erreur, mettez à jour votre cluster vers la version minimale requise, comme indiqué dans la section Conditions requises.
- Vous avez spécifié des options de configuration de pool de nœuds (telles que l'option
--machine-type) dans votre commande de création de cluster. Comme votre nouveau cluster ne dispose pas de pool de nœuds initial, vous ne pouvez pas spécifier d'options de configuration de pool de nœuds. Pour résoudre cette erreur, supprimez les options de configuration du pool de nœuds de votre commande. - Vous avez spécifié le nom d'une ComputeClass personnalisée pour l'option
--default-compute-class. Pour résoudre cette erreur, spécifiez l'une des ComputeClasses Autopilot intégrées.
Mettre à jour un cluster Standard existant pour utiliser le mode Autopilot
Vous pouvez modifier un cluster Standard existant pour utiliser le mode Autopilot. Ce processus implique des modifications potentiellement perturbatrices de vos charges de travail, telles que la suppression des pools de nœuds créés manuellement. Effectuez ces étapes pendant une période de maintenance planifiée.
Vérifiez que votre cluster répond à toutes les exigences de ce document.
Examinez votre cluster et apportez les modifications nécessaires pour éviter les conflits avec les règles de cluster Autopilot. Pour en savoir plus sur les modifications potentielles, consultez Règles compatibles.
Lorsque vous définissez une ComputeClass Autopilot comme valeur par défaut du cluster, les pods entrants qui ne sélectionnent pas une autre ComputeClass deviennent des charges de travail Autopilot. Vérifiez les charges de travail qui ne sélectionnent pas de ComputeClass pour les propriétés suivantes :
- Vérifiez que vos charges de travail respectent les contraintes de sécurité d'Autopilot ou configurez une liste d'autorisation pour les charges de travail privilégiées.
- Recherchez et supprimez les sélecteurs de nœuds ou les règles d'affinité de nœuds
cloud.google.com/gke-nodepooldes pods. - Vérifiez si des espaces de noms portent l'étiquette
cloud.google.com/default-compute-classoucloud.google.com/default-compute-class-non-daemonset. Les ComputeClasses par défaut au niveau de l'espace de noms prévalent sur la ComputeClass par défaut au niveau du cluster.
Vérifiez si le cluster possède une ComputeClass personnalisée nommée
default:kubectl get computeclass default -o yamlSi le résultat est vide, passez à l'étape suivante. Si la classe ComputeClass
defaultexiste, le résultat ressemble à ce qui suit :apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.Dans le résultat, si l'annotation
cloud.google.com/gke-managed-default-compute-class: "true"se trouve dans le champmetadata.annotations, passez à l'étape suivante. Si cette annotation n'existe pas, supprimez la ComputeClass :kubectl delete computeclass defaultRecherchez et supprimez tous les pools de nœuds existants créés manuellement dans le cluster.
Activez les paramètres Autopilot pour le cluster :
Définissez la ComputeClass par défaut du cluster sur une ComputeClass intégrée :
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMERemplacez les éléments suivants :
CLUSTER_NAME: nom de votre cluster Standard existant.CONTROL_PLANE_LOCATION: région du plan de contrôle de votre cluster.BUILT_IN_COMPUTECLASS_NAME: ComputeClass Autopilot intégrée à utiliser par défaut pour le cluster, par exempleautopilot.
Activez l'autoscaling de cluster et laissez l'autoscaler faire passer le cluster à zéro nœud :
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroVous pouvez éventuellement ajuster le délai avant que l'autoscaler de cluster ne réduise le cluster à zéro nœud à l'aide de l'option
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYRemplacez
SCALE_TO_ZERO_DELAYpar la durée du délai. Cette valeur doit spécifier un entier et une unité de temps, par exemple0s,1mou3h. Le délai maximal est de trois heures. Si vous ne spécifiez pas l'option--cluster-scale-to-zero-delay, le délai par défaut est de trois heures.Activez les règles de cluster Autopilot :
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Si l'une de vos commandes de mise à jour de cluster échoue et affiche un message d'erreur, consultez ce message pour en savoir plus. Voici les erreurs les plus courantes :
- Votre cluster utilise une version qui n'est pas compatible avec l'un des indicateurs spécifiés. Pour résoudre cette erreur, mettez à niveau votre cluster vers la version minimale requise, comme indiqué dans la section Conditions requises.
- Vous avez spécifié le nom d'une ComputeClass personnalisée pour l'option
--default-compute-class. Pour résoudre cette erreur, spécifiez l'une des ComputeClasses Autopilot intégrées. - Votre cluster comporte des pools de nœuds créés manuellement. GKE ne peut donc pas appliquer la règle
no-standard-node-pools. Pour résoudre cette erreur, supprimez les pools de nœuds créés manuellement.
Vérifier que votre cluster utilise le mode Autopilot
Après avoir configuré votre cluster nouveau ou existant, vérifiez que les paramètres Autopilot sont actifs :
Vérifiez que les paramètres ComputeClass par défaut, de scaling à zéro instance et de règle de cluster sont activés sur le cluster :
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"Le résultat ressemble à ce qui suit :
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: trueVérifiez que GKE a créé la ComputeClass
defaultgérée dans votre cluster :kubectl get computeclass default -o yamlLe résultat ressemble à ce qui suit :
Si le résultat est vide, passez à l'étape suivante. Si la classe ComputeClass
defaultexiste, le résultat ressemble à ce qui suit :apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.Dans ce résultat, l'annotation
cloud.google.com/gke-managed-default-compute-class: "true"indique que GKE a créé la ComputeClass.Lorsque vous déployez un pod qui ne sélectionne pas de ComputeClass différente, vérifiez qu'il s'exécute sur un nœud géré par Autopilot :
kubectl get pods -o wideDans le résultat, les nœuds gérés par Autopilot ont le préfixe
gk3-dans la colonneNODE.
Modifier ou désactiver des paramètres Autopilot individuels
Comme chaque fonctionnalité Autopilot d'un cluster Standard est modulaire, vous pouvez personnaliser ou désactiver des paramètres individuels à tout moment. Si vous êtes administrateur de la sécurité, vous pouvez utiliser des contraintes de règles d'administration personnalisées pour appliquer ces paramètres. Pour en savoir plus, consultez Appliquer les paramètres Autopilot avec des règles d'administration personnalisées.
- Désactivez des règles Autopilot spécifiques dans votre cluster, telles que
no-standard-node-pools. - Désactivez la ComputeClass par défaut au niveau du cluster. Vous pouvez également définir une ComputeClass personnalisée comme ComputeClass par défaut du cluster en créant une ComputeClass nommée
default. Empêchez l'autoscaling du cluster à zéro nœud :
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
Appliquer les paramètres Autopilot avec des règles d'administration personnalisées
Étant donné que les paramètres Autopilot des clusters standards peuvent être modifiés ou désactivés par les utilisateurs disposant d'autorisations de mise à jour des clusters, les administrateurs de l'organisation peuvent utiliser des contraintes de règles d'administration personnalisées dans le service de règles d'administration pour appliquer ces paramètres à l'échelle d'une organisation, d'un dossier ou d'un projet. L'exemple de contrainte suivant refuse les opérations de création ou de mise à jour de clusters pour les clusters qui n'appliquent pas tous les paramètres Autopilot :
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
Remplacez ORGANIZATION_ID par votre ID d'organisation.
Étapes suivantes
- En savoir plus sur les charges de travail Autopilot dans GKE Standard
- Exécuter des charges de travail en mode Autopilot dans des clusters Standard
- Appliquer des ComputeClasses aux pods par défaut
- Appliquer les règles de sécurité Autopilot dans les clusters standards
- Effectuer l'autoscaling d'un cluster