Lorsque vos pods dans Google Kubernetes Engine (GKE) sont bloqués à l'état Pending et que de nouveaux nœuds ne sont pas ajoutés, cela indique souvent un problème avec la fonctionnalité de scaling à la hausse de l'autoscaler de cluster. Ce problème peut empêcher vos applications d'évoluer pour répondre à la demande, retarder les déploiements et affecter la disponibilité du service.
Cette page vous permet de diagnostiquer et de résoudre les problèmes courants qui empêchent l'autoscaler de cluster d'ajouter des nœuds. La résolution de ces problèmes permet au programmeur Kubernetes de placer rapidement vos charges de travail et aide votre cluster à s'adapter à l'augmentation de la charge.
Ces informations sont importantes pour les développeurs d'applications, qui ont besoin que leurs applications et services soient planifiés et s'exécutent de manière fiable, ainsi que pour les administrateurs et opérateurs de plate-forme, qui sont chargés de s'assurer que le cluster peut provisionner dynamiquement des ressources pour répondre aux exigences de charge de travail et maintenir les niveaux de service. Pour en savoir plus sur les rôles courants et les exemples de tâches que nous citons dans le contenu Google Cloud , consultez Rôles utilisateur et tâches courantes de GKE.
Comprendre quand l'autoscaler de cluster augmente vos nœuds
Avant de procéder au dépannage, il peut être utile de comprendre quand l'autoscaler de cluster tente d'augmenter la capacité de vos nœuds. L'autoscaler de cluster n'ajoute des nœuds que lorsque les ressources existantes sont insuffisantes.
Toutes les 10 secondes, l'autoscaler de cluster vérifie s'il existe des pods non programmables. Un pod devient non programmable lorsque le programmeur Kubernetes ne peut pas le placer sur un nœud existant en raison de ressources insuffisantes, de contraintes de nœud ou d'exigences de pod non satisfaites.
Lorsque l'autoscaler de cluster détecte des pods non programmables, il évalue si l'ajout d'un nœud permettrait de programmer le pod. Si l'ajout d'un nœud permet de planifier un pod, l'autoscaler de cluster ajoute un nœud au groupe d'instances géré (MIG). Le programmeur Kubernetes peut alors planifier le pod sur le nœud nouvellement provisionné.
Vérifier si vous avez des pods non programmables
Pour déterminer si votre cluster doit faire l'objet d'un scaling à la hausse, recherchez les pods non programmés :
Dans la console Google Cloud , accédez à la page Charges de travail.
Dans le champ Filtre, saisissez
unschedulable, puis appuyez sur Entrée.Si des pods sont listés, cela signifie que vous avez des pods non programmables. Pour résoudre les problèmes liés aux pods non programmables, consultez Erreur : Pod non programmable. La résolution de la cause sous-jacente des pods non programmables permet souvent à l'autoscaler de cluster d'effectuer un scaling à la hausse. Pour identifier et résoudre les erreurs spécifiques à l'autoscaler de cluster, consultez les sections suivantes.
Si aucun pod n'est listé, l'autoscaler de cluster n'a pas besoin d'effectuer de scaling à la hausse et fonctionne comme prévu.
Vérifier si vous aviez des pods non programmables
Si vous recherchez la cause de l'échec de l'autoscaler de cluster par le passé, recherchez les pods qui n'étaient pas programmables :
Dans la console Google Cloud , accédez à la page Explorateur de journaux.
Spécifiez une période pour les entrées de journal que vous souhaitez afficher.
Dans le volet de requête, saisissez la requête suivante :
logName="projects/PROJECT_ID/logs/events" jsonPayload.source.component="default-scheduler" jsonPayload.reason="FailedScheduling"Remplacez
PROJECT_IDpar l'ID du projet.Cliquez sur Exécuter la requête.
Si des résultats sont listés, cela signifie que vous aviez des pods non programmables au cours de la période spécifiée.
Vérifier si le problème est dû à une limitation
Après avoir confirmé que vous disposez de pods non planifiés, assurez-vous que votre problème avec l'autoscaler de cluster n'est pas dû à l'une des limites de l'autoscaler de cluster.
Analyser les métriques Cloud Monitoring pour détecter les problèmes de scaling à la hausse
L'autoscaler de cluster GKE expose des métriques à Cloud Monitoring qui fournissent des insights sur ses décisions, en particulier en ce qui concerne les ComputeClasses. Ces métriques sont disponibles sur GKE version 1.37 et ultérieure, et incluent les éléments suivants.
- Pods en attente :
kubernetes.io/autoscaler/cluster_pending_pods_per_cccaffiche les pods que l'autoscaler tente de planifier. - Tentatives de provisionnement :
kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_cccsuit la fréquence à laquelle l'autoscaler tente d'ajouter des nœuds. - Échecs de provisionnement :
kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_cccaffiche les tentatives de création de nœuds ayant échoué et les raisons de ces échecs.
Ces métriques utilisent le type de ressource k8s_entity, où la valeur du champ resource.labels.entity_type est ComputeClass. La valeur du champ resource.labels.entity_name indique le nom de la ComputeClass. Si le champ entity_name contient une chaîne vide ("") comme valeur, la métrique concerne les décisions de l'autoscaler de cluster qui ne sont pas liées à une ComputeClass.
Utilisez l'Explorateur de métriques pour filtrer et regrouper les résultats par champ entity_name.
Par exemple, utilisez la chaîne resource.labels.entity_name = "" pour afficher les activités qui ne sont pas liées aux ComputeClasses, et les libellés de métriques (comme reason) pour déterminer si les problèmes de scaling à la hausse sont spécifiques à une ComputeClass.
Pour obtenir des exemples de requêtes, consultez Surveiller le provisionnement des nœuds et Surveiller l'état des pods en attente.
Afficher les erreurs
Vous pouvez souvent diagnostiquer la cause des problèmes de scaling à la hausse en consultant les messages d'erreur :
Si vous avez déjà reçu un message d'erreur, consultez le tableau des messages d'erreur pour obtenir des conseils sur la résolution de l'erreur.
Si vous n'avez pas encore reçu de message, utilisez l'une des options suivantes:
- Problèmes datant de moins de 72 heures : affichez les notifications d'erreur dans la console Google Cloud .
- Problèmes datant de plus de 72 heures : afficher les erreurs dans les événements de Cloud Logging
Afficher les erreurs dans les notifications
Si le problème que vous avez observé s'est produit il y a moins de 72 heures, consultez les notifications d'erreur dans la console Google Cloud . Ces notifications fournissent des informations précieuses sur les raisons pour lesquelles l'autoscaler de cluster n'a pas effectué de scaling à la hausse, et proposent des conseils pour résoudre l'erreur et afficher les journaux pertinents pour une enquête plus approfondie.
Pour afficher les notifications dans la console Google Cloud , procédez comme suit :
Dans la console Google Cloud , accédez à la page Clusters Kubernetes.
Consultez la colonne Notifications. Les notifications suivantes sont associées à des problèmes de scaling à la hausse :
Can't scale upCan't scale up podsCan't scale up a node pool
Cliquez sur la notification concernée pour afficher un volet contenant des informations sur la cause du problème et les actions recommandées pour le résoudre.
Facultatif: Pour afficher les journaux de cet événement, cliquez sur Journaux. Cette action vous redirige vers l'explorateur de journaux avec une requête préremplie pour vous aider à enquêter plus en détail sur l'événement de scaling. Pour en savoir plus sur le fonctionnement des événements de scaling à la hausse, consultez Afficher les événements d'autoscaler de cluster.
Si le problème persiste après avoir lu les conseils de la notification, consultez les tables des messages d'erreur pour obtenir de l'aide.
Afficher les erreurs dans les événements
Si le problème que vous avez observé s'est produit il y a plus de 72 heures, consultez les événements dans Cloud Logging. En cas d'erreur, celle-ci est souvent enregistrée dans un événement.
Pour afficher les journaux de l'autoscaler de cluster dans la console Google Cloud , procédez comme suit :
Dans la console Google Cloud , accédez à la page Clusters Kubernetes.
Sélectionnez le nom du cluster que vous souhaitez examiner pour afficher la page Détails du cluster.
Sur la page Détails du cluster, cliquez sur l'onglet Journaux.
Dans l'onglet Journaux, cliquez sur l'onglet Journaux de l'autoscaler pour afficher les journaux.
Facultatif : Pour appliquer des filtres plus avancés afin d'affiner les résultats, cliquez sur le bouton situé à droite de la page pour afficher les journaux dans l'explorateur de journaux.
Pour en savoir plus sur le fonctionnement des événements de scaling à la hausse, consultez Afficher les événements d'autoscaler de cluster. Pour découvrir comment utiliser Cloud Logging, consultez l'exemple de dépannage suivant.
Exemple: Résoudre un problème datant de plus de 72 heures
L'exemple suivant montre comment vous pouvez examiner et résoudre un problème de cluster qui n'augmente pas de taille.
Scénario : Un pod a été marqué comme non programmable au cours de la dernière heure. L'autoscaler de cluster n'a provisionné aucun nouveau nœud pour planifier le pod.
Solution :
- Comme le problème s'est produit il y a plus de 72 heures, vous examinez le problème à l'aide de Cloud Logging au lieu de consulter les messages de notification.
- Dans Cloud Logging, vous trouverez les détails de journalisation des événements de l'autoscaler de cluster, comme décrit dans Afficher les erreurs dans les événements.
Vous recherchez des événements
scaleUpcontenant le pod que vous étudiez dans le champtriggeringPods. Vous pouvez filtrer les entrées de journal, y compris en fonction d'une valeur de champ JSON particulière. Pour en savoir plus, consultez la page Requêtes de journaux avancées.Vous ne trouvez aucun événement de scaling à la hausse. Toutefois, si vous l'avez fait, vous pouvez essayer de trouver un événement
EventResultcontenant la même valeureventIdque l'événementscaleUp. Vous pouvez ensuite examiner le champerrorMsget consulter la liste des messages d'erreur scaleUp possibles.Comme vous n'avez trouvé aucun événement
scaleUp, vous continuez à rechercher des événementsnoScaleUpet à examiner les champs suivants :unhandledPodGroups: contient des informations sur le pod (ou sur son contrôleur).reason: fournit des motifs globaux indiquant que le scaling à la hausse pourrait être bloqué.skippedMigs: fournit des motifs pour lesquels certains MIG peuvent être ignorés.
Vous identifiez un événement
noScaleUppour votre pod, et tous les MIG du champrejectedMigsont le même ID de message de motif"no.scale.up.mig.failing.predicate"avec deux paramètres,"NodeAffinity"et"node(s) did not match node selector".
Solution :
Après avoir consulté la liste des messages d'erreur, vous constatez que l'autoscaler de cluster ne peut pas effectuer de scaling à la hausse d'un pool de nœuds en raison d'un échec du prédicat de planification pour les pods en attente. Les paramètres sont le nom du prédicat défaillant et la raison de l'échec.
Pour résoudre le problème, vous examinez le fichier manifeste du pod et découvrez qu'il comporte un sélecteur de nœud qui ne correspond à aucun MIG du cluster. Vous supprimez le sélecteur du fichier manifeste du pod et recréez le pod. L'autoscaler de cluster ajoute un nœud et le pod est programmé.
Résoudre les erreurs de scaling à la hausse
Si vous utilisez des ComputeClasses personnalisées et que les problèmes de scaling à la hausse sont liés aux configurations de nœuds spécifiques définies dans votre ComputeClass, consultez Résoudre les problèmes liés aux ComputeClasses personnalisées.
Une fois que vous avez identifié l'erreur, utilisez les tableaux suivants pour comprendre sa cause et la résoudre.
Erreurs liées aux événements scaleUp
Les messages d'erreur concernant les événements scaleUp se trouvent dans l'événement eventResult correspondant, dans le champ resultInfo.results[].errorMsg.
Lorsqu'une opération de scaling à la hausse échoue, car elle dépasse un quota, il s'agit d'une erreur de création de nœud qui déclenche une période d'intervalle exponentiel entre les tentatives du système, qui peut durer jusqu'à 30 minutes. Pour en savoir plus, consultez Périodes d'intervalle exponentiel entre les tentatives.
| Message | Détails | Paramètres | Atténuation |
|---|---|---|---|
"scale.up.error.out.of.resources" |
Des erreurs de ressources se produisent lorsque vous tentez de demander de nouvelles ressources dans une zone qui ne peut pas traiter votre requête du fait de l'indisponibilité actuelle d'une ressource Compute Engine, telle que les GPU ou les processeurs. | ID des MIG défaillants. | Suivez la procédure de résolution de problèmes pour la disponibilité des ressources dans la documentation Compute Engine. |
"scale.up.error.quota.exceeded" |
L'événement scaleUp a échoué, car certains MIG n'ont pas pu être augmentés en raison d'un dépassement de quota Compute Engine. | ID des MIG défaillants. | Consultez l'onglet Erreurs du MIG dans la console Google Cloud pour voir quel quota est dépassé. Une fois que vous savez quel quota est dépassé, suivez les instructions pour demander une augmentation de quota. |
"scale.up.error.waiting.for.instances.timeout" |
Échec du scaling à la hausse du groupe d'instances géré en raison de l'expiration du délai. | ID des MIG défaillants. | Si les instances démarrent, mais ne s'enregistrent pas auprès du plan de contrôle, suivez les étapes de la section Rechercher une instance dont l'enregistrement des nœuds a échoué. Pour d'autres causes, consultez Les instances MIG n'ont pas pu apparaître à temps. Cette erreur est généralement temporaire. Si l'erreur persiste, contactez Cloud Customer Care pour une analyse plus approfondie. |
"scale.up.error.ip.space.exhausted" |
Impossible d'effectuer un scaling à la hausse, car les instances de certains groupes d'instances gérés sont à court d'adresses IP. Cela signifie que le cluster ne dispose pas de suffisamment d'espace d'adresses IP non alloué à utiliser pour ajouter de nouveaux nœuds ou pods. | ID des MIG défaillants. | Suivez la procédure de dépannage décrite dans Pas assez d'espace d'adresses IP libre pour les pods. |
"scale.up.error.service.account.deleted" |
Impossible d'effectuer un scaling à la hausse, car le compte de service a été supprimé. | ID des MIG défaillants. | Essayez d'annuler la suppression du compte de service. Si cette procédure échoue, contactez l'assistance Cloud Customer Care pour une analyse approfondie. |
Motifs de survenue d'un événement noScaleUp
Un événement noScaleUp est émis régulièrement lorsque des pods non programmables se trouvent dans le cluster et que l'autoscaler de cluster ne peut pas effectuer de scaling à la hausse du cluster pour programmer les pods. Les événements noScaleUp reposent sur le principe du "meilleur effort" et ne couvrent pas tous les cas possibles.
Motifs de premier niveau pour les événements noScaleUp
Les messages de motif de premier niveau pour les événements noScaleUp s'affichent dans le champ noDecisionStatus.noScaleUp.reason. Le message contient un motif de premier niveau pour lequel l'autoscaler de cluster ne peut pas effectuer de scaling à la hausse du cluster.
| Message | Détails | Atténuation |
|---|---|---|
"no.scale.up.in.backoff" |
Pas de scaling à la hausse, car le scaling à la hausse est dans une période d'interruption (il est temporairement bloqué). Ce message peut s'afficher lors des événements de scaling à la hausse comportant un grand nombre de pods. | Ce message devrait être temporaire. Vérifiez cette erreur après quelques minutes. Si ce message persiste, contactez l'assistance Cloud Customer Care pour une analyse plus approfondie. |
Motifs de premier niveau liés au provisionnement automatique des nœuds pour les événements noScaleUp
Les messages de motif de premier niveau lié au provisionnement automatique des nœuds pour les événements noScaleUp s'affichent dans le champ noDecisionStatus.noScaleUp.napFailureReason. Le message contient un motif de premier niveau pour lequel l'autoscaler de cluster ne peut pas provisionner de nouveaux pools de nœuds.
| Message | Détails | Atténuation |
|---|---|---|
"no.scale.up.nap.disabled" |
Le provisionnement automatique des nœuds n'a pas pu effectuer de scaling à la hausse, car il n'est pas activé au niveau du cluster. Si le provisionnement automatique des nœuds est désactivé, les nouveaux nœuds ne sont pas provisionnés automatiquement si le pod en attente présente des exigences qui ne peuvent pas être satisfaites par des pools de nœuds existants. |
Vérifiez la configuration du cluster et envisagez d'activer le provisionnement automatique des nœuds. |
Motifs de niveau MIG pour les événements noScaleUp
Les messages de motif de niveau MIG pour les événements noScaleUp s'affichent dans les champs noDecisionStatus.noScaleUp.skippedMigs[].reason et noDecisionStatus.noScaleUp.unhandledPodGroups[].rejectedMigs[].reason.
Le message contient un motif pour lequel l'autoscaler de cluster ne peut pas augmenter la taille d'un MIG particulier.
| Message | Détails | Paramètres | Atténuation |
|---|---|---|---|
"no.scale.up.mig.skipped" |
Impossible d'effectuer un scaling à la hausse d'un MIG, car il a été ignoré lors de la simulation. | Motifs pour lesquels le MIG a été ignoré (par exemple, absence d'une exigence de pod). | Examinez les paramètres inclus dans le message d'erreur et indiquez la raison pour laquelle le MIG a été ignoré. |
"no.scale.up.mig.failing.predicate" |
Impossible d'effectuer le scaling à la hausse d'un pool de nœuds en raison de l'échec d'un prédicat de planification pour les pods en attente. | Nom du prédicat défaillant et motifs de l'échec. | Examiner les exigences du pod, telles que les règles d'affinité, les rejets ou les tolérances, ainsi que les besoins en ressources. |
Motifs de niveau groupe de pods liés au provisionnement automatique des nœuds pour les événements noScaleUp
Les messages de motif de niveau groupe de pods liés au provisionnement automatique des nœuds pour les événements noScaleUp s'affichent dans le champ noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[]. Le message contient un motif pour lequel l'autoscaler de cluster ne peut pas provisionner un nouveau pool de nœuds pour planifier un groupe de pods particulier.
| Message | Détails | Paramètres | Atténuation |
|---|---|---|---|
"no.scale.up.nap.pod.gpu.no.limit.defined" |
Le provisionnement automatique des nœuds n'a pas pu provisionner de groupe de nœuds, car un pod en attente reçoit une requête de GPU, mais les limites de ressources des GPU ne sont pas définies au niveau du cluster. | Type de GPU demandé. | Examinez la requête de GPU du pod en attente et mettez à jour la configuration du provisionnement automatique des nœuds au niveau du cluster pour les limites de GPU. |
"no.scale.up.nap.pod.gpu.type.not.supported" |
Le provisionnement automatique des nœuds n'a provisionné aucun groupe de nœuds pour le pod, car il reçoit des requêtes pour un type de GPU inconnu. | Type de GPU demandé. | Vérifiez la configuration du pod en attente pour le type de GPU afin de vous assurer qu'il correspond au type de GPU compatible. |
"no.scale.up.nap.pod.zonal.resources.exceeded" |
Le provisionnement automatique des nœuds n'a provisionné aucun groupe de nœuds pour le pod dans cette zone, car cela enfreindrait les limites de ressources maximales à l'échelle du cluster, cela dépasserait les ressources disponibles dans la zone, ou il n'y a aucun type de machine adapté à la requête. | Nom de la zone concernée. | Examinez et mettez à jour les limites maximales de ressources à l'échelle du cluster, les requêtes de ressources de pod ou les zones disponibles pour le provisionnement automatique des nœuds. |
"no.scale.up.nap.pod.zonal.failing.predicates" |
Le provisionnement automatique des nœuds n'a provisionné aucun groupe de nœuds pour le pod dans cette zone en raison de prédicats défaillants. | Nom de la zone concernée et motifs pour lesquels les prédicats ont échoué, par exemple : node(s) didn't match Pod's node affinity/selector ou node(s) didn't match pod anti-affinity rules. |
Examinez les raisons de l'échec du prédicat dans l'entrée de journal. Mettez à jour les contraintes de planification du pod en attente (sélecteurs de nœuds, règles d'affinité de nœud, exigences PersistentVolume, tolérances ou contraintes de répartition de la topologie) ou mettez à jour la configuration du provisionnement automatique des nœuds du cluster. Pour obtenir des instructions de dépannage détaillées, consultez Le provisionnement automatique des nœuds échoue aux prédicats de planification. |
Effectuer d'autres investigations
Les sections suivantes expliquent comment utiliser l'explorateur de journaux et gcpdiag pour obtenir des informations supplémentaires sur vos erreurs.
Analyser les erreurs dans l'explorateur de journaux
Pour examiner plus en détail un message d'erreur, affichez les journaux spécifiques à cette erreur :
Dans la console Google Cloud , accédez à la page Explorateur de journaux.
Dans le volet Requête, saisissez la requête correspondant au préfixe de votre message d'erreur :
Pour les messages
scale.up.error.*:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.resultInfo.results.errorMsg.messageId="ERROR_MESSAGE"Remplacez
ERROR_MESSAGEpar le message que vous souhaitez examiner, par exemplescale.up.error.out.of.resources.Pour les messages
no.scale.up.nap.pod.*:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="ERROR_MESSAGE"Remplacez
ERROR_MESSAGEpar le message que vous souhaitez examiner, par exempleno.scale.up.nap.pod.zonal.failing.predicates. Pour le messageno.scale.up.nap.disabledde premier niveau, interrogez plutôt le champjsonPayload.noDecisionStatus.noScaleUp.napFailureReason.messageId.Pour les messages
no.scale.up.mig.*:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.rejectedMigs.reason.messageId="ERROR_MESSAGE"Remplacez
ERROR_MESSAGEpar le message que vous souhaitez examiner, par exempleno.scale.up.mig.failing.predicate. Pour le messageno.scale.up.mig.skipped, interrogez plutôt le champjsonPayload.noDecisionStatus.noScaleUp.skippedMigs.reason.messageId.
Cliquez sur Exécuter la requête.
Déboguer certaines erreurs avec gcpdiag
gcpdiag est un outil Open Source créé avec l'aide d'ingénieurs techniques Google Cloud. Il ne s'agit pas d'un produit Google Cloud officiellement pris en charge.
Si l'un des messages d'erreur suivants s'affiche, vous pouvez utiliser gcpdiag pour résoudre le problème:
scale.up.error.out.of.resourcesscale.up.error.quota.exceededscale.up.error.waiting.for.instances.timeoutscale.up.error.ip.space.exhaustedscale.up.error.service.account.deleted
Pour obtenir la liste et la description de toutes les options de l'outil gcpdiag, consultez les instructions d'utilisation de gcpdiag.
Résoudre les erreurs de scaling à la hausse complexes
Les sections suivantes vous aident à résoudre les erreurs qui nécessitent plusieurs étapes ou qui ne sont pas associées à un message d'événement de l'autoscaler de cluster.
Le pod ne tient pas sur le nœud
Symptômes :
Vos pods restent à l'état Pending avec le message d'erreur PodUnschedulable, ou votre cluster affiche le message d'erreur Pods unschedulable, et l'autoscaler de cluster n'effectue pas de scaling à la hausse pour ajouter des nœuds.
Cause :
L'autoscaler de cluster n'ajoute des nœuds à un pool de nœuds que si le type de machine fournit suffisamment de ressources (processeurs, GPU, mémoire et stockage) pour un pod en attente. Si les requêtes de ressources d'un pod dépassent les ressources d'un seul nœud, l'autoscaler de cluster n'effectue pas de scaling à la hausse, car le pod ne peut toujours pas tenir sur un nouveau nœud.
De plus, les ressources pouvant être allouées à un nœud sont inférieures à ses ressources totales, car les composants système réservent une partie de ces ressources. Pour en savoir plus sur la façon dont GKE calcule les ressources pouvant être allouées, consultez Ressources pouvant être allouées aux nœuds.
Solution :
Pour vérifier si les requêtes de ressources d'un pod dépassent les ressources fournies par vos nœuds et résoudre le problème, procédez comme suit. Cet exemple vérifie les ressources de processeur, mais les mêmes étapes s'appliquent aux ressources de GPU, de mémoire et de stockage :
Dans la console Google Cloud , accédez à la page Charges de travail.
Cliquez sur le message d'erreur
PodUnschedulable.Dans le volet Détails, cliquez sur le nom du pod. S'il existe plusieurs pods, commencez par le premier et répétez la procédure suivante pour chaque pod.
Sur la page Détails du pod, cliquez sur l'onglet YAML.
Notez les requêtes de ressource de chaque conteneur du pod pour trouver le total des requêtes de ressource. Par exemple, dans la configuration de pod suivante, le pod a besoin de deux processeurs virtuels :
resources: limits: cpu: "3" requests: cpu: "2"Affichez les détails du pool de nœuds à partir du cluster avec le pod non planifié :
Dans la console Google Cloud , accédez à la page Clusters Kubernetes.
Cliquez sur le nom du cluster qui affiche le message d'erreur
Pods unschedulable.Sur la page Détails du cluster, cliquez sur l'onglet Nœuds.
Dans la section Pools de nœuds, notez la valeur de la colonne Type de machine, par exemple
n1-standard-1.
Comparez la requête de ressource avec les vCPU fournis par le type de machine. Par exemple, si un pod demande deux processeurs virtuels, mais que les nœuds disponibles utilisent le type de machine
n1-standard-1, les nœuds ne disposent que d'un seul processeur virtuel. Avec une configuration de ce type, l'autoscaler de cluster ne déclenche pas de scaling à la hausse, car le pod ne peut toujours pas s'intégrer à un nouveau nœud. Pour en savoir plus sur les types de machines disponibles, consultez le Guide des ressources de familles de machines et guide comparatif dans la documentation Compute Engine.Résolvez l'incohérence en fonction des besoins de votre charge de travail :
- Si le pod nécessite les ressources demandées : créez un pool de nœuds avec un type de machine pouvant accepter les requêtes de ressources du pod.
- Si les requêtes de ressources du pod ne sont pas exactes : mettez à jour la définition du pod afin qu'il puisse s'adapter aux nœuds existants.
Les instances du MIG n'ont pas pu apparaître à temps
Symptômes :
Un des messages d'erreur suivants s'affiche :
Dans la console Google Cloud , le cluster affiche la notification suivante :
Can't scale up because instances in managed instance groups hosting node pools failed to appear in timeDans Logging, l'événement
eventResultpour le scaling à la hausse contient le message d'erreur suivant :scale.up.error.waiting.for.instances.timeout
Cause :
Compute Engine ne peut pas créer de nœuds dans le MIG, ou les nouveaux nœuds ne parviennent pas à s'enregistrer auprès du plan de contrôle avant l'expiration du délai de l'opération de scaling à la hausse. Ce problème peut survenir pour l'une des raisons suivantes :
- Échec de l'enregistrement des nœuds : Compute Engine crée les nœuds, mais ils ne s'enregistrent pas auprès du plan de contrôle en raison d'une ou de plusieurs règles de pare-feu, d'une modification récente de l'accès aux services privés ou de l'appairage de réseaux VPC, ou d'un compte de service Identity and Access Management (IAM) manquant.
- Dépassement des quotas du projet : les nouvelles instances du MIG n'apparaissent pas, car votre projet dépasse un quota de processeurs, d'adresses IP ou d'une autre ressource.
- Adresses IP indisponibles : le sous-réseau ne dispose pas de suffisamment d'adresses IP libres pour créer des nœuds.
- Modèle d'instance non valide : le MIG utilise un modèle d'instance non valide, par exemple un modèle avec une image manquante, ce qui empêche le scaling à la hausse.
- Ressources insuffisantes : la zone ne dispose pas de suffisamment de ressources Compute Engine, telles que des GPU ou des processeurs, pour créer un nœud.
- API inaccessibles : une API requise, telle que
compute.googleapis.com, n'est pas accessible en raison d'une règle de pare-feu ou d'un périmètre VPC Service Controls. - Latence du réseau : une latence importante du réseau retarde la création ou l'utilisation d'un nouveau nœud.
Solution :
Pour identifier la cause du délai avant expiration, listez les erreurs d'instance dans le MIG, puis vérifiez le résultat :
- Le MIG ne liste pas les erreurs survenues au moment de l'échec : Compute Engine a créé les nœuds, mais ceux-ci ne se sont pas enregistrés auprès du plan de contrôle avant l'expiration du délai. À l'étape suivante, commencez par Échec de l'enregistrement des nœuds. Si les nœuds se sont enregistrés, mais que l'opération a pris trop de temps, consultez Latence du réseau.
Le MIG liste les erreurs survenues au moment de l'échec : Compute Engine n'a pas pu créer les nœuds. Utilisez le code d'erreur et le message d'erreur pour trouver la cause à l'étape suivante. Voici quelques codes d'erreur courants :
QUOTA_EXCEEDED: quotas de projet dépassésIP_SPACE_EXHAUSTED: adresses IP non disponiblesZONE_RESOURCE_POOL_EXHAUSTED: ressources insuffisantes
Certains codes d'erreur ont un suffixe
_WITH_DETAILSet incluent plus d'informations dans le message d'erreur. Si le message d'erreur signale une ressource qui n'existe pas, telle qu'une image source, consultez la section Modèle d'instance non valide.
Utilisez la résolution qui correspond à la cause de votre problème :
Échec de l'enregistrement des nœuds : suivez la procédure décrite dans Rechercher une instance dont l'enregistrement des nœuds a échoué. Vous pouvez également vérifier les modifications de configuration récentes :
Règles de pare-feu : pour vérifier si une règle de pare-feu a été récemment créée, mise à jour ou supprimée, exécutez la requête suivante dans l'explorateur de journaux :
resource.type="gce_firewall_rule" log_id("cloudaudit.googleapis.com/activity")Si une modification bloque le trafic entre les nœuds et le plan de contrôle ou vers les API Google, mettez à jour ou remplacez la règle de pare-feu. Pour en savoir plus sur la connectivité requise, consultez Conditions préalables à l'enregistrement des nœuds.
Compte de service IAM : pour un compte de service manquant, consultez la ligne
scale.up.error.service.account.deleteddans le tableau Erreurs de scaling à la hausse.Accès aux services privés : pour vérifier les modifications récentes dans les journaux d'audit, consultez Journaux d'audit de l'accès aux services privés.
Appairage de réseaux VPC : pour vérifier si l'appairage a été récemment ajouté, mis à jour ou supprimé, exécutez la requête suivante dans l'explorateur de journaux pour chaque projet appairé :
log_id("cloudaudit.googleapis.com/activity") resource.type="gce_network" protoPayload.methodName:("compute.networks.addPeering" OR "compute.networks.updatePeering" OR "compute.networks.removePeering")Si une modification de l'appairage a perturbé la connectivité au plan de contrôle, mettez à jour la connexion d'appairage. Si la connexion a été supprimée, consultez La connexion d'appairage de réseaux VPC est accidentellement supprimée.
Dépassement des quotas du projet : consultez la ligne
scale.up.error.quota.exceededdans le tableau Erreurs liées au scaling à la hausse.Adresses IP indisponibles : consultez la ligne
scale.up.error.ip.space.exhausteddans le tableau Erreurs de scaling à la hausse.Modèle d'instance non valide : consultez la section Le modèle d'instance n'est pas valide dans la documentation Compute Engine.
Ressources insuffisantes : consultez la ligne
scale.up.error.out.of.resourcesdans le tableau Erreurs liées au scaling à la hausse.API inaccessibles : dans l'explorateur de journaux, exécutez une requête pour vérifier l'activité liée aux règles de pare-feu ou aux périmètres VPC Service Controls :
Pour vérifier si une règle de pare-feu a été récemment modifiée, exécutez la requête de journal d'audit dans la section Règles de pare-feu de Échec de l'enregistrement du nœud. Si vous avez activé la journalisation des règles de pare-feu pour vos règles, vous pouvez également afficher les connexions refusées par vos règles en exécutant la requête suivante :
resource.type="gce_subnetwork" log_id("compute.googleapis.com/firewall") jsonPayload.disposition="DENIED"Si les journaux affichent une règle de pare-feu qui bloque le trafic vers les API Google requises, mettez à jour ou remplacez la règle de pare-feu pour autoriser le trafic. Pour en savoir plus sur les exigences de mise en réseau, consultez Conditions préalables à la connexion réseau aux API et services Google.
Si vous utilisez VPC Service Controls, sélectionnez votre organisation dans la console Google Cloud et exécutez la requête suivante dans l'explorateur de journaux pour vérifier si un périmètre a été récemment ajouté ou modifié :
logName="organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity" protoPayload.serviceName="accesscontextmanager.googleapis.com"Remplacez
ORGANIZATION_IDpar l'ID de votre organisation.Vous pouvez également ajouter les filtres suivants pour rechercher la mise à jour ou la création d'un périmètre VPC Service Controls :
severity=NOTICE protoPayload.methodName=("google.identity.accesscontextmanager.v1.AccessContextManager.CreateServicePerimeter" OR "google.identity.accesscontextmanager.v1.AccessContextManager.UpdateServicePerimeter")Si un périmètre nouveau ou modifié bloque l'accès aux API Google requises, récupérez les erreurs VPC Service Controls à partir des journaux d'audit pour identifier le service bloqué et mettez à jour le périmètre de service pour autoriser l'accès. Pour en savoir plus sur l'utilisation de l'autoscaler de cluster dans un périmètre, consultez L'autoscaler ne fonctionne pas dans les périmètres où les services accessibles et les services restreints sont activés.
Latence du réseau : la latence temporaire du réseau se résout généralement lors des tentatives de scaling à la hausse ultérieures. Pour résoudre les problèmes de latence persistante, consultez Résoudre les problèmes de mise en réseau courants dans la documentation Compute Engine.
Le provisionnement automatique des nœuds échoue lors de la planification des prédicats
Symptômes :
Vos pods restent à l'état Pending et l'autoscaler de cluster ne crée pas de pool de nœuds :
Pour les clusters standards pour lesquels le provisionnement automatique des nœuds est activé, la console Google Cloud affiche la notification suivante :
Can't scale up because node auto-provisioning can't provision a node pool for a Pod with failing predicatesDans Logging, pour les clusters Autopilot et Standard, l'événement
noDecisionStatusdu journalcontainer.googleapis.com/cluster-autoscaler-visibilitycontient l'ID de messageno.scale.up.nap.pod.zonal.failing.predicatesdans le champjsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[].
Cause :
Le provisionnement automatique des nœuds ne peut pas créer de pool de nœuds, car le pod en attente présente des contraintes de planification qu'aucune configuration de nœud candidate dans cette zone ne peut satisfaire. Ces contraintes incluent les sélecteurs de nœuds, les règles d'affinité, les rejets non tolérés, les contraintes de répartition de la topologie ou les exigences de stockage. Ce problème s'applique aux clusters Autopilot, aux clusters Standard pour lesquels le provisionnement automatique des nœuds est activé et aux ComputeClasses personnalisées avec création automatique de pools de nœuds.
Solution :
Pour identifier le prédicat défaillant et résoudre le problème, procédez comme suit :
Dans la console Google Cloud , accédez à la page Explorateur de journaux.
Dans le volet Requête, affichez les détails du prédicat défaillant en saisissant la requête suivante :
resource.type="k8s_cluster" resource.labels.cluster_name="CLUSTER_NAME" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="no.scale.up.nap.pod.zonal.failing.predicates"Remplacez
CLUSTER_NAMEpar le nom de votre cluster.Cliquez sur Exécuter la requête.
Développez l'entrée de journal la plus récente et inspectez le tableau
jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[]. Pour le champpodGroup.samplePodconcerné, examinez le tableauparametersdans chaque entréenapFailureReasons:- Le premier élément du tableau
parametersest la zone évaluée. - Chaque élément restant du tableau
parametersest une raison d'échec du prédicat.
L'extrait d'entrée de journal suivant montre un pod qui a échoué au prédicat d'affinité ou de sélecteur de nœud dans la zone
us-central1-a:{ "jsonPayload": { "noDecisionStatus": { "measureTime": "1706540000", "noScaleUp": { "unhandledPodGroups": [ { "napFailureReasons": [ { "messageId": "no.scale.up.nap.pod.zonal.failing.predicates", "parameters": [ "us-central1-a", "node(s) didn't match Pod's node affinity/selector" ] } ], "podGroup": { "samplePod": { "controller": { "apiVersion": "apps/v1", "kind": "ReplicaSet", "name": "web-app-6d4cf56db6" }, "name": "web-app-6d4cf56db6-x8k2p", "namespace": "default" }, "totalPodCount": 1 } } ], "unhandledPodGroupsTotalCount": 1 } } } }- Le premier élément du tableau
Résolvez le conflit de planification qui correspond au motif de l'échec du prédicat dans le tableau
parameters, comme décrit dans le tableau suivant :Motif de l'échec du prédicat dans le journal Causes courantes Solution node(s) didn't match Pod's node affinity/selector- Le pod définit l'étiquette
cloud.google.com/gke-nodepoolpour cibler un pool de nœuds créé manuellement. - Le pod demande une zone en dehors des emplacements de provisionnement automatique configurés du cluster.
- Le pod demande une image de système d'exploitation dans l'étiquette
cloud.google.com/gke-os-distributionqui ne correspond pas à l'image de nœud par défaut du cluster. - Le pod sélectionne des étiquettes de nœud personnalisées qui ne sont pas définies dans la configuration du provisionnement automatique des nœuds ni dans la ComputeClass personnalisée.
- Si le pod définit l'étiquette
cloud.google.com/gke-nodepool, le provisionnement automatique des nœuds ne peut pas créer de pool de nœuds pour ce pod. Vérifiez si le pool de nœuds ciblé a atteint sa limite maximale de nœuds ou supprimez le sélecteurcloud.google.com/gke-nodepoolafin que le provisionnement automatique des nœuds puisse créer un pool de nœuds. - Si le pod demande une zone spécifique, vérifiez que celle-ci est incluse dans les emplacements de provisionnement automatique configurés.
- Si le pod définit l'étiquette
cloud.google.com/gke-os-distribution, par exempleubuntuoucos_containerd, vérifiez que la valeur correspond à l'image de nœud par défaut du cluster. Le provisionnement automatique des nœuds ne crée des pools de nœuds qu'avec l'image de nœud par défaut. Mettez à jour l'image de nœud par défaut pour le provisionnement automatique des nœuds ou créez manuellement un pool de nœuds avec autoscaling qui utilise l'image de nœud requise. - Si le pod sélectionne des étiquettes de nœud personnalisées, vérifiez qu'elles sont définies dans la configuration du provisionnement automatique des nœuds ou dans la ComputeClass personnalisée. Vous pouvez également suivre les exigences de séparation des charges de travail en configurant un sélecteur de nœud et une tolérance correspondants. Sinon, supprimez les sélecteurs d'étiquettes non reconnus ou ciblez un pool de nœuds créé manuellement qui comporte ces étiquettes.
- Si le pod demande un type de GPU ou une série de machines qui n'est pas disponible dans la zone, l'autoscaler de cluster signale l'ID de message
no.scale.up.nap.pod.zonal.illegal.configà la place. Pour confirmer la disponibilité des zones, consultez Emplacements des GPU et Régions et zones.
node(s) didn't match PersistentVolume's node affinitynode(s) had volume node affinity conflictpod has unbound immediate PersistentVolumeClaims
- Le pod fait référence à un PersistentVolumeClaim lié à un PersistentVolume zonal dans une autre zone, par exemple lorsque la StorageClass utilise le paramètre
volumeBindingMode: Immediate. - Le pod demande un volume
pd-standard,pd-balancedoupd-ssdavec une série de machines qui n'est pas compatible avec ce type de disque lorsque GKE applique la topologie de type de disque, par exemple dans les clusters Autopilot ou lorsque la StorageClass définit le paramètreuse-allowed-disk-topology: "true".
- Faites correspondre la zone
nodeSelectorounodeAffinitydu pod à la zone du PersistentVolume lié. Pour empêcher le provisionnement de volumes dans une zone en conflit, configurez votre StorageClass avec le paramètrevolumeBindingMode: WaitForFirstConsumer. - Utilisez un type de disque compatible avec la série de machines demandée.
Par exemple, les séries de machines C4 et N4 ne sont compatibles qu'avec les volumes Google Cloud Hyperdisk, et les séries de machines C3 et M3 ne sont pas compatibles avec les volumes
pd-standard. Pour en savoir plus, consultez Prise en charge Hyperdisk selon les séries de machines et Prise en charge Persistent Disk selon les séries de machines.
node(s) had untolerated taint(s)ou un message commençant parnode(s) had untolerated taintLe pod cible une configuration de provisionnement automatique des nœuds ou une ComputeClass qui applique des rejets aux nœuds provisionnés, tels que des rejets de GPU ou des rejets de séparation des charges de travail, sans tolérance correspondante dans le champ spec.tolerations.Pour les rejets appliqués par votre configuration de provisionnement automatique des nœuds ou votre ComputeClass, ajoutez une tolérance correspondante au champ spec.tolerationsdans le fichier manifeste du pod.node(s) didn't match pod topology spread constraintsnode(s) didn't match pod affinity rulesnode(s) didn't match pod anti-affinity rulesnode(s) didn't satisfy existing pods anti-affinity rules
- Le pod définit des règles
topologySpreadConstraintsavec le paramètrewhenUnsatisfiable: DoNotSchedule, ou des règlespodAffinityoupodAntiAffinityavec le paramètrerequiredDuringSchedulingIgnoredDuringExecution, qui ne peuvent pas être satisfaites en ajoutant un nœud dans cette zone. - Un PersistentVolume zonal conserve le pod dans une seule zone, tandis qu'une contrainte de répartition de topologie ou une règle d'anti-affinité bloque la planification dans cette zone, car un autre pod correspondant y est déjà exécuté.
- Examinez les champs
spec.topologySpreadConstraintsetspec.affinitydu pod pour vérifier que suffisamment de zones ou de domaines de topologie sont disponibles dans les emplacements de provisionnement automatique du cluster pour satisfaire la contrainte. - Si un PersistentVolume zonal est en conflit avec une règle de répartition de topologie stricte ou d'anti-affinité, remplacez la valeur du champ
whenUnsatisfiableparScheduleAnyway, augmentez la valeur demaxSkewou mettez à jour la configuration de stockage ou d'anti-affinité de la charge de travail.
- Le pod définit l'étiquette
Les clusters non opérationnels empêchent le scaling à la hausse
Symptômes :
L'autoscaler de cluster interrompt toutes les opérations de scaling, et le ConfigMap cluster-autoscaler-status contient un événement de type Warning avec ClusterUnhealthy comme motif.
Pour afficher le ConfigMap cluster-autoscaler-status, exécutez la commande suivante :
kubectl describe configmap cluster-autoscaler-status -n kube-system
Cause :
L'autoscaler de cluster n'effectue pas de scaling à la hausse s'il considère qu'un cluster n'est pas opérationnel. L'autoscaler de cluster détermine l'état du cluster en fonction du ratio de nœuds opérationnels et prêts, et non de l'état du plan de contrôle. Si 45 % des nœuds d'un cluster ne sont pas opérationnels ou ne sont pas prêts, l'autoscaler de cluster interrompt toutes les opérations.
L'autoscaler de cluster considère également qu'un nœud prêt est NotReady lorsque le nœud présente un rejet avec le préfixe ignore-taint.cluster-autoscaler.kubernetes.io/.
L'autoscaler de cluster traite le nœud comme NotReady tant que ce rejet est présent.
Solution :
Pour résoudre ce problème, réduisez le nombre de nœuds non opérationnels en effectuant l'une des actions suivantes ou les deux :
- Examinez et réparez les nœuds non opérationnels ou
NotReadyafin que moins de 45 % des nœuds du cluster soient non opérationnels. - Si les nœuds prêts ont un rejet avec le préfixe
ignore-taint.cluster-autoscaler.kubernetes.io/, supprimez-le.
Étapes suivantes
- Consultez les questions fréquentes sur l'autoscaler de cluster Kubernetes.
- Regardez une vidéo YouTube sur le dépannage et la résolution des problèmes de scaling.
Si vous ne trouvez pas de solution à votre problème dans la documentation, consultez Obtenir de l'aide pour bénéficier d'une assistance supplémentaire, y compris des conseils sur les sujets suivants :
- Ouvrir une demande d'assistance en contactant Cloud Customer Care.
- Obtenir de l'aide de la communauté en posant des questions sur Stack Overflow et en utilisant le tag
google-kubernetes-enginepour rechercher des problèmes similaires. Vous pouvez également rejoindre le canal Slack#kubernetes-enginepour obtenir une assistance supplémentaire de la communauté. - Signaler des problèmes ou demander des fonctionnalités à l'aide de l'outil public de suivi des problèmes.