Présentation
Cette page vous explique comment migrer des clusters d'utilisateur de version 1.30 ou ultérieure vers les fonctionnalités recommandées suivantes :
- Migrez vers Dataplane V2 en tant qu'interface réseau de conteneur (CNI).
- Migrez les clusters d'utilisateurs à l'aide de kubeception vers Controlplane V2.
Migrez la configuration de l'équilibreur de charge :
De la configuration de l'équilibreur de charge F5 BIG-IP intégré à
ManualLBou
De l'équilibreur de charge groupé Seesaw vers MetalLB.
Cette page s'adresse aux administrateurs et opérateurs informatiques qui gèrent le cycle de vie de l'infrastructure technologique sous-jacente. Pour en savoir plus sur les rôles courants et les exemples de tâches que nous citons dans le contenuGoogle Cloud , consultez Rôles utilisateur et tâches courantes de GKE.
Bonnes pratiques
Nous vous recommandons de commencer par migrer l'environnement le moins critique, par exemple l'environnement de test. Après avoir vérifié que la migration a réussi, répétez ce processus pour chaque environnement, en migrant votre environnement de production en dernier. Cela vous permet de valider la réussite de chaque migration et de vous assurer que vos charges de travail s'exécutent correctement avant de passer à l'environnement critique suivant.
Nous vous recommandons de créer un cluster d'utilisateur avec Controlplane V2 activé pour découvrir les différences architecturales avec les clusters kubeception. Le nouveau cluster n'affecte pas vos charges de travail. Toutefois, dans le pire des cas, si la migration échoue, vous disposez d'un cluster prêt pour vos charges de travail.
Pour en savoir plus sur la planification de la migration, consultez Planifier la migration du cluster vers les fonctionnalités recommandées.
Conditions requises
Pour cette migration :
- Le cluster d'utilisateur doit être à la version 1.30 ou ultérieure.
- Tous les pools de nœuds doivent être de la même version que le cluster d'utilisateur.
- Si le cluster utilise l'équilibreur de charge Seesaw, assurez-vous de ne pas vous fier à Seesaw pour la conservation de l'adresse IP du client, comme décrit dans la section suivante.
Conservation de l'adresse IP du client Seesaw
Pour vérifier le externalTrafficPolicy, exécutez la commande suivante :
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get svc -A -o yaml | grep "externalTrafficPolicy: Local"
Si vous rencontrez ce problème, contactez l'assistance Google.
Estimer le temps nécessaire et planifier un intervalle de maintenance
Lorsque vous mettez à jour le cluster, tous les pools de nœuds sont mis à jour en parallèle par défaut. Toutefois, au sein de chaque pool de nœuds, les nœuds sont mis à jour de manière séquentielle. Par conséquent, la durée totale de la mise à jour dépend du nombre de nœuds dans le plus grand pool de nœuds. Pour calculer une estimation approximative pour chaque mise à jour :
- Si vous migrez de Seesaw vers MetalLB, prévoyez 15 minutes pour que la mise à jour choisisse un pool de nœuds pour l'équilibreur de charge MetalLB. Pour cette mise à jour, seul le pool de nœuds sélectionné est mis à jour.
- Pour toute autre mise à jour du processus de migration, multipliez 15 minutes par le nombre de nœuds du pool de nœuds.
Pour estimer le temps nécessaire, comptez le nombre de fois où vous devez mettre à jour le cluster. Les étapes générales suivantes indiquent quand vous devez exécuter gkectl update cluster pour mettre à jour le cluster :
- Si le cluster d'utilisateur utilise le chiffrement des secrets toujours activé, désactivez la fonctionnalité et exécutez
gkectl update cluster. - Si
enableDataplaneV2n'est pas défini ou est défini surfalsedans le cluster d'utilisateur, modifiez la configuration, puis exécutezgkectl update clusterpour migrer vers Dataplane V2. Préparez la migration de l'équilibreur de charge et du plan de contrôle :
- Si la réparation automatique est activée sur le cluster d'administrateur, désactivez-la. Exécutez ensuite
gkectl update admin. Cette mise à jour se termine rapidement, car elle ne recrée pas les nœuds du cluster d'administrateur. - Si le cluster d'utilisateur utilise Seesaw, choisissez un pool de nœuds que l'équilibreur de charge MetalLB pourra utiliser, puis exécutez
gkectl update cluster. Cette mise à jour ne concerne que les nœuds du pool de nœuds sélectionné.
- Si la réparation automatique est activée sur le cluster d'administrateur, désactivez-la. Exécutez ensuite
Apportez toutes les modifications de configuration nécessaires pour mettre à jour votre équilibreur de charge et migrer vers Controlplane V2. Exécutez ensuite
gkectl update cluster.Après la migration, si vous avez désactivé le chiffrement des secrets toujours activé, réactivez la fonctionnalité et exécutez
gkectl update cluster.
La durée totale de la migration dépend du nombre de fois où vous devez exécuter gkectl cluster update, qui dépend de votre configuration. Par exemple, supposons que vous migrez vers Dataplane V2, Controlplane V2 et MetalLB.
Supposons également que le plus grand pool de nœuds comporte 10 nœuds et que le pool de nœuds que MetalLB utilisera comporte 3 nœuds. Pour calculer une estimation du temps de migration, ajoutez les éléments suivants :
- 150 minutes pour la migration vers Dataplane V2, car 15 minutes * 10 nœuds dans le plus grand pool = 150 minutes.
- 45 minutes pour le pool de nœuds utilisé par MetalLB, car 15 minutes * 3 nœuds dans ce pool de nœuds = 45 minutes.
- 150 minutes pour la mise à jour de Controlplane V2 et MetalLB, car 15 minutes * 10 nœuds dans le plus grand pool = 150 minutes.
La durée totale de la migration est d'environ 345 minutes, ce qui équivaut à 5 heures et 45 minutes.
Si nécessaire, vous pouvez effectuer la migration par étapes. En reprenant l'exemple précédent, vous pouvez effectuer la migration vers Dataplane V2 au cours d'un intervalle de maintenance, et le reste de la migration au cours d'un ou deux intervalles de maintenance.
Planifier un temps d'arrêt pendant la migration
Lorsque vous planifiez votre migration, tenez compte des types de temps d'arrêt suivants :
- Temps d'arrêt du plan de contrôle : l'accès au serveur d'API Kubernetes est affecté pendant la migration. Si vous migrez vers Controlplane V2, le plan de contrôle est indisponible pour les clusters d'utilisateur kubeception pendant la migration de
loadBalancer.vips.controlPlaneVIP. Le temps d'arrêt est généralement inférieur à 10 minutes, mais sa durée dépend de votre infrastructure. - Temps d'arrêt de la charge de travail : les adresses IP virtuelles (VIP) utilisées par les services de type LoadBalancer ne sont pas disponibles. Cela ne se produit que lors d'une migration de Seesaw vers MetalLB. Le processus de migration MetalLB interrompt les connexions réseau à toutes les adresses VIP du cluster d'utilisateur pour les services Kubernetes de type LoadBalancer pendant environ deux à dix minutes. Une fois la migration terminée, les connexions fonctionnent à nouveau.
Le tableau suivant décrit l'impact de la migration :
| De | Vers | Accès aux API Kubernetes | Charges de travail de l'utilisateur |
|---|---|---|---|
Cluster Kubeception utilisant Calico, dont enableDataplaneV2 n'est pas défini ou est défini sur false |
Cluster Kubeception avec Dataplane V2 | Non affecté | Non affecté |
Cluster kubeception, dont le paramètre enableControlplaneV2 n'est pas défini ou est défini sur false avec MetalLB ou ManualLB |
Cluster Controlplane V2 avec le même type d'équilibreur de charge | Affecté | Non affecté |
Cluster Kubeception avec loadBalancer.kind: "F5BigIP" |
Cluster Controlplane V2 avec configuration d'équilibreur de charge manuel | Affecté | Non affecté |
Cluster Kubeception avec loadBalancer.kind: "Seesaw" |
Cluster Controlplane V2 avec MetalLB | Affecté | Affecté |
- Affecté : une interruption de service notable se produit pendant la migration.
- Non affecté : il n'y a aucune interruption de service ou elle est presque imperceptible.
Préparer la migration
Pour assurer la réussite de la migration, suivez les étapes décrites dans les sections suivantes.
Allouer de nouvelles adresses IP
Si vous migrez vers Controlplane V2, allouez de nouvelles adresses IP statiques dans le même VLAN que les nœuds de calcul (les nœuds des pools de nœuds).
Vous avez besoin d'une adresse IP pour
loadBalancer.vips.controlPlaneVIP.Allouez une adresse IP pour chaque nœud du plan de contrôle. Le nombre d'adresses IP que vous devez allouer dépend de la disponibilité du cluster d'utilisateur (disponibilité élevée ou non).
- Non haute disponibilité : une adresse IP
- HA : trois adresses IP
Mettre à jour les règles de pare-feu
Si vous migrez vers Controlplane V2, mettez à jour les règles de pare-feu sur vos clusters d'utilisateur. Assurez-vous que les adresses IP nouvellement allouées pour les nœuds du plan de contrôle sur le cluster d'utilisateur peuvent atteindre toutes les API requises et les autres destinations, comme décrit dans Règles de pare-feu pour les nœuds du cluster d'utilisateur.
Vérifier les versions du cluster et du pool de nœuds
Vérifiez que tous les pools de nœuds utilisent la même version que le cluster d'utilisateur, qui doit être à la version 1.30 ou ultérieure. Si ce n'est pas le cas, mettez à niveau les pools de nœuds vers la version gkeOnPremVersion dans le fichier de configuration du cluster d'utilisateur avant de poursuivre la migration. Pour vérifier les versions, exécutez la commande suivante :
gkectl version --kubeconfig ADMIN_CLUSTER_KUBECONFIG --details
Remplacez ADMIN_CLUSTER_KUBECONFIG par le chemin d'accès du fichier kubeconfig de votre cluster d'administrateur.
Vérifier l'état du cluster
Vérifiez l'état du cluster et corrigez les problèmes signalés par la commande gkectl diagnose cluster :
gkectl diagnose cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
--cluster-name USER_CLUSTER_NAME
Remplacez les éléments suivants :
ADMIN_CLUSTER_KUBECONFIG: chemin d'accès au fichier kubeconfig du cluster d'administrateurUSER_CLUSTER_NAME: nom du cluster d'utilisateur.
Désactiver la réparation automatique dans le cluster d'administrateur
Si vous migrez le cluster d'utilisateur pour utiliser Controlplane V2 et que la réparation automatique est activée dans le cluster d'administrateur, désactivez-la. Vérifiez le champ autoRepair.enabled du fichier de configuration du cluster d'administrateur. Si ce champ n'est pas défini ou s'il est défini sur true, procédez comme suit :
Dans le fichier de configuration du cluster d'administrateur, définissez
autoRepair.enabledsurfalse. Exemple :autoRepair: enabled: falseMettez à jour le cluster d'administrateur :
gkectl update admin --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config ADMIN_CLUSTER_CONFIG
Remplacez les éléments suivants :
ADMIN_CLUSTER_KUBECONFIG: chemin d'accès au fichier kubeconfig du cluster d'administrateur.ADMIN_CLUSTER_CONFIG: chemin d'accès au fichier de configuration du cluster d'administrateur.
Une fois la migration terminée, veillez à réactiver l'autoréparation dans le cluster d'administrateur.
Vérifier s'il y a un problème avec le chiffrement permanent des secrets
Si vous migrez le cluster d'utilisateur pour utiliser Controlplane V2, vérifiez s'il existe un problème avec le chiffrement permanent des secrets.
Si le chiffrement permanent des secrets a déjà été activé sur le cluster utilisateur, vous devez suivre la procédure décrite dans Désactiver le chiffrement permanent des secrets et déchiffrer les secrets avant de commencer la migration. Sinon, le nouveau cluster Controlplane V2 ne pourra pas déchiffrer les secrets.
Avant de commencer la migration, exécutez la commande suivante pour vérifier si le chiffrement permanent des secrets a déjà été activé :
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ get onpremusercluster USER_CLUSTER_NAME \ -n USER_CLUSTER_NAME-gke-onprem-mgmt \ -o jsonpath={.spec.secretsEncryption}
Si le résultat de la commande précédente est vide, le chiffrement permanent des secrets n'a jamais été activé. Vous pouvez lancer la migration.
Si le résultat de la commande précédente n'est pas vide, cela signifie que le chiffrement permanent des secrets était précédemment activé. Avant de procéder à la migration, vous devez suivre les étapes de la section suivante pour vous assurer que le nouveau cluster Control-Plane V2 peut déchiffrer les secrets.
L'exemple suivant montre une sortie non vide :
{"generatedKeyVersions":{"keyVersions":[1]}}
Désactiver le chiffrement permanent des secrets et déchiffrer les secrets si nécessaire
Pour désactiver le chiffrement permanent des secrets et déchiffrer les secrets, procédez comme suit :
Dans le fichier de configuration du cluster d'utilisateur, pour désactiver le chiffrement permanent des secrets, ajoutez un champ
disabled: trueà la sectionsecretsEncryption:secretsEncryption: mode: GeneratedKey generatedKey: keyVersion: KEY_VERSION disabled: trueMettez à jour le cluster :
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIGRemplacez les éléments suivants :
ADMIN_CLUSTER_KUBECONFIG: chemin d'accès au fichier kubeconfig du cluster d'administrateurUSER_CLUSTER_CONFIG: chemin d'accès au fichier de configuration du cluster d'utilisateur
Effectuez une mise à jour progressive sur un DaemonSet spécifique, comme suit :
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ rollout restart statefulsets kube-apiserver \ -n USER_CLUSTER_NAME
Obtenez les fichiers manifestes de tous les secrets du cluster utilisateur au format YAML :
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG \ get secrets -A -o yaml > SECRETS_MANIFEST.yaml
Pour que tous les secrets soient stockés dans etcd en texte brut, réappliquez tous les secrets dans le cluster utilisateur :
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG \ apply -f SECRETS_MANIFEST.yaml
Vous pouvez maintenant commencer la migration vers Control-plane V2. Une fois la migration terminée, vous pouvez réactiver le chiffrement des secrets toujours activé sur le cluster.
Vérifier s'il existe un problème de configuration des webhooks de charge de travail
Si vous migrez le cluster d'utilisateur pour utiliser Controlplane V2, vérifiez si des webhooks de charge de travail sont mal configurés.
Si vous avez des webhooks qui incluent des pods système dans l'espace de noms kube-system, ajoutez namespaceSelector pour filtrer l'espace de noms kube-system.
Par exemple,
namespaceSelector:
matchExpressions:
- key: kubernetes.io/metadata.name
operator: NotIn
values:
- kube-system
Activer un pool de nœuds pour l'utiliser avec MetalLB
Si vous passez de l'équilibreur de charge Seesaw groupé à MetalLB, suivez les étapes de cette section. Le cluster utilise Seesaw si loadBalancer.kind:
Seesaw se trouve dans le fichier de configuration du cluster d'utilisateur. Si vous migrez la configuration F5 BIG-IP intégrée, passez à la section suivante, Migrer vers Dataplane V2.
Choisissez un pool de nœuds et activez-le pour l'utiliser avec MetalLB. La migration déploie MetalLB sur les nœuds de ce pool de nœuds.
Dans la section nodePools de votre fichier de configuration de cluster d'utilisateur, choisissez un pool de nœuds ou ajoutez un pool de nœuds, puis définissez
enableLoadBalancersurtrue. Exemple :nodePools: - name: pool-1 replicas: 3 enableLoadBalancer: trueMettez à jour le cluster :
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIG
Pour en savoir plus sur MetalLB, consultez Équilibrage de charge groupé avec MetalLB.
Migrer vers Dataplane V2
Avant de procéder à la migration, vérifiez si DataPlane V2 est activé sur le cluster en exécutant la commande suivante :
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get onpremusercluster USER_CLUSTER_NAME -n USER_CLUSTER_NAME-gke-onprem-mgmt -o yaml | grep enableDataplaneV2
Si Dataplane V2 est déjà activé :
- Si le cluster a été créé à l'origine avec Dataplane V2 activé, passez à la section Préparer la migration de l'équilibreur de charge.
- Si le cluster a déjà été migré de Calico vers Dataplane V2 (par exemple, lors d'une mise à niveau vers la version 1.31), passez à Supprimer les DaemonSets Calico inactifs.
Pour migrer vers Dataplane V2, vous disposez des options suivantes :
Mettez à niveau le cluster vers la version 1.31. Pour obtenir des instructions détaillées, consultez Activer Dataplane V2.
Mettez à jour le cluster 1.30.
Dans les deux cas, vous devez supprimer temporairement la spécification NetworkPolicy, comme décrit dans les étapes suivantes.
Pour migrer vers Dataplane V2, procédez comme suit. Si vous avez des questions concernant la suppression temporaire de la spécification NetworkPolicy, contactez l'assistance Google.
Si votre cluster utilise un NetworkPolicy, supprimez temporairement sa spécification du cluster comme suit :
Vérifiez si un
NetworkPolicynon système est appliqué à votre cluster :kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get networkpolicy -A -o wide | grep -v kube-systemSi le résultat de l'étape précédente n'était pas vide, enregistrez chaque spécification
NetworkPolicydans un fichier afin de pouvoir la réappliquer après la mise à jour du cluster.kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get networkpolicy NETWORK_POLICY_NAME -n NETWORK_POLICY_NAMESPACE -o yaml > NETWORK_POLICY_NAME.yamlRemplacez les éléments suivants :
NETWORK_POLICY_NAME: nom duNetworkPolicyque vous enregistrez.NETWORK_POLICY_NAMESPACE: espace de noms deNetworkPolicy.
Supprimez le
NetworkPolicyà l'aide de la commande suivante :kubectl --kubeconfig USER_CLUSTER_KUBECONFIG delete networkpolicy NETWORK_POLICY_NAME -n NETWORK_POLICY_NAMESPACE
Pour migrer vers Dataplane V2, procédez comme suit :
Définissez
enableDataplaneV2surtruedans le fichier de configuration de votre cluster d'utilisateur.Pour activer DataPlane V2, mettez à jour votre cluster :
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIGSi vous avez supprimé des spécifications
NetworkPolicynon système lors d'une étape précédente, réappliquez-les une fois la mise à jour terminée à l'aide de la commande suivante :kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f NETWORK_POLICY_NAME.yaml
Vous avez activé Dataplane V2.
Supprimer les DaemonSets Calico inactifs
Après avoir migré un cluster d'administrateur ou un cluster d'utilisateur de Calico vers Dataplane V2, les DaemonSets calico-node et calico-route-daemon restent inactifs dans l'espace de noms kube-system pour préserver la capacité de rollback. Avant de procéder au scaling ou à la mise à niveau du cluster, supprimez l'annotation features.onprem.cluster.gke.io/dpv2-migration une fois par cluster migré afin que le contrôleur de cluster supprime définitivement les DaemonSets Calico inactifs et les empêche de s'initialiser sur de nouveaux nœuds (consultez le problème connu Délais d'expiration de connexion intermittents après la mise à niveau ou le scaling d'un cluster migré de Calico vers Dataplane V2).
Vous n'avez pas besoin d'effectuer ces étapes sur les clusters créés avec Dataplane V2 activé.
Vérifiez que la migration vers Dataplane V2 est terminée et que tous les nœuds du cluster portent l'étiquette
networking.gke.io/cni-type: cilium:kubectl --kubeconfig CLUSTER_KUBECONFIG get nodes -L networking.gke.io/cni-typeRemplacez
CLUSTER_KUBECONFIGpar le chemin d'accès au fichier kubeconfig du cluster d'utilisateur ou du cluster d'administrateur.Après avoir vérifié que Dataplane V2 s'exécute sur tous les nœuds et que vous n'avez plus besoin de revenir à Calico, supprimez l'annotation
features.onprem.cluster.gke.io/dpv2-migrationde la ressource personnaliséeOnPremUserCluster(et deOnPremAdminClustersi votre cluster d'administrateur a été migré depuis Calico lors de la mise à niveau de la version 1.29 vers la version 1.30) :# For a user cluster: kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG annotate onpremusercluster USER_CLUSTER_NAME \ -n USER_CLUSTER_NAME-gke-onprem-mgmt \ features.onprem.cluster.gke.io/dpv2-migration- # For an admin cluster: kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG annotate onpremadmincluster ADMIN_CLUSTER_NAME \ -n kube-system \ features.onprem.cluster.gke.io/dpv2-migration-Remplacez les éléments suivants :
ADMIN_CLUSTER_KUBECONFIG: chemin d'accès au fichier kubeconfig du cluster d'administrateur.USER_CLUSTER_NAME: nom du cluster d'utilisateur.ADMIN_CLUSTER_NAME: nom du cluster d'administrateur (vous pouvez le trouver en exécutantkubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get onpremadmincluster -n kube-system).
Vérifiez que le contrôleur a supprimé les DaemonSets
calico-nodeetcalico-route-daemon(les deux renvoientNotFound) :kubectl --kubeconfig CLUSTER_KUBECONFIG -n kube-system get daemonset calico-node calico-route-daemon
Ensuite, préparez la migration de votre cluster vers l'équilibreur de charge et Controlplane V2 recommandés.
Préparer la migration de l'équilibreur de charge
Si vos clusters d'utilisateur utilisent l'équilibreur de charge Seesaw ou F5 BIG-IP intégré, suivez les étapes de cette section pour apporter les modifications nécessaires au fichier de configuration du cluster d'utilisateur. Sinon, passez à la section suivante, Se préparer à la migration vers Control-plane V2.
F5 BIG-IP
Si vos clusters utilisent la configuration F5 BIG-IP intégrée, préparez la migration vers ManualLB en apportant les modifications suivantes au fichier de configuration du cluster d'utilisateur :
- Remplacez
loadBalancer.kindpar"ManualLB". - Conservez la même valeur pour le champ
loadBalancer.vips.ingressVIP. - Si vous migrez vers Controlplane V2, remplacez la valeur du champ
loadBalancer.vips.controlPlaneVIPpar l'adresse IP que vous avez allouée. Sinon, vous pouvez conserver la même valeur. - Supprimez l'intégralité de la section
loadBalancer.f5BigIP.
L'exemple de fichier de configuration de cluster d'utilisateur suivant présente ces modifications :
loadBalancer: vips: controlPlaneVIP: 192.0.2.5 ingressVIP: 198.51.100.20 kind:"f5BigIP""ManualLB"f5BigIP: address: "203.0.113.2" credentials: fileRef: path: "my-config-folder/user-creds.yaml" entry: "f5-creds" partition: "my-f5-user-partition"
Seesaw
Si vos clusters d'utilisateur utilisent l'équilibreur de charge Seesaw, préparez la migration vers MetalLB en suivant les étapes décrites dans les sections suivantes.
Spécifier des pools d'adresses
Le contrôleur MetalLB attribue des adresses IP aux services. Lorsqu'un développeur d'applications crée un service de type LoadBalancer dans un cluster d'utilisateur, le contrôleur MetalLB attribue automatiquement une adresse IP au service. Le contrôleur MetalLB sélectionne une adresse IP dans un pool d'adresses que vous spécifiez.
Pour vous assurer que votre cluster d'utilisateur dispose de suffisamment d'adresses IP, tenez compte du nombre maximal de services LoadBalancer susceptibles d'être actifs. Ensuite, spécifiez suffisamment d'adresses IP dans la section loadBalancer.metalLB.addressPools du fichier de configuration de votre cluster d'utilisateur.
Les adresses du pool doivent être au format CIDR ou au format de plage. Si vous souhaitez spécifier une adresse individuelle, utilisez un masque CIDR /32. Exemple :
addresses:
- "192.0.2.0/26"
- "192.0.2.64-192.0.2.72"
- "192.0.2.75/32"
Exclure les adresses IP utilisées à d'autres fins
N'incluez pas les adresses IP suivantes dans un pool d'adresses :
Adresses IP virtuelles du plan de contrôle :
Adresses IP des nœuds du plan de contrôle :
Adresses IP de la passerelle :
Adresses IP pour les services :
Adresses IP pour les pods :
Adresses IP des nœuds de calcul du cluster d'utilisateur
Adresses IP des serveurs vCenter, des serveurs DNS, des serveurs NTP et du poste de travail administrateur
Mettre à jour le fichier de configuration du cluster
Mettez à jour le fichier de configuration du cluster pour supprimer la section Seesaw et ajouter une section MetalLB, comme suit :
- Définissez
loadBalancer.kindsur"MetalLB". - Vous pouvez conserver la même valeur pour le champ
loadBalancer.vips.ingressVIP. - Ajoutez l'adresse IP virtuelle d'entrée à un pool d'adresses MetalLB.
- Si vous migrez vers Controlplane V2, remplacez la valeur du champ
loadBalancer.vips.controlPlaneVIPpar l'adresse IP que vous avez allouée. Sinon, vous pouvez conserver la même valeur. - Supprimez la section
loadBalancer.seesaw. - Ajoutez une section
loadBalancer.metalLB.
La partie suivante d'un fichier de configuration de cluster d'utilisateur montre ces modifications et la configuration MetalLB :
- Un pool d'adresses dans lequel le contrôleur MetalLB peut choisir et attribuer des adresses aux services de type LoadBalancer. L'adresse IP virtuelle d'entrée, qui est
198.51.100.10dans cet exemple, se trouve dans ce pool au format de plage198.51.100.10/32. - Adresse IP virtuelle désignée pour le serveur d'API Kubernetes du cluster d'utilisateur.
- Adresse IP virtuelle d'entrée que vous avez configurée pour le proxy d'entrée.
- d'un pool de nœuds permettant d'utiliser MetalLB. La migration déploie MetalLB sur les nœuds de ce pool de nœuds.
loadBalancer:
vips:
controlPlaneVIP: "198.51.100.50"
ingressVIP: "198.51.100.10"
kind: "MetalLB" "Seesaw"
seesaw:
ipBlockFilePath: "user-cluster-2-ipblock.yaml"
vrid: 1
masterIP: ""
cpus: 4
memoryMB: 3072
metalLB:
addressPools:
- name: "address-pool-1"
addresses:
- "198.51.100.10/32"
- "198.51.100.80 - 198.51.100.89"
Préparer la migration vers Controlplane V2
Si Controlplane V2 n'est pas activé sur le cluster :
- Mettre à jour le fichier de configuration du cluster d'utilisateur.
- Si le cluster utilise l'équilibrage de charge manuel (
loadBalancer.kind: "ManualLB"), mettez également à jour la configuration de votre équilibreur de charge.
Ces étapes sont décrites dans les sections suivantes.
Si Controlplane V2 est déjà activé sur le cluster, passez à la section Migrer le cluster d'utilisateur.
Mettre à jour le fichier de configuration du cluster utilisateur
Apportez les modifications suivantes au fichier de configuration du cluster d'utilisateur existant :
- Définissez
enableControlplaneV2sur "true". - Vous pouvez également configurer le plan de contrôle du cluster d'utilisateur Controlplane V2 pour qu'il soit disponibilité élevée. Pour passer d'un cluster non haute disponibilité à un cluster haute disponibilité, remplacez la valeur de
masterNode.replicaspar 3 au lieu de 1. - Ajoutez la ou les adresses IP statiques des nœuds du plan de contrôle du cluster d'utilisateur à la section
network.controlPlaneIPBlock.ips. La ou les adresses IP des nœuds du plan de contrôle doivent se trouver dans le même VLAN que les nœuds de calcul. Veuillez indiquer les noms d'hôte. - Renseignez les champs
netmasketgatewaydans la sectionnetwork.controlPlaneIPBlock. - Si la section
network.hostConfigest vide, remplissez-la. - Assurez-vous que le champ
loadBalancer.vips.controlPlaneVIPcontient la nouvelle adresse IP pour l'adresse IP virtuelle du plan de contrôle. L'adresse IP doit se trouver dans le même VLAN que les adresses IP des nœuds du plan de contrôle. - Si le cluster d'utilisateur utilise l'équilibrage de charge manuel, définissez
loadBalancer.manualLB.controlPlaneNodePortetloadBalancer.manualLB.konnectivityServerNodePortsur 0. Ils ne sont pas requis lorsque Controlplane V2 est activé, mais leur valeur doit être 0. - Si le cluster d'utilisateurs utilise l'équilibrage de charge manuel, configurez votre équilibreur de charge comme décrit dans la section suivante.
Ajustez les mappages dans votre équilibreur de charge si nécessaire.
Si votre cluster d'utilisateur utilise déjà l'équilibrage de charge manuel, vous devez configurer certains mappages sur votre équilibreur de charge. Si vous passez de la configuration F5 BIG-IP intégrée à l'équilibrage de charge manuel, vous n'avez pas besoin de modifier la configuration de votre équilibreur de charge et vous pouvez passer à la section suivante, Migrer le cluster d'utilisateur.
Pour chaque adresse IP que vous avez spécifiée dans la section network.controlPlaneIPBlock, configurez les mappages suivants dans votre équilibreur de charge pour les nœuds du plan de contrôle :
(ingressVIP:80) -> (NEW_NODE_IP_ADDRESS:ingressHTTPNodePort)
(ingressVIP:443) -> (NEW_NODE_IP_ADDRESS:ingressHTTPSNodePort)
Ces mappages sont nécessaires pour tous les nœuds du cluster d'utilisateur, à la fois les nœuds du plan de contrôle et les nœuds de calcul. Comme les NodePorts sont configurés sur le cluster, Kubernetes les ouvre sur tous les nœuds du cluster afin que n'importe quel nœud du cluster puisse gérer le trafic du plan de données.
Une fois que vous avez configuré les mappages, l'équilibreur de charge écoute le trafic sur l'adresse IP que vous avez configurée pour l'entrée VIP du cluster d'utilisateur sur les ports HTTP et HTTPS standards. L'équilibreur de charge achemine les requêtes vers n'importe quel nœud du cluster. Une fois qu'une requête est acheminée vers l'un des nœuds du cluster, la mise en réseau Kubernetes interne l'achemine vers le pod de destination.
Migrer le cluster d'utilisateur
Commencez par examiner attentivement toutes les modifications que vous avez apportées au fichier de configuration du cluster d'utilisateur. Tous les paramètres de l'équilibreur de charge et de Controlplane V2 sont immuables, sauf lorsque vous mettez à jour le cluster pour la migration.
Pour mettre à jour le cluster, exécutez la commande suivante :
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
--config USER_CLUSTER_CONFIG
Migration vers Controlplane V2
Lors de la migration vers Controlplane V2, la mise à jour effectue les actions suivantes :
- Crée le plan de contrôle d'un nouveau cluster avec ControlPlane V2 activé.
- Arrête le plan de contrôle Kubernetes du cluster kubeception.
- Prend un instantané etcd du cluster kubeception.
- Éteint les nœuds du plan de contrôle du cluster d'utilisateur du cluster kubeception. Tant que la migration n'est pas terminée, les nœuds ne sont pas supprimés, car cela permet de récupérer après une défaillance en revenant à ce cluster kubeception.
- Restaure les données du cluster dans le nouveau plan de contrôle à l'aide de l'instantané etcd créé lors d'une étape précédente.
- Connecte les nœuds du pool de nœuds du cluster kubeception au nouveau plan de contrôle, accessible avec le nouveau
controlPlaneVIP. - Consolide le cluster d'utilisateur restauré pour qu'il corresponde à l'état final du cluster avec ControlPlane V2 activé.
Veuillez noter les points suivants :
- Bien que le basculement du plan de contrôle n'arrête pas directement les charges de travail du cluster d'utilisateur, celles-ci sont redémarrées à la fin de la migration lorsque les nœuds de calcul subissent une mise à jour progressive. Les charges de travail peuvent subir des perturbations pendant la mise à jour progressive si elles n'exécutent pas plusieurs instances répliquées ou si des objets PodDisruptionBudget ne sont pas configurés.
- Le plan de contrôle du cluster d'utilisateur est indisponible pendant quelques minutes lors de la migration. Plus précisément, le plan de contrôle est indisponible entre l'arrêt du plan de contrôle Kubernetes du cluster kubeception et la fin de la connexion des nœuds du pool de nœuds du cluster kubeception au nouveau plan de contrôle. (Lors des tests, ce temps d'arrêt était inférieur à sept minutes, mais la durée réelle dépend de votre infrastructure.)
- À la fin de la migration, les nœuds du plan de contrôle du cluster d'utilisateur des clusters kubeception sont supprimés. Si le cluster d'administrateur est défini sur
"static"pour network.ipMode.type, vous pouvez recycler certaines des adresses IP statiques inutilisées. Vous pouvez lister les objets de nœud du cluster d'administration aveckubectl get nodes -o widepour voir quelles adresses IP sont utilisées. Pour recycler ces adresses IP, supprimez-les du fichier de configuration du cluster d'administrateur et exécutezgkectl update admin. - À la fin de la migration, les nœuds de calcul subissent une mise à jour progressive, qui draine et redémarre chaque nœud de manière séquentielle. Attendez que tous les nœuds soient prêts avant de passer aux étapes de post-migration de la section suivante.
- Après la migration, l'ancienne adresse IP virtuelle du plan de contrôle fonctionne toujours, mais elle est instable. Ne vous fiez pas à cette fonctionnalité. Mettez à jour toutes les dépendances de l'ancienne adresse IP virtuelle pour utiliser la nouvelle adresse IP virtuelle dès que possible.
Après la migration
Une fois la mise à jour terminée, procédez comme suit :
Vérifiez que votre cluster d'utilisateur est en cours d'exécution :
kubectl get nodes --kubeconfig USER_CLUSTER_KUBECONFIGLe résultat ressemble à ce qui suit :
cp-vm-1 Ready control-plane,master 18m cp-vm-2 Ready control-plane,master 18m cp-vm-3 Ready control-plane,master 18m worker-vm-1 Ready 6m7s worker-vm-2 Ready 6m6s worker-vm-3 Ready 6m14sSi vous avez migré vers Controlplane V2, mettez à jour les règles de pare-feu sur votre cluster d'administrateur pour supprimer les nœuds du plan de contrôle du cluster d'utilisateur kubeception.
Si vous avez désactivé le chiffrement permanent des secrets, réactivez la fonctionnalité.
- Dans le fichier de configuration du cluster d'utilisateur, supprimez le champ
disabled: true. Mettez à jour le cluster d'utilisateur :
gkectl update cluster --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIG
- Dans le fichier de configuration du cluster d'utilisateur, supprimez le champ
Si vous avez désactivé la réparation automatique dans le cluster d'administrateur, réactivez-la.
Dans votre fichier de configuration de cluster d'administrateur, définissez
autoRepair.enabledsurtrue.Mettez à jour le cluster :
gkectl update admin --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config ADMIN_CLUSTER_CONFIG
Migration de l'équilibreur de charge
Si vous avez migré l'équilibreur de charge, vérifiez que ses composants s'exécutent correctement.
Migration MetalLB
Si vous avez migré vers MetalLB, vérifiez que les composants MetalLB s'exécutent correctement :
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get pods \
--namespace kube-system --selector app=metallb
Le résultat affiche les pods du contrôleur et du speaker MetalLB. Exemple :
metallb-controller-744884bf7b-rznr9 1/1 Running
metallb-speaker-6n8ws 1/1 Running
metallb-speaker-nb52z 1/1 Running
metallb-speaker-rq4pp 1/1 Running
Une fois la migration terminée, supprimez les VM Seesaw éteintes pour le cluster d'utilisateur. Vous trouverez les noms des VM Seesaw dans la section vmnames du fichier seesaw-for-[USERCLUSTERNAME].yaml de votre répertoire de configuration.
Migration de F5 BIG-IP
Après la migration vers l'équilibrage de charge manuel, le trafic vers vos clusters n'est pas interrompu. En effet, les ressources F5 existantes sont toujours là, comme vous pouvez le voir en exécutant la commande suivante :
kubectl --kubeconfig CLUSTER_KUBECONFIG \
api-resources --verbs=list -o name | xargs -n 1 kubectl --kubeconfig
CLUSTER_KUBECONFIG get --show-kind --ignore-not-found
--selector=onprem.cluster.gke.io/legacy-f5-resource=true -A
Le résultat ressemble à ce qui suit :
Warning: v1 ComponentStatus is deprecated in v1.19+
NAMESPACE NAME TYPE DATA AGE
kube-system secret/bigip-login-sspwrd Opaque 4 14h
NAMESPACE NAME SECRETS AGE
kube-system serviceaccount/bigip-ctlr 0 14h
kube-system serviceaccount/load-balancer-f5 0 14h
NAMESPACE NAME READY UP-TO-DATE AVAILABLE AGE
kube-system deployment.apps/k8s-bigip-ctlr-deployment 1/1 1 1 14h
kube-system deployment.apps/load-balancer-f5 1/1 1 1 14h
NAME ROLE AGE
clusterrolebinding.rbac.authorization.k8s.io/bigip-ctlr-clusterrole-binding ClusterRole/bigip-ctlr-clusterrole 14h
clusterrolebinding.rbac.authorization.k8s.io/load-balancer-f5-clusterrole-binding ClusterRole/load-balancer-f5-clusterrole 14h
NAME CREATED AT
clusterrole.rbac.authorization.k8s.io/bigip-ctlr-clusterrole 2024-03-25T05:16:40Z
clusterrole.rbac.authorization.k8s.io/load-balancer-f5-clusterrole 2024-03-25T05:16:41Z