In diesem Dokument wird beschrieben, wie Sie den von Google Kubernetes Engine (GKE) verwalteten Cluster Autoscaler deaktivieren und einen selbst gehosteten Cluster Autoscaler in Ihrem Standardcluster mithilfe von Helm bereitstellen. Wenn Sie ein selbst gehostetes Cluster-Autoscaling bereitstellen, können Sie Autoscaling-Flags anpassen, experimentelle Parameter testen oder benutzerdefinierte Builds aus dem Open-Source-GKE-Cluster-Autoscaling-Repository ausführen.
Dieses Dokument richtet sich an Plattformadministratoren, die die Clusterskalierung und Infrastruktur verwalten und eine detaillierte Kontrolle über Autoscaling-Parameter benötigen, die über die Möglichkeiten des von GKE verwalteten Cluster-Autoscalings hinausgeht.
Anforderungen und Einschränkungen
- Ein selbst gehosteter Cluster Autoscaler wird nur auf GKE Standard-Clustern mit Version 1.37.2-gke.1042000 oder höher unterstützt.
- Ein selbst gehosteter Cluster-Autoscaler ist nicht mit Autopilot-Clustern, Standardclustern mit von Autopilot verwalteten Knotenpools oder Standardclustern kompatibel, die den Autopilot-Modus für ComputeClasses verwenden.
- Ihr Cluster muss immer mindestens einen laufenden Worker-Knoten haben, um den selbst gehosteten Cluster-Autoscaling-Pod zu hosten. Ein Cluster, auf dem ein selbst gehosteter Cluster Autoscaler ausgeführt wird, kann nicht auf insgesamt null Knoten herunterskaliert werden.
- Sie sind für die Bereitstellung, Aktualisierung und Überwachung der selbst gehosteten Cluster-Autoscaling-Arbeitslast verantwortlich. Cloud Customer Care behebt keine Fehler bei selbst gehosteten oder benutzerdefinierten Cluster Autoscaler-Bereitstellungen. Wenn Sie bei Autoscaling-Problemen Unterstützung vom Kundendienst erhalten möchten, wechseln Sie zurück zum von GKE verwalteten Cluster-Autoscaler.
- Wenn das von GKE verwaltete Autoscaling deaktiviert ist, gibt GKE keine Sichtbarkeitsereignisse für Cluster Autoscaler der Steuerungsebene an den Logstream
container.googleapis.com/cluster-autoscaler-visibilityaus. Sehen Sie sich stattdessen Skalierungslogs und -messwerte direkt im Pod des selbst gehosteten Cluster-Autoscalers an.
Hinweis
Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:
- Aktivieren Sie die Google Kubernetes Engine API. Google Kubernetes Engine API aktivieren
- Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, müssen Sie die gcloud CLI installieren und dann initialisieren. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die aktuelle Version mit dem Befehl
gcloud components updateab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
- Prüfen Sie, ob Sie einen Standardcluster mit Version 1.37.2-gke.1042000 oder höher haben, auf dem die Workload Identity-Föderation für GKE im Cluster und in mindestens einem Knotenpool aktiviert ist. Sie können im nächsten Abschnitt auch einen neuen Cluster erstellen.
- Installieren Sie Helm ab Version 4.0.0, Git, Go und Docker.
- Prüfen Sie, ob Sie ein Docker-Repository in Artifact Registry oder einer anderen Container-Registry haben, aus der Ihr Cluster das Container-Image für den selbst gehosteten Cluster Autoscaler abrufen kann. Weitere Informationen finden Sie unter Docker-Container-Images in Artifact Registry speichern.
- Konfigurieren Sie
kubectlfür die Kommunikation mit Ihrem Cluster. Weitere Informationen finden Sie unterkubectlinstallieren und Clusterzugriff konfigurieren.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Deaktivieren des verwalteten Autoscalings, zum Konfigurieren von IAM-Ressourcen (Identity and Access Management) und zum Bereitstellen des selbst gehosteten Cluster-Autoscalers benötigen:
-
GKE-Cluster verwalten:
Kubernetes Engine-Administrator (
roles/container.admin) -
Benutzerdefinierte IAM-Rollen erstellen: Rollenadministrator (
roles/iam.roleAdmin) -
IAM-Dienstkonten erstellen und verwalten:
Dienstkontoadministrator (
roles/iam.serviceAccountAdmin) -
IAM-Rollen für das Projekt zuweisen: Projekt-IAM-Administrator (
roles/resourcemanager.projectIamAdmin)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Von GKE verwaltetes Cluster-Autoscaling deaktivieren
Bevor Sie einen selbst gehosteten Cluster Autoscaler bereitstellen, müssen Sie den von GKE verwalteten Cluster Autoscaler in der Steuerungsebene deaktivieren, um Race-Bedingungen zwischen den beiden Autoscaler-Instanzen zu verhindern. Wenn Sie das von GKE verwaltete Cluster-Autoscaling deaktivieren, wird die Steuerungsebene daran gehindert, Knoten zu skalieren. Die GKE behält jedoch Ihre vorhandenen Autoscaling-Konfigurationen für Knotenpools und ComputeClasses bei, damit der selbst gehostete Cluster Autoscaler darauf reagieren kann.
Führen Sie einen der folgenden Schritte aus, um den von GKE verwalteten Cluster-Autoscaler zu deaktivieren:
Führen Sie den folgenden Befehl aus, um den von GKE verwalteten Cluster-Autoscaler in einem vorhandenen Standardcluster zu deaktivieren:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingWenn die Workload Identity-Föderation für GKE noch nicht im Cluster und in mindestens einem Knotenpool zum Hosten des selbst gehosteten Cluster Autoscaler-Pods aktiviert ist, führen Sie die folgenden Befehle aus:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
Führen Sie den folgenden Befehl aus, um einen neuen Standardcluster zu erstellen, in dem der von GKE verwaltete Cluster-Autoscaler bereits deaktiviert ist:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
Ersetzen Sie Folgendes:
CLUSTER_NAME: Der Name Ihres Standardclusters.CONTROL_PLANE_LOCATION: die Compute Engine-Region oder -Zone der Steuerungsebene des Clusters. Geben Sie eine Region für regionale Cluster oder eine Zone für zonale Cluster an.PROJECT_ID: Projekt-ID in Google Cloud .NODEPOOL_NAME: der Name eines vorhandenen Knotenpools, der den selbst gehosteten Cluster Autoscaler-Pod hosten soll.CLUSTER_VERSION: die GKE-Version für den neuen Cluster, die mindestens 1.37.2-gke.1042000 sein muss.
Führen Sie den folgenden Befehl aus, um zu prüfen, ob das von GKE verwaltete Cluster-Autoscaling für Ihren Cluster deaktiviert ist:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
Die Ausgabe lautet True.
IAM-Berechtigungen für den selbst gehosteten Cluster Autoscaler konfigurieren
Für das selbst gehostete Cluster-Autoscaling sind IAM-Berechtigungen erforderlich, um Compute Engine-Instanzgruppen zu verwalten und Clustermetadaten in Ihrem Projekt zu lesen.
Erteilen Sie dem Autoscaler diese Berechtigungen, indem Sie eine benutzerdefinierte IAM-Rolle mit den geringsten Berechtigungen erstellen und sie mit der Workload Identity-Föderation für GKE an das Kubernetes-Dienstkonto des Autoscalers binden:
Rufen Sie Ihre Projektnummer ab:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"Notieren Sie sich den Ausgabewert als
PROJECT_NUMBER, um ihn in späteren Schritten zu verwenden.Speichern Sie die folgende benutzerdefinierte IAM-Rollendefinition als
gcp-role.yaml-Datei:Erstellen Sie die benutzerdefinierte IAM-Rolle
selfHostedClusterAutoscalerin Ihrem Projekt:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlErstellen Sie ein IAM-Dienstkonto mit dem Namen
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDWeisen Sie dem IAM-Dienstkonto
selfhosted-autoscalerdie benutzerdefinierte IAM-Rolle zu:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"Wenn Ihr Cluster die automatische Knotenbereitstellung oder benutzerdefinierte ComputeClasses verwendet, um neue Knotenpools zu erstellen, weisen Sie dem Dienstkonto
selfhosted-autoscalerdie Rolle „Dienstkontonutzer“ (roles/iam.serviceAccountUser) zu. Führen Sie den folgenden Befehl für jedes IAM-Dienstkonto aus, das von Ihren neuen Knoten verwendet wird:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"Ersetzen Sie
NODE_SA_EMAILdurch die E-Mail-Adresse des IAM-Dienstkontos, das Ihre Knoten verwenden. Weisen Sie diese Rolle dem Standarddienstkonto für die automatische Knotenbereitstellung und allen Dienstkonten zu, die Sie in einer ComputeClass angeben. Wenn Sie kein benutzerdefiniertes Dienstkonto konfigurieren, wird für die automatische Knotenbereitstellung das Compute Engine-StandarddienstkontoPROJECT_NUMBER-compute@developer.gserviceaccount.comverwendet.Erlauben Sie dem Kubernetes-ServiceAccount
selfhosted-autoscalerim Namespacekube-system, die Identität des IAM-Dienstkontos zu übernehmen:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Selbst gehostetes Cluster-Autoscaling mit Helm bereitstellen
Stellen Sie das selbst gehostete Cluster-Autoscaling mithilfe des Helm-Diagramms im Verzeichnis charts/cluster-autoscaler des Open-Source-GKE-Cluster-Autoscaling-Repositorys bereit:
Rufen Sie Ihre Cluster-ID ab:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Notieren Sie den Ausgabewert als
CLUSTER_IDfür die Helm-Konfigurationsdatei.Klonen Sie das Repository für das GKE-Cluster-Autoscaling:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitErstellen Sie das Container-Image für Cluster Autoscaler und übertragen Sie es per Push in Ihre Container Registry:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGErsetzen Sie Folgendes:
REGISTRY_PATH: der Basispfad Ihrer Container Registry, z. B.LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. Mit dem Befehlmake releasewird das Image erstellt und anREGISTRY_PATH/cluster-autoscaler:IMAGE_TAGübertragen.IMAGE_TAG: das Tag für Ihr Container-Image, z. B.37.234.0.
Weitere Informationen zum Erstellen des Container-Images finden Sie im GKE-Cluster-Autoscaler-Repository.
Wechseln Sie zum Helm-Diagrammverzeichnis:
cd charts/cluster-autoscalerErstellen Sie eine
my-values.yaml-Datei, um die Clusteridentität, das Dienstkonto für die Workload Identity-Föderation für GKE und die Autoscaling-Parameter zu konfigurieren:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILEErsetzen Sie Folgendes:
REGISTRY_PATH: der Basispfad Ihrer Container Registry aus einem vorherigen Schritt, z. B.LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.IMAGE_TAG: das Container-Image-Tag, das Sie im vorherigen Schritt per Push übertragen haben, z. B.37.234.0. Wenn Sie das Feldimage.tagweglassen, wird für das Helm-Diagramm standardmäßig der WertappVersionverwendet, den Sie beim Verpacken des Diagramms festgelegt haben.CLUSTER_ID: die Cluster-ID, die Sie in einem vorherigen Schritt abgerufen haben.PROJECT_NUMBER: die Projektnummer, die Sie in einem vorherigen Schritt abgerufen haben.IS_REGIONAL:true, wenn Ihr Cluster ein regionaler Cluster ist, oderfalse, wenn Ihr Cluster ein zonaler Cluster ist.AUTOSCALING_PROFILE: das anzuwendende Autoscaling-Profil. Geben Sie das Profildefaultfür eine ausgewogene Skalierung oder das ProfiloptimizeUtilizationan, um nicht ausgelastete Knoten aggressiver herunterskalieren. Eine vollständige Liste der konfigurierbaren Flags und Parameter finden Sie in der Standarddateivalues.yamlauf GitHub.
Verpacken Sie das Helm-Diagramm mit der Cluster Autoscaler-Komponentenversion, die Sie ausführen möchten, und installieren Sie das Diagramm im Namespace
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlErsetzen Sie
CA_VERSIONdurch die Version der Cluster-Autoscaling-Komponente im Format<minor>.<ca-version>.<patch>, z. B.37.234.0. Das Diagramm verwendet diese Version, um zu bestimmen, welche Autoscaling-Experimente aus der Dateivalues.yamlaktiviert werden sollen.
Bereitstellung des selbst gehosteten Cluster-Autoscalings prüfen
Prüfen Sie nach der Installation des Helm-Diagramms, ob der Pod des selbst gehosteten Cluster Autoscalers ausgeführt wird und Ihren Cluster aktiv überwacht:
Prüfen Sie, ob der selbst gehostete Cluster-Autoscaling-Pod den Status
Runninghat:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caDie Ausgabe sieht etwa so aus:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mPrüfen Sie die Logs des selbst gehosteten Cluster-Autoscaling-Pods, um sicherzustellen, dass er ohne Authentifizierungsfehler gestartet wird:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50Prüfen Sie die ConfigMap
cluster-autoscaler-status, um den aktuellen Skalierungsstatus aufzurufen, den das Autoscaling meldet:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
Zurück zum von GKE verwalteten Cluster-Autoscaling wechseln
Wenn Sie zum von GKE verwalteten Cluster-Autoscaling zurückkehren möchten, entfernen Sie Ihr selbst gehostetes Deployment, bevor Sie das verwaltete Autoscaling in der Steuerungsebene wieder aktivieren:
Deinstallieren Sie den selbst gehosteten Cluster-Autoscaler-Helm-Release:
helm uninstall selfhosted-ca --namespace=kube-systemAktivieren Sie den von GKE verwalteten Cluster Autoscaler in Ihrem Cluster wieder:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingPrüfen Sie, ob das von GKE verwaltete Cluster-Autoscaling aktiviert ist:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"Die Ausgabe ist leer oder
False.
Nächste Schritte
- Weitere Informationen zur Funktionsweise von Cluster Autoscaler.
- Cluster-Autoscaling für Knotenpools konfigurieren
- Open-Source-Repository und Helm-Diagramm für GKE-Cluster-Autoscaling ansehen.