Sie können GKE Standard-Cluster (Google Kubernetes Engine) so konfigurieren, dass sie ähnlich wie Cluster im Autopilot-Modus funktionieren. Aktivieren Sie dazu Clustereinstellungen wie die Standard-ComputeClass, Autopilot-Clustersicherheitsrichtlinien und die Cluster-Skalierung auf null.
Dieses Dokument richtet sich an Plattformadministratoren und Sicherheitstechniker, die alle Vorteile des Autopilot-Modus in einem Standardcluster nutzen möchten und die Flexibilität haben, einzelne Einstellungen zu ändern oder zu deaktivieren. Wenn Sie diese Flexibilität nicht benötigen, erstellen Sie stattdessen einen dedizierten Autopilot-Cluster.
Sie sollten mit den folgenden Konzepten vertraut sein:
Autopilot-Clustereinstellungen
Wenn Sie einen Standardcluster so konfigurieren möchten, dass er wie ein Autopilot-Cluster funktioniert, müssen Sie die folgenden Einstellungen konfigurieren:
- Autopilot-ComputeClass als Clusterstandard: Legen Sie eine der integrierten Autopilot-ComputeClasses fest. Alle Pods, die keine ComputeClass auswählen, werden mit der angegebenen Standard-ComputeClass ausgeführt. Die integrierten ComputeClasses verwenden alle den Autopilot-Modus und das Pod-basierte Abrechnungsmodell.
- Cluster automatisch auf null Knoten skalieren: Konfigurieren Sie Cluster Autoscaler so, dass der Cluster auf null Knoten herunterskaliert wird, wenn keine aktiven Nutzerarbeitslasten im Cluster vorhanden sind. Sie können optional die Verzögerung anpassen, bevor der Autoscaler den Cluster auf null Knoten skaliert.
- Keine anfänglichen Knoten: Verhindern Sie bei der Clustererstellung die automatische Erstellung eines Standardknotenpools. Löschen Sie bei vorhandenen Clustern alle manuell erstellten Knotenpools.
- Sicherheitsrichtlinien für Autopilot-Cluster: Erzwingen Sie alle Autopilot-Sicherheitsrichtlinien. Diese Richtlinien tragen zum Schutz von Systemarbeitslasten und Identitäten bei.
Sie können Ihren Cluster so ändern, dass jede dieser Einstellungen unabhängig von den anderen Einstellungen geändert wird. Wenn Sie beispielsweise einen Knotenpool manuell erstellen müssen, können Sie die entsprechende Autopilot-Clustersicherheitsrichtlinie deaktivieren, ohne die anderen Einstellungen zu ändern.
Überlegungen zu Flexibilität und Sicherheit
Wenn Sie einen Autopilot-Cluster erstellen, ist der Clustermodus dauerhaft. Clustereinstellungen wie das Skalieren auf null Knoten, das Verhindern der manuellen Erstellung von Knotenpools und die verschiedenen Sicherheitseinschränkungen sind unveränderlich. Wenn Sie jedoch einen Standardcluster so konfigurieren, dass alle Einstellungen eines Autopilot-Clusters verwendet werden, sind die Einstellungen änderbar. Jeder, der Zugriff auf die Clusterkonfigurationen hat, kann einzelne Einstellungen ändern oder deaktivieren.
Wenn Sie die Verwendung dieser Einstellungen in einer Organisation, einem Ordner oder einem Projekt erzwingen möchten, können Organisationsadministratoren eine benutzerdefinierte Einschränkung für Organisationsrichtlinien verwenden. Weitere Informationen finden Sie im Abschnitt Autopilot-Einstellungen mit benutzerdefinierten Organisationsrichtlinien erzwingen in diesem Dokument.
Beschränkungen
Wenn Sie Confidential GKE Nodes auf Clusterebene konfigurieren, ignoriert GKE Ihren Befehl, eine Autopilot-ComputeClass als Clusterstandard zu verwenden.
Hinweis
Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:
- Aktivieren Sie die Google Kubernetes Engine API. Google Kubernetes Engine API aktivieren
- Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, müssen Sie die gcloud CLI installieren und dann initialisieren. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die aktuelle Version mit dem Befehl
gcloud components updateab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
- Prüfen Sie, ob Sie einen Standardcluster haben, der alle Anforderungen erfüllt.
Voraussetzungen
Damit Sie alle Autopilot-Funktionen in einem Standardcluster verwenden können, muss Ihr Cluster die folgenden Anforderungen erfüllen:
Auf dem Cluster muss die GKE-Version 1.37.1-gke.3020000 oder höher ausgeführt werden. Für einzelne Einstellungen gelten die folgenden Versionsanforderungen:
- Wenn Sie eine integrierte Autopilot-ComputeClass als Clusterstandard festlegen möchten, muss auf dem Cluster die GKE-Version 1.37.1-gke.1380000 oder höher ausgeführt werden.
- Wenn Sie einen Cluster ohne anfängliche Knoten erstellen möchten, muss auf dem Cluster die GKE-Version 1.37.1-gke.3020000 oder höher ausgeführt werden.
- Wenn Sie Cluster Autoscaler so konfigurieren möchten, dass der Cluster auf null Knoten skaliert wird, muss der Cluster die GKE-Version 1.37.1-gke.3020000 oder höher ausführen.
Informationen zum Upgrade Ihres Clusters auf eine kompatible Version finden Sie unter Steuerungsebene oder Knotenpools eines Clusters manuell aktualisieren.
Der Cluster muss alle Anforderungen für die Verwendung von Autopilot-ComputeClasses erfüllen. Informationen dazu, ob Ihr Cluster diese Anforderungen erfüllt, finden Sie unter Arbeitslasten im Autopilot-Modus in Standardclustern ausführen.
Erforderliche Rollen und Berechtigungen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Google Cloud Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen oder Aktualisieren von Clustern für die Verwendung des Autopilot-Modus benötigen:
-
Cluster und Knotenpools erstellen und aktualisieren:
Kubernetes Engine Cluster Admin (
roles/container.clusterAdmin) -
ComputeClasses und Arbeitslasten im Cluster verwalten: Kubernetes Engine-Entwickler (
roles/container.developer)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Standard-Cluster im Autopilot-Modus erstellen
Führen Sie den folgenden Befehl aus, um einen neuen Standardcluster zu erstellen, der alle Autopilot-Einstellungen verwendet:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Ersetzen Sie Folgendes:
CLUSTER_NAME: ein Name für den neuen Cluster.CONTROL_PLANE_LOCATION: Eine Region für die Steuerungsebene Ihres Clusters, z. B.us-central1.BUILT_IN_COMPUTECLASS_NAME: die integrierte ComputeClass, die als Clusterstandard verwendet werden soll, z. B.autopilot.
Optional können Sie die Verzögerung anpassen, bevor Cluster Autoscaler den Cluster auf null Knoten skaliert. Verwenden Sie dazu das Flag --cluster-scale-to-zero-delay:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Ersetzen Sie SCALE_TO_ZERO_DELAY durch die Verzögerungsdauer.
Dieser Wert muss eine Ganzzahl und eine Zeiteinheit angeben, z. B. 0s, 1m oder 3h. Die maximale Verzögerung beträgt 3 Stunden. Wenn Sie das Flag --cluster-scale-to-zero-delay nicht angeben, beträgt die Standardverzögerung 3 Stunden.
Wenn der Befehl zum Erstellen des Clusters fehlschlägt und eine Fehlermeldung angezeigt wird, finden Sie weitere Informationen in der Fehlermeldung. Die häufigsten Fehler sind:
- Ihr Cluster verwendet eine Version, die eines der angegebenen Flags nicht unterstützt. Aktualisieren Sie Ihren Cluster auf die im Abschnitt Anforderungen angegebene Mindestversion, um diesen Fehler zu beheben.
- Sie haben im Befehl zur Clustererstellung Konfigurations-Flags für Knotenpools angegeben (z. B. das Flag
--machine-type). Da Ihr neuer Cluster keinen anfänglichen Knotenpool hat, können Sie keine Konfigurations-Flags für Knotenpools angeben. Entfernen Sie die Flags für die Knotenpoolkonfiguration aus dem Befehl, um diesen Fehler zu beheben. - Sie haben den Namen einer benutzerdefinierten ComputeClass für das Flag
--default-compute-classangegeben. Geben Sie eine der integrierten Autopilot-ComputeClasses an, um diesen Fehler zu beheben.
Vorhandenen Standardcluster für die Verwendung des Autopilot-Modus aktualisieren
Sie können einen vorhandenen Standard-Cluster so ändern, dass er den Autopilot-Modus verwendet. Dieser Prozess umfasst potenziell störende Änderungen an Ihren Arbeitslasten, z. B. das Löschen manuell erstellter Knotenpools. Führen Sie diese Schritte während eines geplanten Wartungszeitraums aus.
Prüfen Sie, ob Ihr Cluster alle Anforderungen in diesem Dokument erfüllt.
Prüfen Sie Ihren Cluster und nehmen Sie alle erforderlichen Änderungen vor, um Konflikte mit Autopilot-Clusterrichtlinien zu vermeiden. Weitere Informationen zu den potenziellen Änderungen finden Sie unter Unterstützte Richtlinien.
Wenn Sie eine Autopilot-ComputeClass als Clusterstandard festlegen, werden eingehende Pods, die keine andere ComputeClass auswählen, zu Autopilot-Arbeitslasten. Prüfen Sie alle Arbeitslasten, für die keine ComputeClass für die folgenden Attribute ausgewählt ist:
- Prüfen Sie, ob Ihre Arbeitslasten den Autopilot-Sicherheitseinschränkungen entsprechen, oder konfigurieren Sie eine Zulassungsliste für privilegierte Arbeitslasten.
- Suchen und entfernen Sie
cloud.google.com/gke-nodepool-Knotenauswahlen oder Knotenaffinitätsregeln aus den Pods. - Prüfen Sie, ob Namespaces das Label
cloud.google.com/default-compute-classodercloud.google.com/default-compute-class-non-daemonsethaben. Standard-ComputeClasses auf Namespace-Ebene haben Vorrang vor der Standard-ComputeClass auf Clusterebene.
Prüfen Sie, ob der Cluster eine benutzerdefinierte ComputeClass mit dem Namen
defaulthat:kubectl get computeclass default -o yamlWenn die Ausgabe leer ist, fahren Sie mit dem nächsten Schritt fort. Wenn die
default-ComputeClass vorhanden ist, sieht die Ausgabe in etwa so aus:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.Wenn die Annotation
cloud.google.com/gke-managed-default-compute-class: "true"in der Ausgabe im Feldmetadata.annotationsenthalten ist, fahren Sie mit dem nächsten Schritt fort. Wenn diese Annotation nicht vorhanden ist, löschen Sie die ComputeClass:kubectl delete computeclass defaultSuchen und löschen Sie alle vorhandenen manuell erstellten Knotenpools im Cluster.
Aktivieren Sie die Autopilot-Einstellungen für den Cluster:
Legen Sie die Standard-ComputeClass des Clusters auf eine integrierte ComputeClass fest:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMEErsetzen Sie Folgendes:
CLUSTER_NAME: Der Name Ihres vorhandenen Standardclusters.CONTROL_PLANE_LOCATION: die Region der Steuerungsebene Ihres Clusters.BUILT_IN_COMPUTECLASS_NAME: die integrierte Autopilot-ComputeClass, die als Clusterstandard verwendet werden soll, z. B.autopilot.
Aktivieren Sie das Cluster-Autoscaling und lassen Sie den Cluster vom Autoscaler auf null Knoten skalieren:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroOptional können Sie die Verzögerung anpassen, bevor Cluster Autoscaler den Cluster auf null Knoten skaliert. Verwenden Sie dazu das Flag
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYErsetzen Sie
SCALE_TO_ZERO_DELAYdurch die Verzögerungsdauer. Dieser Wert muss eine Ganzzahl und eine Zeiteinheit angeben, z. B.0s,1moder3h. Die maximale Verzögerung beträgt 3 Stunden. Wenn Sie das Flag--cluster-scale-to-zero-delaynicht angeben, beträgt die Standardverzögerung 3 Stunden.Aktivieren Sie die Autopilot-Clusterrichtlinien:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Wenn einer Ihrer Clusteraktualisierungsbefehle fehlschlägt und eine Fehlermeldung angezeigt wird, finden Sie in der Fehlermeldung weitere Informationen. Die häufigsten Fehler sind:
- Ihr Cluster verwendet eine Version, die eines der angegebenen Flags nicht unterstützt. Aktualisieren Sie Ihren Cluster auf die im Abschnitt Anforderungen angegebene Mindestversion, um diesen Fehler zu beheben.
- Sie haben den Namen einer benutzerdefinierten ComputeClass für das Flag
--default-compute-classangegeben. Geben Sie eine der integrierten Autopilot-ComputeClasses an, um diesen Fehler zu beheben. - Ihr Cluster hat manuell erstellte Knotenpools, daher kann die GKE die Richtlinie
no-standard-node-poolsnicht erzwingen. Löschen Sie die manuell erstellten Knotenpools, um diesen Fehler zu beheben.
Prüfen, ob der Cluster den Autopilot-Modus verwendet
Prüfen Sie nach dem Konfigurieren des neuen oder vorhandenen Clusters, ob die Autopilot-Einstellungen aktiv sind:
Prüfen Sie, ob die Standardeinstellungen für ComputeClass, Skalierung auf null und Clusterrichtlinien im Cluster aktiviert sind:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"Die Ausgabe sieht etwa so aus:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: truePrüfen Sie, ob GKE die verwaltete ComputeClass
defaultin Ihrem Cluster erstellt hat:kubectl get computeclass default -o yamlDie Ausgabe sieht etwa so aus:
Wenn die Ausgabe leer ist, fahren Sie mit dem nächsten Schritt fort. Wenn die
default-ComputeClass vorhanden ist, sieht die Ausgabe in etwa so aus:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.In dieser Ausgabe gibt die Annotation
cloud.google.com/gke-managed-default-compute-class: "true"an, dass die ComputeClass von GKE erstellt wurde.Wenn Sie einen Pod bereitstellen, der keine andere ComputeClass auswählt, prüfen Sie, ob der Pod auf einem von Autopilot verwalteten Knoten ausgeführt wird:
kubectl get pods -o wideIn der Ausgabe haben Knoten, die von Autopilot verwaltet werden, das Präfix
gk3-in der SpalteNODE.
Einzelne Autopilot-Einstellungen ändern oder deaktivieren
Da jede Autopilot-Funktion in einem Standard-Cluster modular ist, können Sie einzelne Einstellungen jederzeit anpassen oder deaktivieren. Wenn Sie Sicherheitsadministrator sind, können Sie diese Einstellungen mit benutzerdefinierten Einschränkungen für Organisationsrichtlinien erzwingen. Weitere Informationen finden Sie unter Autopilot-Einstellungen mit benutzerdefinierten Organisationsrichtlinien erzwingen.
- Deaktivieren Sie bestimmte Autopilot-Richtlinien in Ihrem Cluster, z. B.
no-standard-node-pools. - Standard-ComputeClass auf Clusterebene deaktivieren Alternativ können Sie eine benutzerdefinierte ComputeClass als Clusterstandard festlegen, indem Sie eine ComputeClass mit dem Namen
defaulterstellen. Verhindern Sie, dass der Cluster auf null Knoten herunterskaliert wird:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
Autopilot-Einstellungen mit benutzerdefinierten Organisationsrichtlinien erzwingen
Da Autopilot-Einstellungen in Standard-Clustern von Nutzern mit Berechtigungen zum Aktualisieren von Clustern geändert oder deaktiviert werden können, können Administratoren der Organisation benutzerdefinierte Einschränkungen für Organisationsrichtlinien im Organisationsrichtliniendienst verwenden, um diese Einstellungen in einer Organisation, einem Ordner oder einem Projekt zu erzwingen. Im folgenden Beispiel werden Clustererstellungs- oder ‑aktualisierungsvorgänge für Cluster abgelehnt, die nicht alle Autopilot-Einstellungen erzwingen:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
Ersetzen Sie ORGANIZATION_ID durch Ihre Organisations-ID.
Nächste Schritte
- Weitere Informationen zu Autopilot-Arbeitslasten in GKE Standard
- Arbeitslasten im Autopilot-Modus in Standardclustern ausführen
- ComputeClasses standardmäßig auf Pods anwenden
- Autopilot-Sicherheitsrichtlinien in Standardclustern erzwingen
- Cluster automatisch skalieren