Auf dieser Seite wird erläutert, wie Sie mit Config Sync und Terraform dynamisch teambezogene Ressourcen in einer Flotte von Clustern erstellen. Config Sync erweitert die Funktionen der Flottenteamverwaltung, um Infrastruktur- und Clusterkonfigurationen in Ihren Flotten zu erstellen und zu verwalten.
In diesem Leitfaden wird davon ausgegangen, dass Sie mit den Konzepten der Flottenteamverwaltung wie Teambereiche und Flotten-Namespaces vertraut sind. Weitere Informationen finden Sie in der Übersicht über die Flottenteamverwaltung.
Eine End-to-End-Anleitung mit Beispielkonfigurationen finden Sie im Tutorial zur Fleet-Mandantenfähigkeit im Beispiel-Repository.
Eine Liste der Felder, die für Config Sync in Terraform unterstützt werden, finden Sie in der Terraform-Referenzdokumentation für GKE-Flottenfunktionen.
Beispielworkflow
Sie sind ein Plattformadministrator, der Ressourcen für eine Flotte von Clustern dynamisch erstellen möchte, bei denen verschiedene Teams unterschiedliche Anforderungen haben. Sie möchten beispielsweise eine NetworkPolicy auf die Namespaces Ihres Backend-Teams anwenden, nicht aber auf die Namespaces Ihres Frontend-Teams.
In diesem Szenario gehen Sie so vor, um Ressourcen mit Teambereich in einem Namespace zu erstellen:
- Wählen Sie die Flotte aus, in der Sie Ressourcen für Teams verwalten möchten, oder erstellen Sie sie.
Richten Sie Ihre zentrale Informationsquelle ein. Die "Source of Truth" enthält die
NamespaceSelector-Objekte, mit denen Sie Namespaces auf Flottenebene in Ihren Teambereichen auswählen, sowie alle Ressourcen (z. B.NetworkPolicy), die Sie über diese Namespaces hinweg synchronisieren möchten..Erstellen Sie die Standardkonfiguration auf Flottenebene für Config Sync. Config Sync verwendet diese Standardeinstellungen bei der Synchronisierung aus der im vorherigen Schritt erstellten „Source of Truth“. Diese Config Sync-Einstellungen gelten für alle neuen Cluster, die in der Flotte erstellt werden.
Cluster in Ihrer Flotte erstellen
Erstellen Sie die Teambereiche und Namespaces für Frontend und Backend, damit Config Sync Ressourcen in Ihren Namespaces erkennen und abgleichen kann.
Nachdem Sie diese Schritte ausgeführt haben, erstellt und wendet Config Sync die NetworkPolicy basierend auf der NamespaceSelector auf die Namespaces des Backend-Teams an. Wenn Sie Ressourcen ändern oder hinzufügen, erkennt Config Sync kontinuierlich und wendet kontinuierlich an: Änderungen an Ihren Konfigurationsdateien, Teambereichen, Flotten-Namespaces und Flottenmitgliedern.
Preise
Config Sync und Funktionen zur Flottenteamverwaltung sind als Teil von GKE verfügbar. Weitere Informationen zu den Preisen finden Sie auf der GKE-Preisseite.
Hinweis
- Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
Installieren Sie die Google Cloud CLI.
-
Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
-
Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init -
Google Cloud -Projekt erstellen oder auswählen.
Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts
- Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
-
Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (
roles/resourcemanager.projectCreator), die die Berechtigungresourcemanager.projects.createenthält. Informationen zum Zuweisen von Rollen
-
Erstellen Sie ein Projekt in Google Cloud :
gcloud projects create PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch einen Namen für das Google Cloud Projekt, das Sie erstellen. -
Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:
gcloud config set project PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch Ihren Google Cloud Projektnamen.
-
Installieren Sie die Google Cloud CLI.
-
Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
-
Führen Sie den folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init -
Google Cloud -Projekt erstellen oder auswählen.
Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts
- Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
-
Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (
roles/resourcemanager.projectCreator), die die Berechtigungresourcemanager.projects.createenthält. Informationen zum Zuweisen von Rollen
-
Erstellen Sie ein Projekt in Google Cloud :
gcloud projects create PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch einen Namen für das Google Cloud Projekt, das Sie erstellen. -
Wählen Sie das von Ihnen erstellte Google Cloud Projekt aus:
gcloud config set project PROJECT_ID
Ersetzen Sie
PROJECT_IDdurch Ihren Google Cloud Projektnamen.
- Erstellen Sie eine „Source of Truth“ (entweder ein Git-Repository oder ein OCI-Image), in der Sie Ihre Konfigurationsdateien speichern können, oder verschaffen Sie sich darauf Zugriff. In den Beispielen in dieser Anleitung wird ein Git-Repository verwendet.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, damit Sie die nötigen Berechtigungen zum Erstellen von Teamressourcen für Ihre Flotte haben:
-
Flottenressourcen verwalten:
Fleet Admin (früher GKE Hub Admin) (
roles/gkehub.admin) -
GKE-Cluster erstellen:
Administrator für Kubernetes Engine-Cluster (
roles/container.clusterAdmin)
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Nutzeranmeldedaten abrufen
Wenn Sie die Terraform-Befehle in dieser Anleitung in Ihrer lokalen Umgebung ausführen möchten, führen Sie den folgenden Befehl aus, um neue Nutzeranmeldedaten abzurufen:
gcloud auth application-default login
Flotte einrichten
In diesem Abschnitt erstellen Sie Ihre Flotte und aktivieren die erforderlichen Dienste.
Führen Sie die folgenden Schritte aus, um den Flotte einzurichten:
Erstellen Sie ein Verzeichnis für die Terraform-Dateien der Flottenkonfiguration. Fügen Sie diesem Verzeichnis eine Datei
main.tfund eine Dateivariables.tfhinzu.Fügen Sie in der Datei
variables.tfdie folgenden Variablen hinzu:Fügen Sie in der Datei
main.tfden folgenden Ressourcen hinzu:Exportieren Sie die Variable PROJECT_ID:
export TF_VAR_project=PROJECT_IDErsetzen Sie
PROJECT_IDdurch die Projekt-ID, in der Sie Ihre Flotte erstellen möchten.Initialisieren Sie Terraform im erstellten Verzeichnis:
terraform initPrüfen Sie, ob die vorgeschlagenen Änderungen mit Terraform dem erwarteten Plan entsprechen:
terraform planFlotte erstellen, APIs aktivieren und Dienstkonto erstellen:
terraform applyEs kann einige Minuten dauern, bis alle Dienste aktiviert sind.
Zentrale Datenquelle einrichten
In diesem Abschnitt fügen Sie einer „Source of Truth“ Konfigurationsdateien hinzu.
Sie benötigen ein NamespaceSelector-Objekt für jeden Teambereich, den Sie verwenden möchten.
Wenn Sie beispielsweise Frontend- und Backend-Teams haben, müssen Sie für jedes Team ein NamespaceSelector-Objekt erstellen. Das Objekt NamespaceSelector wählt alle oder einige der Namespaces innerhalb eines Teambereichs aus. Sie können Ihrer „Source of Truth“ zusätzliche Teamressourcen wie eine NetworkPolicy hinzufügen. Wenn Sie diese Ressourcen erstellen, verweisen Sie auf die NamespaceSelector, damit Config Sync diese Ressourcen dynamisch über Namespaces hinweg bereitstellen und synchronisieren kann.
So richten Sie Ihre „Source of Truth“ ein:
Erstellen Sie in Ihrer "Source of Truth" ein Verzeichnis für die Konfigurationsdateien, aus denen Config Sync synchronisiert werden soll.
Erstellen Sie für jedes Team ein
NamespaceSelector-Objekt in Ihrem Konfigurationsverzeichnis:apiVersion: configmanagement.gke.io/v1 kind: NamespaceSelector metadata: name: NAMESPACE_SELECTOR_NAME spec: mode: dynamic selector: matchLabels: fleet.gke.io/fleet-scope: SCOPE_NAMEErsetzen Sie Folgendes:
NAMESPACE_SELECTOR_NAME: der Name für dasNamespaceSelector-Objekt, z. B.backend-scope.SCOPE_NAME: Der Name des Teambereichs, z. B.backend.
Alle Namespaces, die Teil eines Flotten-Namespace sind, haben automatisch das Label
fleet.gke.io/fleet-scope: SCOPE_NAME. MitNamespaceSelectorwerden alle Flotten-Namespaces eines Teambereichs mit diesem Label ausgewählt. Weitere Beispiele zum Ein- oder Ausschließen von Namespaces finden Sie unter Beispiele fürNamespaceSelector.Erstellen Sie alle Objekte, die Sie über Namespaces hinweg synchronisieren möchten.
Wenn Sie ein Objekt nur mit einem bestimmten Team synchronisieren möchten, legen Sie die folgende Annotation in den Metadaten des Objekts fest:
annotations: configmanagement.gke.io/namespace-selector: NAMESPACE_SELECTOR_NAMEEin
NetworkPolicyfür das Backend-Team könnte beispielsweise so aussehen:
Standardeinstellungen auf Flottenebene für Config Sync erstellen
In diesem Abschnitt erstellen Sie Standardeinstellungen für Config Sync auf Flottenebene, wodurch dieselbe Config Sync-Konfiguration auf alle in Ihrer Flotte erstellten Cluster angewendet wird.
So erstellen Sie eine Standardkonfiguration auf Flottenebene für Config Sync:
Erstellen Sie ein Verzeichnis für die Terraform-Dateien der Standardkonfiguration für die Flotte. Fügen Sie diesem Verzeichnis eine Datei
main.tfund eine Dateivariables.tfhinzu.Fügen Sie in der Datei
variables.tfdie folgenden Variablen hinzu:Fügen Sie in der Datei
main.tfdie folgende Ressource hinzu, um die Einstellungen von Config Sync zu konfigurieren:git
terraform { required_providers { google = { source = "hashicorp/google" version = ">=5.16.0" } } } provider "google" { project = var.project } resource "google_gke_hub_feature" "feature" { name = "configmanagement" location = "global" provider = google fleet_default_member_config { configmanagement { version = "VERSION" config_sync { source_format = "unstructured" git { sync_repo = "REPO" sync_branch = "BRANCH" policy_dir = "DIRECTORY" secret_type = "SECRET" } } } } }Ersetzen Sie Folgendes:
VERSION(optional) ist die Config Sync-Versionsnummer. Wenn Sie dieses Feld leer lassen, wird die Standardeinstellung verwendet, nämlich die neueste Version.REPOist die URL zum Repository mit Ihren Konfigurationsdateien.BRANCHist der Repository-Zweig, z. B.main.DIRECTORYist der Pfad im Git-Repository, der die oberste Ebene des Repositorys darstellt, das Sie synchronisieren möchten.SECRETist der Secret-Authentifizierungstyp.
Eine vollständige Liste der im Config Sync-
git-Block unterstützten Einstellungen finden Sie in der Terraform-Referenzdokumentation für GKE-Hub-Features.OCI
terraform { required_providers { google = { source = "hashicorp/google" version = ">=5.16.0" } } } provider "google" { project = var.project } resource "google_gke_hub_feature" "feature" { name = "configmanagement" location = "global" provider = google fleet_default_member_config { configmanagement { version = "VERSION" config_sync { source_format = "unstructured" oci { sync_repo = "REPO" policy_dir = "DIRECTORY" secret_type = "SECRET" } } } } }Ersetzen Sie Folgendes:
VERSIONist die Config Sync-Versionsnummer. Wenn Sie dieses Feld leer lassen, wird die Standardeinstellung verwendet, nämlich die neueste Version.REPOist die URL zum OCI-Image-Repository mit Konfigurationsdateien.DIRECTORYist der absolute Pfad des Verzeichnisses mit den Ressourcen, die Sie synchronisieren möchten. Lassen Sie das Feld leer, wenn Sie das Stammverzeichnis verwenden möchten.SECRETist der Secret-Authentifizierungstyp.
Eine vollständige Liste der im Config Sync-
oci-Block unterstützten Einstellungen finden Sie in der Terraform-Referenzdokumentation für GKE-Hub-Features.In der folgenden
main.tf-Datei wird Config Sync beispielsweise so konfiguriert, dass die Synchronisierung aus einem Git-Repository erfolgt und alle Objekte im Verzeichnisconfigsynchronisiert werden:Initialisieren Sie Terraform im erstellten Verzeichnis:
terraform initPrüfen Sie, ob die vorgeschlagenen Änderungen mit Terraform dem erwarteten Plan entsprechen:
terraform planErstellen Sie die Standardkonfigurationen für Flottenmitglieder:
terraform apply
Cluster in Ihrer Flotte erstellen
In diesem Abschnitt erstellen Sie eine gemeinsame Clusterkonfiguration und dann Cluster in Ihrer Flotte.
So erstellen und registrieren Sie neue Cluster in Ihrer Flotte:
Erstellen Sie ein Verzeichnis für die Terraform-Dateien der Clusterkonfiguration. Fügen Sie diesem Verzeichnis eine Datei
main.tfund eine Dateivariables.tfhinzu.Fügen Sie in der Datei
variables.tfdie folgenden Variablen hinzu:Erstellen Sie eine
cluster.tf-Datei, die Standardwerte enthält, die für alle Ihre Cluster verwendet werden, z. B. Ihre Projekt- und Flotten-IDs:variable "location" { type = string } variable "cluster_name" { type = string } data "google_project" "project" { provider = google } resource "google_container_cluster" "cluster" { provider = google name = var.cluster_name location = var.location initial_node_count = 3 project = data.google_project.project.project_id fleet { project = data.google_project.project.project_id } workload_identity_config { workload_pool = "${data.google_project.project.project_id}.svc.id.goog" } deletion_protection = false }Fügen Sie in der Datei
main.tfden folgenden Ressourcen hinzu:terraform { required_providers { google = { source = "hashicorp/google" version = ">=5.16.0" } } } provider "google" { project = var.project } module "MODULE_NAME" { source = "CLUSTER_CONFIGURATION_FILEPATH" cluster_name = "CLUSTER_NAME" location="CLUSTER_LOCATION" }Ersetzen Sie Folgendes:
MODULE_NAME: der Name, den Sie dem Clustermodul geben möchten. MODULE_NAME und CLUSTER_NAME können denselben Wert haben, z. B.us-east-cluster.CLUSTER_CONFIGURATION_FILEPATH: der relative Pfad zur von Ihnen erstellten Dateicluster.tf.CLUSTER_NAME: Der Name Ihres Clusters. MODULE_NAME und CLUSTER_NAME können denselben Wert haben, z. B.us-east-cluster.CLUSTER_LOCATION: Der Standort Ihres Clusters, z. B.us-east1.
Sie können beliebig viele Cluster erstellen. Mit der folgenden
main.tf-Datei werden beispielsweise drei Cluster in verschiedenen Regionen erstellt:Initialisieren Sie Terraform im erstellten Verzeichnis:
terraform initPrüfen Sie, ob die vorgeschlagenen Änderungen mit Terraform dem erwarteten Plan entsprechen:
terraform planErstellen Sie die Cluster:
terraform apply
Teambereiche und Flotten-Namespaces konfigurieren
In diesem Abschnitt erstellen Sie Ihre Teambereiche und verknüpfen Ihre Cluster mit diesen Bereichen. Anschließend erstellen Sie die erforderlichen Flotten-Namespaces, z. B. einen für jedes Team, in jedem Bereich. Config Sync erstellt dann die Ressourcen in Ihren Namespaces.
Führen Sie die folgenden Schritte aus, um Teambereiche und Namespaces zu konfigurieren:
Erstellen Sie ein Verzeichnis für die Terraform-Dateien der Teambereichs- und Namespace-Konfiguration. Fügen Sie diesem Verzeichnis eine
main.tf-Datei und einevariables.tf-Datei hinzu.Fügen Sie in der Datei
variables.tfdie folgenden Variablen hinzu:Fügen Sie in der Datei
main.tfden folgenden Ressourcen hinzu:Fügen Sie die Anbieterinformationen hinzu:
terraform { required_providers { google = { source = "hashicorp/google" version = ">=5.16.0" } } } provider "google" { project = var.project }Fügen Sie die Teambereichsressource hinzu:
resource "google_gke_hub_scope" "scope" { provider = google for_each = toset([ "SCOPE_NAME", "SCOPE_NAME_2", ]) scope_id = each.value }Ersetzen Sie Folgendes:
SCOPE_NAME: Der Name des Teambereichs, z. B.backend.SCOPE_NAME_2: Ein zusätzlicher Teambereich, falls Sie einen erstellt haben.
Sie können beliebig viele Teambereiche hinzufügen. Wenn ein Flotten-Namespace im Cluster erstellt wird, erhält er automatisch das Label
fleet.gke.io/fleet-scope: SCOPE_NAME, sodass Config Sync Namespaces anhand der vorhandenenNamespaceSelector-Labels auswählen kann, wenn es Kubernetes-Ressourcen Synchronisiert.Eine Terraform-Ressource für einen Teambereich, die einen Bereich für das Frontend- und für das Backend-Team enthält, könnte beispielsweise so aussehen:
Fügen Sie für jeden Cluster, den Sie auf einen Teambereich anwenden möchten, eine Flottenmitgliedschaftsbindung hinzu:
resource "google_gke_hub_membership_binding" "membership-binding" { provider = google for_each = { MEMBERSHIP_BINDING_NAME = { membership_binding_id = "MEMBERSHIP_BINDING_ID" scope = google_gke_hub_scope.scope["SCOPE_NAME"].name membership_id = "CLUSTER_NAME" location = "CLUSTER_LOCATION" } MEMBERSHIP_BINDING_NAME_2 = { membership_binding_id = "MEMBERSHIP_BINDING_ID_2" scope = google_gke_hub_scope.scope["SCOPE_NAME_2"].name membership_id = "CLUSTER_NAME_2" location = "CLUSTER_LOCATION_2" } } membership_binding_id = each.value.membership_binding_id scope = each.value.scope membership_id = each.value.membership_id location = each.value.location depends_on = [google_gke_hub_scope.scope] }Ersetzen Sie Folgendes:
MEMBERSHIP_BINDING_NAME: Der Name der Mitgliedschaftsbindung, z. B.us-east-backend.MEMBERSIP_BINDING_IDist die ID der Mitgliedschaftsbindung. Dieser kann mit MEMBERSHIP_BINDING_NAME identisch sein.SCOPE_NAMEist die Labelauswahl, die Sie Ihrem Teambereich beim Erstellen einesNamespaceSelectorzugewiesen haben, z. B.backend.CLUSTER_NAME: Der Name des Clusters, den Sie beim Erstellen von Clustern erstellt haben, z. B.us-east-cluster.CLUSTER_LOCATION: Der Clusterstandort, z. B.us-east1.
Sie müssen für jeden Cluster eine Flottenmitgliedschaftsbindung definieren. Wenn Sie keinen Teambereich für einen Cluster definieren, wird dieser Cluster nicht für diesen Namespace erstellt. Wenn Sie beispielsweise drei Cluster in den Regionen
us-east1,us-west1undus-central1haben, derus-central1-Cluster jedoch nur für das Frontend-Team bestimmt ist, würde Ihre Mitgliedschaftsbindungsressource so aussehen:Fügen Sie alle Namespaces hinzu, die Sie für Ihre Teams definieren möchten:
resource "google_gke_hub_namespace" "fleet_namespace" { provider = google for_each = { FLEET_NAMESPACE = { scope_id = "SCOPE_NAME" scope_namespace_id = "FLEET_NAMESPACE_ID" scope = google_gke_hub_scope.scope["SCOPE_NAME"].name } FLEET_NAMESPACE_2 = { scope_id = "SCOPE_NAME" scope_namespace_id = "FLEET_NAMESPACE_ID_2" scope = google_gke_hub_scope.scope["SCOPE_NAME"].name } } scope_namespace_id = each.value.scope_namespace_id scope_id = each.value.scope_id scope = each.value.scope depends_on = [google_gke_hub_scope.scope] }Ersetzen Sie Folgendes:
FLEET_NAMESPACE: Der Name, den Sie dem Namespace geben möchten, z. B.backend-a.SCOPE_NAMEist die Labelauswahl, die Sie Ihrem Teambereich beim Erstellen einesNamespaceSelectorzugewiesen haben, z. B.backend.FLEET_NAMESPACE_ID: die Namespace-ID. Dieser kann mit FLEET_NAMESPACE identisch sein.
Wenn Sie beispielsweise möchten, dass sowohl das Frontend- als auch das Backend-Team jeweils zwei Namespaces haben, könnte Ihre Flotten-Namespace-Ressource so aussehen:
Initialisieren Sie Terraform in dem von Ihnen erstellten Verzeichnis:
terraform initPrüfen Sie, ob die vorgeschlagenen Änderungen mit Terraform dem erwarteten Plan entsprechen:
terraform planErstellen Sie die Flottenbereiche und ‑Namespaces:
terraform apply
Nachdem Sie Flottenbereiche und Namespaces erstellt haben, erkennt Config Sync diese neuen Namespaces und ihre Bereiche, wählt Ressourcen in den Flotten-Namespaces aus und gleicht sie mit Ihren Konfigurationsdateien ab.
Sie können prüfen, ob Ihre Ressourcen auf den richtigen Cluster angewendet werden. Verwenden Sie dazu nomos status oder rufen Sie in der Google Cloud -Console den Config Sync-Tab Pakete auf und ändern Sie das Optionsfeld Anzeigen nach auf Cluster.
Config Sync synchronisiert Ihre Ressourcen über Namespaces hinweg basierend auf Ihren Teambereichen gemäß der in Ihrer Source of Truth gespeicherten Konfiguration. Wenn Sie eine neue Ressource hinzufügen und die richtige NamespaceSelector-Annotation angeben, gleicht Config Sync diese Ressource automatisch in Ihren Team-Namespaces ab.
Wenn Sie Config Sync-Einstellungen auf Ihre vorhandenen Cluster anwenden möchten, folgen Sie der Anleitung zum Konfigurieren von Standardeinstellungen auf Flottenebene im Config Sync-Installationsanleitung.