Auf private Google Kubernetes Engine-Cluster mit privaten Cloud Build-Pools zugreifen

Mit privaten Cloud Build-Pools können Sie Ihre Anwendungen mit Cloud Build in privaten GKE-Clustern (Google Kubernetes Engine) bereitstellen. In dieser Anleitung verbinden Sie einen privaten Pool über eine Cloud VPN-Verbindung mit der IP-Adresse eines privaten GKE-Cluster, um Traffic über verbundene Virtual Private Cloud-Netzwerke (VPC) weiterzuleiten. Alternativ können Sie auf einen privaten GKE-Cluster zugreifen, ohne Cloud VPN zu konfigurieren. Verwenden Sie dazu einen DNS-basierten Endpunkt.

Dieser Ansatz ist für Netzwerkadministratoren konzipiert und wird immer dann angewendet, wenn Worker in privaten Pools mit Diensten in einem anderen VPC-Netzwerk mit Peering kommunizieren müssen, z. B. Cloud SQL-Datenbanken, Memorystore-Instanzen oder Compute Engine-Instanzen. Um diese Schritte auszuführen, sollten Sie mit Google Kubernetes Engine, Cloud Build, dem gcloud-Befehl, VPC-Netzwerk-Peering und Cloud VPN vertraut sein.

Architektur

Wenn Sie einen privaten GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt erstellen, können Clients auf die Steuerungsebene des GKE-Clusters nur über deren private IP-Adresse zugreifen. Clients wie kubectl können nur dann mit der Steuerungsebene kommunizieren, wenn sie auf einer Instanz ausgeführt werden, die Zugriff auf das VPC-Netzwerk hat und sich in einem autorisierten Netzwerk befindet.

Wenn Sie Cloud Build zum Bereitstellen Ihrer Anwendung in diesem privaten GKE-Cluster verwenden möchten, müssen Sie private Cloud Build-Pools verwenden, um auf die GKE-Cluster zuzugreifen. Private Pools sind eine Reihe von Worker-Instanzen, die in einem Google Cloud -Projekt von Google ausgeführt werden und über eine VPC-Netzwerk-Peering-Verbindung mit Ihrem VPC-Netzwerk verbunden sind. In diesem Szenario dürfen die Worker-Instanzen mit der privaten IP-Adresse der Steuerungsebene des GKE-Clusters kommunizieren.

Die Steuerungsebene des GKE-Cluster wird jedoch auch in einem Google-eigenen Projekt ausgeführt und stellt über Private Service Connect (PSC) eine Verbindung zu Ihrem VPC-Netzwerk her. VPC-Netzwerk-Peering unterstützt kein transitives Peering. Pakete können also nicht direkt zwischen dem privaten Cloud Build-Pool und der GKE-Cluster-Steuerungsebene weitergeleitet werden.

Damit Cloud Build-Worker-Instanzen auf die GKE-Cluster-Steuerungsebene zugreifen können, können Sie den privaten Pool per Peering verbinden und PSC verwenden, um die GKE-Cluster-Steuerungsebene mit zwei VPC-Netzwerken zu verbinden, die Ihnen gehören. Anschließend können Sie diese beiden VPC-Netzwerke mit Cloud VPN verbinden. Mit diesem Peering und der Verbindung kann jede Seite des VPC-Tunnels den privaten Pool und die Netzwerke der Steuerungsebene des GKE-Clusters bewerben und so die Route abschließen.

Das folgende Architekturdiagramm zeigt die Ressourcen, die in dieser Anleitung verwendet werden:

VPN-Tunnel, der die Route zwischen dem privaten Cloud Build-Pool und der Steuerungsebene des GKE-Clusters abschließt

Wir empfehlen, alle in diesem Tutorial verwendeten Ressourcen in derselben Google Cloud -Region zu erstellen, um eine niedrige Latenz zu erzielen. Der VPN-Tunnel kann zwei verschiedene Regionen durchlaufen, wenn diese Kommunikation zwischen den Regionen für Ihre eigene Implementierung erforderlich ist. Die beiden VPC-Netzwerke, deren Inhaber Sie sind, können auch zu verschiedenen Projekten gehören.

Ziele

  • Privaten GKE-Cluster erstellen
  • Privaten Cloud Build-Pool einrichten
  • HA VPN-Verbindung zwischen zwei VPC-Netzwerken erstellen
  • Routing von Paketen über zwei VPC-Netzwerk-Peerings und eine VPC-Verbindung ermöglichen

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.

Neuen Nutzern von Google Cloud steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweis

  1. Wählen Sie in der Google Cloud Console auf der Seite für die Projektauswahl ein Google Cloud -Projekt aus oder erstellen Sie eines.

    Erforderliche Rollen zum Auswählen oder Erstellen eines Projekts

    • Projekt auswählen: Für die Auswahl eines Projekts ist keine bestimmte IAM-Rolle erforderlich. Sie können jedes Projekt auswählen, für das Ihnen eine Rolle zugewiesen wurde.
    • Projekt erstellen: Zum Erstellen eines Projekts benötigen Sie die Rolle „Project Creator“ (roles/resourcemanager.projectCreator), die die Berechtigung resourcemanager.projects.create enthält. Informationen zum Zuweisen von Rollen

    Zur Projektauswahl

  2. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud Projekt aktiviert ist.

  3. Aktivieren Sie die Cloud Build API, die Google Kubernetes Engine API und die Service Networking API, falls sie noch nicht aktiviert sind.

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Rolle „Inhaber“ (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    APIs aktivieren

  4. Aktivieren Sie Cloud Shell in der Google Cloud Console.

    Cloud Shell aktivieren

    Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.

Zwei VPC-Netzwerke in Ihrem eigenen Projekt erstellen

In diesem Abschnitt erstellen Sie zwei VPC-Netzwerke und ein Subnetz für die GKE-Clusterknoten.

  1. Erstellen Sie in Cloud Shell das erste VPC-Netzwerk (im vorherigen Diagramm als "Privates Pool-Peering-VPC-Netzwerk" bezeichnet). Sie müssen in diesem Netzwerk keine Subnetze erstellen.

    gcloud compute networks create PRIVATE_POOL_PEERING_VPC_NAME \
    --subnet-mode=CUSTOM

    Ersetzen Sie dabei PRIVATE_POOL_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.

  2. Erstellen Sie das zweite VPC-Netzwerk (im obigen Diagramm "GKE-Cluster-VPC-Netzwerk" genannt):

    gcloud compute networks create GKE_CLUSTER_VPC_NAME \
    --subnet-mode=CUSTOM

    Ersetzen Sie dabei GKE_CLUSTER_VPC_NAME durch den Namen Ihres VPC-Netzwerks, das über Peering mit der Steuerungsebene des GKE-Clusters verbunden werden soll.

  3. Erstellen Sie ein Subnetz für die GKE-Clusterknoten:

    gcloud compute networks subnets create GKE_SUBNET_NAME \
    --network=GKE_CLUSTER_VPC_NAME \
    --range=GKE_SUBNET_RANGE \
    --region=REGION

    Dabei gilt:

    • GKE_SUBNET_NAME: der Name des Subnetzwerks, das die GKE-Clusterknoten hosten soll.
    • GKE_CLUSTER_VPC_NAME: der Name Ihres VPC-Netzwerk, das mit der Steuerungsebene des GKE-Cluster verbunden werden soll.
    • GKE_SUBNET_RANGE: Der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.
    • REGION: Die Google Cloud Region, in der der GKE-Cluster gehostet wird. Für diese Anleitung können Sie us-central1 verwenden.

Sie haben jetzt zwei VPC-Netzwerke in Ihrem eigenen Projekt eingerichtet, die für das Peering mit anderen Diensten bereit sind.

Privaten GKE-Cluster erstellen

In diesem Abschnitt erstellen Sie den privaten GKE-Cluster.

  1. Erstellen Sie in Cloud Shell einen GKE-Cluster ohne Clientzugriff auf den öffentlichen Endpunkt der Steuerungsebene.

    gcloud container clusters create PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --enable-master-authorized-networks \
    --network=GKE_CLUSTER_VPC_NAME \
    --subnetwork=GKE_SUBNET_NAME \
    --enable-private-nodes \
    --enable-private-endpoint \
    --enable-ip-alias \
    --master-ipv4-cidr=CLUSTER_CONTROL_PLANE_CIDR

    Dabei gilt:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • GKE_CLUSTER_VPC_NAME: der Name Ihres VPC-Netzwerk, das mit der Steuerungsebene des GKE-Cluster verbunden werden soll.
    • GKE_SUBNET_RANGE: Der IP-Adressbereich von GKE_SUBNET_NAME. Für diese Anleitung können Sie 10.244.252.0/22 verwenden.

    • CLUSTER_CONTROL_PLANE_CIDR: Der IP-Adressbereich der GKE-Cluster-Steuerungsebene. Sie muss das Präfix /28 haben. Verwenden Sie für diese Anleitung 172.16.0.32/28.

    Sie haben jetzt einen privaten GKE-Cluster erstellt.

VPC-Netzwerk-Peering für GKE 1.28 und niedriger konfigurieren

Wenn Sie dieses Tutorial verwenden, um einen vorhandenen Cluster zu konfigurieren, auf dem GKE-Version 1.28 oder früher ausgeführt wird, verwendet Ihr privates VPC-Netzwerk VPC-Netzwerk-Peering, um eine Verbindung zum GKE-Cluster herzustellen. Führen Sie diese Schritte aus:

  1. Rufen Sie den Namen des VPC-Netzwerk-Peerings des GKE-Cluster ab. Dieses VPC-Netzwerk-Peering wurde beim Erstellen des GKE-Clusters automatisch erstellt.

    export GKE_PEERING_NAME=$(gcloud container clusters describe PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --format='value(privateClusterConfig.peeringName)')

    Ersetzen Sie Folgendes:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.

  2. Aktivieren Sie den Export benutzerdefinierter Routen, um das private Poolnetzwerk gegenüber der Steuerungsebene des GKE-Clusters zu bewerben:

    gcloud compute networks peerings update $GKE_PEERING_NAME \
    --network=GKE_CLUSTER_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip

    Ersetzen Sie dabei GKE_CLUSTER_VPC_NAME durch den Namen Ihres VPC-Netzwerk, das mit der Steuerungsebene des GKE-Cluster verbunden werden soll.

    Weitere Informationen zu benutzerdefinierten Routen finden Sie unter Benutzerdefinierte Routen importieren und exportieren.

Privaten Cloud Build-Pool erstellen

In diesem Abschnitt erstellen Sie den privaten Cloud Build-Pool.

  1. Weisen Sie in Cloud Shell dem privaten Cloud Build-Pool einen benannten IP-Adressbereich im VPC-Netzwerk PRIVATE_POOL_PEERING_VPC_NAME zu:

    gcloud compute addresses create RESERVED_RANGE_NAME \
    --global \
    --purpose=VPC_PEERING \
    --addresses=PRIVATE_POOL_NETWORK \
    --prefix-length=PRIVATE_POOL_PREFIX \
    --network=PRIVATE_POOL_PEERING_VPC_NAME

    Dabei gilt:

    • RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, in dem sich der private Cloud Build-Pool befindet.
    • PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
    • PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.
    • PRIVATE_POOL_PEERING_VPC_NAME: Der Name Ihres VPC-Netzwerk, das mit dem privaten Poolnetzwerk von Cloud Build verbunden werden soll.
    • Der IP-Bereich ist global, denn wenn für --purpose VPC_PEERING gilt, muss für den benannten IP-Adressbereich global gelten.

  2. Erstellen Sie eine private Verbindung zwischen dem VPC-Netzwerk, das den privaten Cloud Build-Pool enthält, und PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=RESERVED_RANGE_NAME \
    --network=PRIVATE_POOL_PEERING_VPC_NAME

    Ersetzen Sie Folgendes:

    • RESERVED_RANGE_NAME: der Name des privaten IP-Adressbereichs, in dem sich der private Cloud Build-Pool befindet.
    • PRIVATE_POOL_PEERING_VPC_NAME: Der Name Ihres VPC-Netzwerk, das mit dem privaten Poolnetzwerk von Cloud Build verbunden werden soll.

  3. Aktivieren Sie den Export benutzerdefinierter Routen, um das Netzwerk der Steuerungsebene des GKE-Clusters im privaten Pool zu bewerben:

    gcloud compute networks peerings update servicenetworking-googleapis-com \
    --network=PRIVATE_POOL_PEERING_VPC_NAME \
    --export-custom-routes \
    --no-export-subnet-routes-with-public-ip

    Ersetzen Sie PRIVATE_POOL_PEERING_VPC_NAME durch den Namen Ihres VPC-Netzwerk, das über Peering mit dem privaten Cloud Build-Poolnetzwerk verbunden werden soll.

  4. Erstellen Sie einen privaten Cloud Build-Pool, der durch Peering mit PRIVATE_POOL_PEERING_VPC_NAME verbunden ist:

    gcloud builds worker-pools create PRIVATE_POOL_NAME \
   --region=REGION \
   --peered-network=projects/$GOOGLE_CLOUD_PROJECT/global/networks/PRIVATE_POOL_PEERING_VPC_NAME

    Ersetzen Sie Folgendes:

    • PRIVATE_POOL_NAME: der Name des privaten Cloud Build-Pools.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.

Sie haben jetzt einen privaten Cloud Build-Pool erstellt und ihn über Peering mit dem VPC-Netzwerk in Ihrem eigenen Projekt verbunden.

Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken erstellen

In Ihrem eigenen Projekt haben Sie jetzt ein VPC-Netzwerk, das per Peering mit dem privaten Cloud Build-Pool verbunden ist, und ein zweites VPC-Netzwerk, das per Peering mit dem privaten GKE-Cluster verbunden ist.

In diesem Abschnitt erstellen Sie eine Cloud VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt. Diese Verbindung ist vervollständigt die Route und die privaten Cloud Build-Pools können über sie auf den GKE-Cluster zugreifen.

  1. Erstellen Sie in Cloud Shell zwei HA VPN-Gateways, die miteinander verbunden sind. Folgen Sie der Anleitung unter Zwei vollständig konfigurierte HA VPN-Gateways erstellen, die miteinander verbunden sind, um diese Gateways zu erstellen. Das Einrichten ist nach dem Erstellen der BGP-Sitzungen abgeschlossen. Verwenden Sie bei dieser Anleitung die folgenden Werte:

    • PRIVATE_POOL_PEERING_VPC_NAME für NETWORK_1
    • GKE_CLUSTER_VPC_NAME für NETWORK_2
    • REGION für REGION_1 und REGION_2

  2. Konfigurieren Sie jede der vier BGP-Sitzungen, die Sie erstellt haben, um die Routen gegenüber dem VPC-Netzwerk mit privatem Pool und dem VPC-Netzwerk der Steuerungsebene des GKE-Clusters zu bewerben:

    gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_1 \
    --peer-name=PEER_NAME_GW1_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF0 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

gcloud compute routers update-bgp-peer ROUTER_NAME_2 \
    --peer-name=PEER_NAME_GW2_IF1 \
    --region=REGION \
    --advertisement-mode=CUSTOM \
    --set-advertisement-ranges=CLUSTER_CONTROL_PLANE_CIDR

    Dabei müssen die folgenden Werte dieselben Namen sein, die Sie beim Erstellen der beiden HA VPN-Gateways verwendet haben:

    • ROUTER_NAME_1
    • PEER_NAME_GW1_IF0
    • PEER_NAME_GW1_IF1
    • ROUTER_NAME_2
    • PEER_NAME_GW2_IF0
    • PEER_NAME_GW2_IF1

Cloud Build-Zugriff auf die Steuerungsebene des GKE-Clusters aktivieren

Nachdem Sie eine VPN-Verbindung zwischen den beiden VPC-Netzwerken in Ihrem Projekt haben, aktivieren Sie den Zugriff von Cloud Build auf die Steuerungsebene des GKE-Clusters.

  1. Fügen Sie in Cloud Shell den Bereich des privaten Poolnetzwerks den autorisierten Netzwerken der Steuerungsebene in GKE hinzu:

    gcloud container clusters update PRIVATE_CLUSTER_NAME \
    --enable-master-authorized-networks \
    --region=REGION \
    --master-authorized-networks=PRIVATE_POOL_NETWORK/PRIVATE_POOL_PREFIX

    Ersetzen Sie Folgendes:

    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • PRIVATE_POOL_NETWORK: die erste IP-Adresse von RESERVED_RANGE_NAME. Für diese Anleitung können Sie 192.168.0.0 verwenden.
    • PRIVATE_POOL_PREFIX: das Präfix von RESERVED_RANGE_NAME. Jeder erstellte private Pool verwendet /24 aus diesem Bereich. Für diese Anleitung können Sie 20 verwenden. Auf diese Weise können Sie bis zu 16 Pools erstellen.

  2. Erlauben Sie dem Dienstkonto, das Sie für den Build verwenden, den Zugriff auf die Steuerungsebene des GKE-Cluster:

    export PROJECT_NUMBER=$(gcloud projects describe $GOOGLE_CLOUD_PROJECT --format 'value(projectNumber)')

gcloud projects add-iam-policy-binding $GOOGLE_CLOUD_PROJECT \
    --member=serviceAccount:SERVICE_ACCOUNT \
    --role=roles/container.developer

Die privaten Cloud Build-Pools können jetzt auf die GKE-Cluster-Steuerungsebene zugreifen.

Lösung prüfen

In diesem Abschnitt prüfen Sie, ob die Lösung funktioniert. Führen Sie dazu den Befehl kubectl get nodes in einem Build-Schritt aus, der im privaten Pool ausgeführt wird.

  1. Erstellen Sie in Cloud Shell einen temporären Ordner mit einer Cloud Build-Konfigurationsdatei, die den Befehl kubectl get nodes ausführt:

    mkdir private-pool-test && cd private-pool-test

cat > cloudbuild.yaml <<EOF
steps:
- name: "gcr.io/cloud-builders/kubectl"
  args: ['get', 'nodes']
  env:
  - 'CLOUDSDK_COMPUTE_REGION=REGION'
  - 'CLOUDSDK_CONTAINER_CLUSTER=PRIVATE_CLUSTER_NAME'
options:
  workerPool:
    'projects/$GOOGLE_CLOUD_PROJECT/locations/REGION/workerPools/PRIVATE_POOL_NAME'
EOF

    Ersetzen Sie Folgendes:

    • REGION ist die Region für den GKE-Cluster. Verwenden Sie in dieser Anleitung us-central1 für die Region – dieselbe Region, die Sie für die VPC-Netzwerke verwendet haben.
    • PRIVATE_CLUSTER_NAME ist der Name des privaten GKE-Clusters.
    • PRIVATE_POOL_NAME: der Name des privaten Cloud Build-Pools.

  2. Starten Sie den Build-Job:

    gcloud builds submit --config=cloudbuild.yaml

  3. Prüfen Sie, ob die Ausgabe die Liste der Knoten im GKE-Cluster ist. Das in der Konsole angezeigte Build-Log enthält eine Tabelle ähnlich der folgenden:

    NAME                                     STATUS   ROLES    AGE   VERSION
gke-private-default-pool-3ec34262-7lq9   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-4c517758-zfqt   Ready    <none>   9d    v1.19.9-gke.1900
gke-private-default-pool-d1a885ae-4s9c   Ready    <none>   9d    v1.19.9-gke.1900

Sie haben jetzt überprüft, ob die Worker aus dem privaten Pool auf den GKE-Cluster zugreifen können. Über diesen Zugriff können Sie Ihre Anwendung mit Cloud Build in diesem privaten GKE-Cluster bereitstellen.

Fehlerbehebung

Wenn Sie Probleme mit dieser Anleitung haben, lesen Sie folgende Dokumente:

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

  1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Einzelne Ressourcen löschen

  1. Löschen Sie den GKE-Cluster in Cloud Shell:

    gcloud container clusters delete PRIVATE_CLUSTER_NAME \
    --region=REGION \
    --async

    Wenn Sie diesen Befehl ausführen, wird das VPC-Netzwerk-Peering automatisch gelöscht.

  2. Löschen Sie den privaten Cloud Build-Pool:

    gcloud builds worker-pools delete PRIVATE_POOL_NAME \
    --region=REGION

  3. Löschen Sie die private Verbindung zwischen dem VPC-Netzwerk des Diensterstellers und PRIVATE_POOL_PEERING_VPC_NAME:

    gcloud services vpc-peerings delete \
   --network=PRIVATE_POOL_PEERING_VPC_NAME \
   --async

  4. Löschen Sie den benannten IP-Adressbereich, der für den privaten Pool verwendet wird:

    gcloud compute addresses delete RESERVED_RANGE_NAME \
    --global

  5. Löschen Sie die vier VPN-Tunnel. Verwenden Sie dieselben Namen, die Sie unter VPN-Tunnel erstellen angegeben haben.

    gcloud compute vpn-tunnels delete \
    TUNNEL_NAME_GW1_IF0 \
    TUNNEL_NAME_GW1_IF1 \
    TUNNEL_NAME_GW2_IF0 \
    TUNNEL_NAME_GW2_IF1 \
    --region=REGION

  6. Löschen Sie die beiden Cloud Router. Verwenden Sie dieselben Namen, die Sie unter Cloud Router erstellen angegeben haben.

    gcloud compute routers delete \
    ROUTER_NAME_1 \
    ROUTER_NAME_2 \
    --region=REGION

  7. Löschen Sie die beiden VPN-Gateways. Verwenden Sie dieselben Namen, die Sie unter HA VPN-Gateways erstellen angegeben haben.

    gcloud compute vpn-gateways delete \
    GW_NAME_1 \
    GW_NAME_2 \
    --region=REGION

  8. Löschen Sie GKE_SUBNET_NAME. Dies ist das Subnetzwerk, in dem die GKE-Clusterknoten gehostet werden:

    gcloud compute networks subnets delete GKE_SUBNET_NAME \
    --region=REGION

  9. Löschen Sie die beiden VPC-Netzwerke PRIVATE_POOL_PEERING_VPC_NAME und GKE_CLUSTER_VPC_NAME:

    gcloud compute networks delete \
    PRIVATE_POOL_PEERING_VPC_NAME \
    GKE_CLUSTER_VPC_NAME

Nächste Schritte