Men-deploy jaringan hub-and-spoke dengan menggunakan load balancer sebagai next hop

Tutorial ini menjelaskan cara menggunakan Peering Jaringan VPC untuk men-deploy arsitektur hub-and-spoke.

Tutorial ini ditujukan bagi engineer jaringan cloud dan profesional operasi yang ingin menerapkan arsitektur hub-and-spoke di Google Cloud lingkungan mereka menggunakan peralatan terpusat yang terdiri dari virtual machine Compute Engine. Dalam tutorial ini, Anda akan men-deploy mesin virtual tersebut sebagai gateway NAT, tetapi Anda dapat menggunakan pendekatan yang sama untuk fungsi lainnya, seperti firewall generasi berikutnya. Tutorial ini mengasumsikan bahwa Anda sudah memahami jaringan VPC dan Compute Engine.

Arsitektur

Dalam arsitektur ini, sekumpulan jaringan VPC spoke berkomunikasi dengan luar melalui jaringan VPC hub yang memungkinkan lalu lintas dirutekan melalui kumpulan peralatan terpusat, dalam hal ini adalah gateway penafsiran alamat jaringan (NAT). Rute yang relevan diekspor dari jaringan VPC hub ke jaringan VPC spoke. Gateway NAT dikonfigurasi sebagai backend load balancer internal dengan rute default baru, yang memiliki Load Balancer Jaringan passthrough internal dari Cloud Load Balancing sebagai next hop.

Anda dapat mencapai jenis distribusi beban dan ketersediaan tinggi yang sama dengan menggunakan beberapa rute dengan perutean multi-jalur biaya setara (ECMP) perutean. Namun, menggunakan Load Balancer Jaringan passthrough internal memiliki keunggulan sebagai berikut:

  • Traffic hanya diteruskan ke instance yang responsif saat Anda mengandalkan health check. Dengan ECMP, traffic diteruskan ke semua instance aktif yang dituju rute; menggunakan Load Balancer Jaringan passthrough internal akan menghilangkan kemungkinan rute yang tidak digunakan. Selain itu, Anda tidak perlu membersihkan rute saat instance dihentikan atau dimulai ulang.
  • Ada potensi failover yang lebih cepat karena Anda dapat menyesuaikan timer health check. Jika Anda menggunakan grup instance terkelola dan pemulihan otomatis, Anda masih dapat menyesuaikan timer health check, tetapi timer tersebut digunakan untuk membuat ulang instance, bukan merutekan traffic.

Google juga menawarkan Cloud NAT sebagai layanan terkelola, yang memberikan ketersediaan tinggi tanpa pengelolaan dan intervensi pengguna. Namun, Cloud NAT tidak didukung dalam kasus penggunaan ini karena konfigurasi NAT tidak diimpor ke jaringan yang di-peering.

Diagram berikut menunjukkan topologi yang Anda buat dalam tutorial ini.

Arsitektur jaringan VPC hub dengan dua jaringan VPC spoke.

Topologi ini terdiri dari satu jaringan VPC hub dan dua jaringan VPC spoke yang di-peering dengan jaringan VPC hub menggunakan Peering Jaringan VPC. Jaringan VPC hub memiliki dua instance gateway NAT di belakang Load Balancer Jaringan passthrough internal. Rute default statis (0/0 NAT-GW-ILB) mengarah ke Load Balancer Jaringan passthrough internal sebagai next hop. Rute default statis ini diekspor melalui Peering Jaringan VPC menggunakan rute kustom.

Tujuan

  • Membuat beberapa jaringan VPC dan melakukan peering menggunakan arsitektur hub-and-spoke.
  • Membuat dan mengonfigurasi gateway NAT di jaringan VPC hub.
  • Menyiapkan dan mengonfigurasi Load Balancer Jaringan passthrough internal sebagai next hop.
  • Memverifikasi konektivitas dari jaringan VPC spoke ke internet publik.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih sebagai berikut Google Cloud:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

  1. Sign in to your Google Cloud account. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Compute Engine API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Compute Engine API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

  8. Di Konsol, aktifkan Cloud Shell. Google Cloud

    Aktifkan Cloud Shell

    Di bagian bawah Konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

    9. Dalam tutorial ini, Anda akan menjalankan semua perintah dari Cloud Shell.

Menyiapkan lingkungan Anda

  1. Di Cloud Shell, pastikan Anda bekerja di Google Cloud project yang Anda buat atau pilih. Ganti project-id dengan Google Cloud project Anda.

    gcloud config set project project-id

export PROJECT_ID=`gcloud config list --format="value(core.project)"`

  2. Tetapkan region dan zona komputasi default.

    gcloud config set compute/region us-central1
gcloud config set compute/zone us-central1-c
export REGION=us-central1
export ZONE=us-central1-c

    Dalam tutorial ini, regionnya adalah us-central1 dan zonanya adalah us-central1-c.

Membuat subnet dan jaringan VPC

  1. Di Cloud Shell, buat jaringan VPC dan subnet hub:

    gcloud compute networks create hub-vpc --subnet-mode custom

gcloud compute networks subnets create hub-subnet1 \
    --network hub-vpc --range 10.0.0.0/24

  2. Buat jaringan VPC spoke, yang disebut spoke1-vpc dan spoke2-vpc, dengan masing-masing satu subnet:

    gcloud compute networks create spoke1-vpc --subnet-mode custom

gcloud compute networks create spoke2-vpc --subnet-mode custom

gcloud compute networks subnets create spoke1-subnet1 \
    --network spoke1-vpc --range 192.168.1.0/24

gcloud compute networks subnets create spoke2-subnet1 \
    --network spoke2-vpc --range 192.168.2.0/24

  3. Buat aturan firewall di jaringan VPC hub dan jaringan VPC spoke. Aturan ini mengizinkan traffic internal (TCP/80 dan 443, UDP/53, dan ICMP) dari rentang RFC 1918 yang ditentukan:

    gcloud compute firewall-rules create hub-vpc-web-ping-dns \
    --network hub-vpc --allow tcp:80,tcp:443,icmp,udp:53 \
    --source-ranges 10.0.0.0/24,192.168.1.0/24,192.168.2.0/24

gcloud compute firewall-rules create spoke1-vpc-web-ping-dns \
    --network spoke1-vpc --allow tcp:80,tcp:443,icmp,udp:53 \
    --source-ranges 10.0.0.0/24,192.168.1.0/24

gcloud compute firewall-rules create spoke2-vpc-web-ping-dns \
    --network spoke2-vpc --allow tcp:80,tcp:443,icmp,udp:53 \
    --source-ranges 10.0.0.0/24,192.168.2.0/24

  4. Buat aturan firewall di jaringan VPC hub dan jaringan VPC spoke jaringan VPC agar IAP untuk SSH dapat mengakses semua mesin virtual Anda:

    gcloud compute firewall-rules create hub-vpc-iap \
    --network hub-vpc --allow tcp:22 \
    --source-ranges 35.235.240.0/20

gcloud compute firewall-rules create spoke1-vpc-iap \
    --network spoke1-vpc --allow tcp:22 \
    --source-ranges 35.235.240.0/20

gcloud compute firewall-rules create spoke2-vpc-iap \
    --network spoke2-vpc --allow tcp:22 \
    --source-ranges 35.235.240.0/20

    Tutorial ini menggunakan Identity-Aware Proxy (IAP) untuk SSH. Untuk informasi selengkapnya, lihat Terhubung ke instance yang tidak memiliki alamat IP eksternal.

  5. Buat aturan firewall untuk mengizinkan health check untuk grup instance autohealing di jaringan VPC hub:

    gcloud compute firewall-rules create hub-vpc-health-checks \
    --network hub-vpc --allow tcp:443 --target-tags nat-gw \
    --source-ranges 130.211.0.0/22,35.191.0.0/16

Membuat instance dan rute yang diperlukan

  1. Di Cloud Shell, buat template instance untuk gateway NAT yang memiliki skrip startup yang menyiapkan gateway NAT:

    gcloud compute instance-templates create \
  hub-nat-gw-ilbnhop-template \
  --network hub-vpc \
  --subnet hub-subnet1 \
  --machine-type n1-standard-2 --can-ip-forward \
  --tags nat-gw --scopes default,compute-rw \
  --metadata startup-script='#! /bin/bash
apt-get update
# Enable IP forwarding:
echo 1 > /proc/sys/net/ipv4/ip_forward
echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/20-example.conf
# Read VM network configuration:
md_vm="http://metadata.google.internal/computeMetadata/v1/instance/"
md_net="$md_vm/network-interfaces"
nic0_gw="$(curl $md_net/0/gateway -H "Metadata-Flavor:Google")"
nic0_mask="$(curl $md_net/0/subnetmask -H "Metadata-Flavor:Google")"
nic0_addr="$(curl $md_net/0/ip -H "Metadata-Flavor:Google")"
nic0_id="$(ip addr show | grep $nic0_addr | tail -c 5)"
# Use a web server to pass the health check for this example.
# In production, use a more complete test.
sudo apt-get update
sudo apt-get install apache2 -y
sudo a2ensite default-ssl
sudo a2enmod ssl
echo "Example web page to pass health check" | \
tee /var/www/html/index.html
sudo systemctl restart apache2
# Enable IP masquerading
iptables -t nat -A POSTROUTING -o $nic0_id -j MASQUERADE'

    Tutorial ini menggunakan n1-standard-2 sebagai jenis instance, tetapi Anda dapat menggunakan jumlah atau ukuran gateway lain yang Anda inginkan. Pastikan untuk mempertimbangkan faktor-faktor seperti bandwidth traffic keluar maksimum per VM.

  2. Buat health check HTTP:

    gcloud compute health-checks create http nat-gw-ilbnhop-health-check \
    --region us-central1 \
    --port 80

  3. Buat grup instance regional dengan dua instance yang didistribusikan di satu region:

    gcloud compute instance-groups managed create \
    hub-nat-gw-ilbnhop-mig \
    --region us-central1 --size=2 \
    --template=hub-nat-gw-ilbnhop-template \
    --health-check nat-gw-ilbnhop-health-check \
    --initial-delay 15

    Dalam tutorial ini, penundaan awal disetel ke 15 detik. Dalam deployment produksi, sesuaikan setelan ini sesuai dengan persyaratan Anda. Tutorial ini tidak menggunakan kebijakan penskalaan otomatis.

  4. Buat layanan backend, lalu tambahkan grup instance:

    gcloud compute backend-services create hub-nat-gw-ilbnhop-backend \
    --load-balancing-scheme=internal \
    --protocol=tcp \
    --health-checks=nat-gw-ilbnhop-health-check

gcloud compute backend-services add-backend \
    hub-nat-gw-ilbnhop-backend \
    --instance-group=hub-nat-gw-ilbnhop-mig \
    --instance-group-region=us-central1

  5. Membuat aturan penerusan:

    gcloud compute forwarding-rules create \
    hub-nat-gw-ilbnhop \
    --load-balancing-scheme=internal \
    --network=hub-vpc \
    --subnet=hub-subnet1 \
    --address=10.0.0.10 \
    --ip-protocol=TCP \
    --ports=all \
    --backend-service=hub-nat-gw-ilbnhop-backend \
    --backend-service-region=us-central1 \
    --service-label=hub-nat-gw-ilbnhop

    Meskipun aturan penerusan hanya ditentukan dengan TCP, saat Anda menggunakan Load Balancer Jaringan passthrough internal sebagai next hop, aturan penerusan akan meneruskan semua traffic ke semua port di VM backend. Load Balancer Jaringan passthrough internal adalah load balancer regional.

  6. Buat rute baru dengan aturan penerusan sebagai next hop:

    gcloud compute routes create hub-nat-gw-ilbnhop \
    --network=hub-vpc \
    --destination-range=0.0.0.0/0 \
    --next-hop-ilb=hub-nat-gw-ilbnhop \
    --next-hop-ilb-region=us-central1 \
    --priority=800

    Anda dapat menentukan tag jaringan sehingga rute next-hop hanya berlaku untuk instance klien yang telah dikonfigurasi dengan tag tersebut, tetapi tag tidak diekspor atau diimpor melalui Peering Jaringan VPC.

  7. Hapus rute default dari VPC hub:

    export hub_default_route=$(gcloud compute routes list \
    --format="value(name)" --filter="network:hub-vpc AND \
    nextHopGateway:default-internet-gateway" | head -n 1)
gcloud compute routes delete $hub_default_route -q

  8. Buat rute baru yang diberi tag untuk mengizinkan traffic hanya dari gateway NAT:

    gcloud compute routes create hub-default-tagged \
    --network hub-vpc --destination-range 0.0.0.0/0 \
    --next-hop-gateway default-internet-gateway \
    --priority 700 --tags nat-gw

  9. Hapus rute default ke internet dari VPC setiap spoke:

    export spoke1_default_route=$(gcloud compute routes list \
    --format="value(name)" --filter="network:spoke1-vpc AND \
    nextHopGateway:default-internet-gateway")

gcloud compute routes delete $spoke1_default_route -q

export spoke2_default_route=$(gcloud compute routes list \
    --format="value(name)" \
    --filter="network:spoke2-vpc AND nextHopGateway:default-internet-gateway")

gcloud compute routes delete $spoke2_default_route -q

    Jika ada konflik antara rute lokal dan yang diimpor, rute lokal akan selalu diutamakan. Untuk informasi selengkapnya, lihat Urutan perutean.

  10. Buat VM klien:

    gcloud compute instances create spoke1-client \
    --subnet=spoke1-subnet1 --no-address \
    --metadata startup-script='#! /bin/bash
apt-get update
apt-get install dnsutils -y'

gcloud compute instances create spoke2-client \
    --subnet=spoke2-subnet1 --no-address \
    --metadata startup-script='#! /bin/bash
apt-get update
apt-get install dnsutils -y'

Membuat koneksi Peering Jaringan VPC

Peering Jaringan VPC bersifat dua arah, sehingga harus ditentukan di kedua ujungnya. Jaringan VPC dapat melakukan peering dengan beberapa jaringan VPC, tetapi batasan berlaku. Untuk mencapai rute default melalui Peering Jaringan VPC, Anda dapat menggunakan fitur mengimpor dan mengekspor rute kustom melalui Peering Jaringan VPC.

Untuk tutorial ini, Anda akan membuat semua jaringan VPC dalam Google Cloud project yang sama.

  1. Di Cloud Shell, buat koneksi VPC dari jaringan VPC hub ke jaringan VPC spoke dengan flag ekspor rute yang diaktifkan:

    gcloud compute networks peerings create hub-to-spoke1 \
    --network hub-vpc --peer-network spoke1-vpc \
    --peer-project $PROJECT_ID \
    --export-custom-routes

gcloud compute networks peerings create hub-to-spoke2 \
    --network hub-vpc --peer-network spoke2-vpc \
    --peer-project $PROJECT_ID \
    --export-custom-routes

  2. Buat koneksi Peering Jaringan VPC dari jaringan VPC spoke1 ke jaringan VPC hub dengan flag impor rute diaktifkan:

    gcloud compute networks peerings create spoke1-to-hub \
    --network spoke1-vpc --peer-network hub-vpc \
    --peer-project $PROJECT_ID \
    --import-custom-routes

  3. Buat koneksi Peering Jaringan VPC dari jaringan VPC spoke2 ke jaringan VPC hub dengan flag impor rute diaktifkan:

    gcloud compute networks peerings create spoke2-to-hub \
    --network spoke2-vpc --peer-network hub-vpc \
    --peer-project $PROJECT_ID \
    --import-custom-routes

Memverifikasi penerapan dan konektivitas rute

  1. Di Cloud Shell, pastikan rute statis dibuat dengan benar sebagai bagian dari skrip startup.

    gcloud compute routes list --filter="network:hub-vpc"

    Pastikan rute hub-default-tagged dan hub-nat-gw-ilbanhop ada dalam output:

    NAME                            NETWORK  DEST_RANGE      NEXT_HOP                  PRIORITY
default-route-13a4b635b5eab48c  hub-vpc  10.0.0.0/24     hub-vpc                   1000
hub-default-tagged              hub-vpc  0.0.0.0/0       default-internet-gateway  700
hub-nat-gw-ilbanhop             hub-vpc  0.0.0.0/0       10.0.0.10                 800
peering-route-3274f1257a9842a0  hub-vpc  192.168.2.0/24  hub-to-spoke2             1000
peering-route-798c5777f13094bc  hub-vpc  192.168.1.0/24  hub-to-spoke1             1000

  2. Verifikasi tabel pemilihan rute spoke1-vpc untuk memastikan rute default diimpor dengan benar:

    gcloud compute routes list --filter="network:spoke1-vpc"

    Pastikan ada rute yang dimulai dengan peering-route dengan 0.0.0.0/0 sebagai nilai DEST_RANGE dalam output:

    NAME                            NETWORK     DEST_RANGE      NEXT_HOP       PRIORITY
default-route-75f6ea8f5fc54813  spoke1-vpc  192.168.1.0/24  spoke1-vpc     1000
peering-route-6c7f130b860bfd39  spoke1-vpc  10.0.0.0/24     spoke1-to-hub  1000
peering-route-9d44d362f98afbd8  spoke1-vpc  0.0.0.0/0       spoke1-to-hub  800

  3. Hubungkan ke salah satu klien menggunakan SSH melalui IAP:

    gcloud compute ssh spoke1-client --tunnel-through-iap

  4. Verifikasi konektivitas dengan menguji DNS publik Google melalui gateway NAT:

    sudo hping3 -S -p 80 -c 3 dns.google

    Karena Load Balancer Jaringan passthrough internal mendukung TCP dan UDP, Anda tidak dapat memverifikasi konektivitas internet menggunakan ping berbasis ICMP, sehingga Anda harus menggunakan alat seperti hping3.

    Outputnya mirip dengan hal berikut ini:

    HPING dns.google (eth0 8.8.4.4): S set, 40 headers + 0 data bytes
len=44 ip=8.8.4.4 ttl=126 DF id=0 sport=80 flags=SA seq=0 win=65535 rtt=4.6 ms
len=44 ip=8.8.4.4 ttl=126 DF id=0 sport=80 flags=SA seq=1 win=65535 rtt=4.4 ms
len=44 ip=8.8.4.4 ttl=126 DF id=0 sport=80 flags=SA seq=2 win=65535 rtt=4.3 ms

--- dns.google hping statistic ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 4.3/4.4/4.6 ms

  5. Verifikasi alamat IP publik yang Anda gunakan untuk berkomunikasi dengan internet:

    curl ifconfig.co

    Output akan menampilkan alamat IP publik dari salah satu instance gateway NAT. Jika Anda menjalankan perintah ini lagi, output-nya mungkin menampilkan a alamat IP publik yang berbeda karena koneksinya didistribusikan oleh menggunakan load balancing internal yang dikonfigurasi afinitas sesi (secara default, IP klien, protokol, dan port).

    Peering Jaringan VPC bersifat non-transitif, sehingga tidak ada konektivitas antara jaringan VPC spoke melalui Peering Jaringan VPC.

Pertimbangan untuk lingkungan produksi

Konfigurasi yang Anda buat dalam tutorial ini menyediakan dua gateway NAT di satu region. Namun, load balancing ECMP tidak sempurna, meskipun begitu, dan alur individual tidak tersebar di banyak link. Itulah yang Anda inginkan saat menggunakan perangkat stateful seperti firewall generasi berikutnya.

Untuk men-deploy konfigurasi ini di lingkungan produksi, pertimbangkan poin-poin berikut:

  • Konfigurasi ini paling cocok untuk link keluar sementara atau non-stateful. Jika ukuran kumpulan gateway NAT berubah, koneksi TCP mungkin akan diseimbangkan kembali, sehingga dapat menyebabkan koneksi yang terhubung direset.
  • Node tidak diupdate secara otomatis, jadi jika instalasi Debian default memiliki kerentanan keamanan, Anda harus memperbarui image secara manual.
  • Jika Anda memiliki VM di beberapa region, Anda harus menyiapkan gateway NAT di setiap region.
  • Bandwidth per gateway dapat bervariasi menurut jenis hardware. Pastikan untuk mempertimbangkan faktor-faktor seperti bandwidth traffic keluar maksimum per VM. Selama kegagalan gateway, traffic akan didistribusikan ke gateway yang tersisa. Karena alur yang berjalan tidak diprogram ulang, traffic tidak segera menyesuaikan saat gateway kembali online. Jadi pastikan Anda membiarkan overhead yang cukup saat mengubah ukuran.
  • Agar mendapatkan pemberitahuan tentang hasil yang tidak terduga, gunakan Cloud Monitoring untuk memantau grup instance terkelola dan traffic jaringan.

Pembersihan

Cara termudah untuk meniadakan tagihan adalah dengan menghapus Google Cloud project yang Anda buat untuk tutorial ini. Atau, Anda dapat menghapus resource satu per satu.

Menghapus project

  1. Di Google Cloud Konsol, buka halaman Manage resources.

    Buka Kelola resource

  2. Pada daftar project, pilih project yang Anda ingin Anda hapus, lalu klik Delete.
  3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika ingin mempertahankan Google Cloud project, Anda dapat menghapus resource yang dibuat untuk tutorial ini.

  1. Hapus koneksi Peering Jaringan VPC:

    gcloud compute networks peerings delete spoke2-to-hub \
    --network spoke2-vpc -q

gcloud compute networks peerings delete spoke1-to-hub \
    --network spoke1-vpc -q

gcloud compute networks peerings delete hub-to-spoke1 \
    --network hub-vpc -q

gcloud compute networks peerings delete hub-to-spoke2 \
    --network hub-vpc -q

  2. Hapus instance, resource load balancer, template, dan rute:

    gcloud compute instances delete spoke1-client \
  --zone=us-central1-c -q

gcloud compute instances delete spoke2-client \
  --zone=us-central1-c -q

gcloud compute routes delete hub-nat-gw-ilbnhop -q

gcloud compute forwarding-rules delete hub-nat-gw-ilbnhop -q

gcloud compute backend-services delete -q hub-nat-gw-ilbnhop-backend -q

gcloud compute instance-groups managed delete hub-nat-gw-ilbnhop-mig \
  --region us-central1 -q

gcloud compute health-checks delete nat-gw-ilbnhop-health-check -q

gcloud compute instance-templates delete hub-nat-gw-ilbnhop-template -q

gcloud compute routes delete hub-default-tagged -q

  3. Hapus aturan firewall, subnet, dan jaringan VPC:

    gcloud compute firewall-rules delete spoke2-vpc-iap -q

gcloud compute firewall-rules delete spoke2-vpc-web-ping-dns -q

gcloud compute firewall-rules delete spoke1-vpc-iap -q

gcloud compute firewall-rules delete spoke1-vpc-web-ping-dns -q

gcloud compute firewall-rules delete hub-vpc-iap -q

gcloud compute firewall-rules delete hub-vpc-web-ping-dns -q

gcloud compute firewall-rules delete hub-vpc-health-checks -q

gcloud compute networks subnets delete spoke1-subnet1 \
    --region us-central1 -q

gcloud compute networks subnets delete spoke2-subnet1 \
    --region us-central1 -q

gcloud compute networks subnets delete hub-subnet1 \
    --region us-central1 -q

gcloud compute networks delete spoke1-vpc -q

gcloud compute networks delete spoke2-vpc -q

gcloud compute networks delete hub-vpc -q

Langkah berikutnya