Jaringan VPC underlay, pembelajaran MAC Lapisan 2, dan DNS

Dokumen ini menjelaskan jaringan Virtual Private Cloud (VPC) underlay, emulasi siaran Lapisan 2, pengelolaan alamat IP (IPAM), dan arsitektur Domain Name System (DNS) dalam solusi VMware di Google Cloud.

Dalam solusi VMware, jaringan tingkat host memetakan antarmuka VMkernel VMware ESXi ke antarmuka jaringan virtual (vNIC) utama dan dinamis Compute Engine. Setiap host menggunakan subnet Virtual Private Cloud (VPC) khusus, pemberian tag VLAN 802.1Q, pembelajaran MAC Lapisan 2, dan IPAM internal.

Subnet inti dan segmentasi traffic

Untuk mengisolasi class traffic jaringan di VMware Cloud Foundation (VCF), Anda harus menyediakan subnet underlay khusus, seperti yang ditunjukkan dalam diagram berikut (klik untuk memperbesar):

Instance Z3 yang memetakan port VMkernel ESXi melalui Virtual Distributed Switch ke NIC utama dan dinamis. Instance Z3 yang memetakan port VMkernel ESXi melalui Virtual Distributed Switch ke NIC utama dan dinamis.

Cluster VCF standar memerlukan minimal empat subnet VPC khusus, seperti yang ditunjukkan dalam tabel berikut:

Class subnet Jenis traffic Pemetaan VLAN Tujuan
Pengelolaan (MGMT) Kontrol lapisan bawah Native (tidak diberi tag) Membawa traffic pengelolaan host ESXi (vmk0) dan menghosting node SDDC Manager, vCenter Server, dan NSX Manager.
vSAN Penyimpanan Diberi tag (misalnya, VLAN 2) Membawa traffic replikasi penyimpanan antara SSD NVMe lokal ESXi (vmk2).
vMotion Migrasi langsung Ditandai (misalnya, VLAN 3) Membawa traffic migrasi virtual machine langsung antara host ESXi (vmk1).
NSX TEP TEP overlay Geneve Diberi tag (misalnya, VLAN 4) Membawa traffic enkapsulasi tunnel overlay Geneve host-ke-host (vmk10).

Konfigurasi Dynamic NIC dan VLAN

Untuk menyegmentasikan beberapa class traffic di seluruh antarmuka host bare-metal, Compute Engine menggunakan Dynamic NIC (sub-antarmuka virtual) yang terkait dengan antarmuka jaringan utama:

  • Antarmuka utama (nic0): Disediakan di subnet pengelolaan yang tidak diberi tag. Antarmuka ini menangani booting host awal, Direct Console User Interface (DCUI) ESXi, dan traffic pengelolaan vmk0.
  • Antarmuka dinamis (nic0.VLAN_ID): Terpasang ke antarmuka utama dengan metadata --vlan eksplisit selama penyediaan instance dan dipetakan ke subnet VPC yang sesuai.
  • Penyelarasan VMware Virtual Distributed Switch (VDS): Di host ESXi, grup port di VDS diberi tag dengan ID VLAN 802.1Q yang cocok. Frame keluar yang diberi tag oleh hypervisor dipetakan langsung ke antarmuka dinamis Compute Engine yang sesuai untuk penerusan di seluruh jaringan VPC.

Redundansi jaringan fisik

Meskipun instance bare-metal Compute Engine menampilkan satu antarmuka jaringan (nic0 / vmnic0) ke sistem operasi host ESXi, antarmuka tunggal ini adalah abstraksi yang disediakan oleh lapisan software-defined networking (SDN) Google Cloud .

Dalam infrastruktur fisik yang mendasarinya, jalur jaringan bersifat redundan dan menggunakan konektivitas optik multi-jalur ke dalam fabric switching pusat data. Karena lapisan transport fisik tidak mengandalkan hardware jalur tunggal, Anda tidak perlu mengonfigurasi penggabungan NIC tingkat hypervisor untuk redundansi jalur fisik. Jika terjadi peristiwa hardware tingkat host, ketersediaan workload dilindungi oleh ketersediaan tinggi (HA) vSphere dan alur kerja penggantian node.

Emulasi Lapisan 2: Siaran ARP dan pembelajaran MAC kustom

Instance VM Compute Engine standar menggunakan alamat MAC tetap yang diperoleh secara algoritmik (42:01:ac:...). Sebaliknya, host VMware ESXi, port VMkernel, dan peralatan virtual menghasilkan alamat MAC kustom dari rentang Organizationally Unique Identifier (OUI) VMware (seperti 00:50:56:... atau 00:0c:29:...).

Untuk mendukung alamat MAC VMware kustom dan traffic siaran tamu secara native, solusi VMware mengharuskan subnet jaringan VPC Anda memiliki properti Resolve Subnet Mask yang ditetapkan ke Broadcast primary range only with learning (--resolve-subnet-mask=ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING) untuk mendukung jaringan berbasis VLAN. Untuk mengizinkan konektivitas jaringan Lapisan 2 untuk project Anda, buka tiket dukungan di Pusat Dukungan konsolGoogle Cloud dengan informasi berikut:

  • Produk: Google Cloud VMware Engine
  • Prioritas: P2
  • Kategori: Network Connectivity
  • Dampak Bisnis: Pertanyaan Teknis Umum
  • Berikan detail selengkapnya: Allowlist L2 network connectivity for my project, beserta project ID, nomor project, serta region dan zona target untuk deployment Anda

Mode siaran subnet

Compute Engine mendukung mode siaran ARP subnet berikut:

  • ARP_BROADCAST_PRIMARY_RANGE: Menyiarkan kueri ARP dan Gratuitous ARP (GARP) di semua instance yang terhubung ke subnet. Instance yang memiliki alamat IP target akan merespons secara langsung.
  • ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING: Diperlukan untuk solusi VMware. Selain siaran ARP, Google Cloud mempelajari dan meng-cache pemetaan IP ke MAC kustom secara dinamis. Saat pemetaan dipelajari, Google Cloud menggunakan alamat MAC VMware kustom sebagai alamat MAC tujuan untuk traffic yang dikirim ke alamat IP tersebut. Jika tidak ada pemetaan kustom untuk alamat IP utama endpoint, Google Cloudakan kembali ke alamat MAC default yang ditetapkan Google Cloud; paket yang dikirim ke alamat IP lain yang tidak dipetakan akan dihapus.

Metode pembelajaran MAC

Google Cloud mengisi dan memperbarui cache alamat MAC kustom menggunakan dua mekanisme:

  • Gratuitous ARP (GARP): Memantau subnet untuk pengumuman GARP yang dikeluarkan oleh port VMkernel ESXi dan peralatan virtual yang bermigrasi.
  • Pemeriksaan aktif: Memeriksa alamat IP dalam rentang CIDR utama subnet dan menggunakan respons ARP host untuk mengisi cache MAC.

Batasan dan spesifikasi

Saat Anda mengonfigurasi subnet dengan siaran ARP dan pembelajaran MAC, batasan berikut berlaku:

  • Imutabilitas: Anda harus menentukan flag --resolve-subnet-mask saat membuat subnet. Anda tidak dapat mengubah setelan ini setelah subnet dibuat.
  • Tujuan subnet dan versi IP: Hanya didukung di subnet dengan tujuan PRIVATE dan rentang CIDR khusus IPv4.
  • Ukuran rentang utama: Pembelajaran MAC hanya didukung pada rentang CIDR IPv4 utama /24 atau yang lebih kecil (misalnya, /24, /25, atau /26). Pembelajaran MAC tidak didukung pada rentang CIDR sekunder.
  • Kuota endpoint: Subnet dengan mode siaran yang diaktifkan mendukung hingga 64 antarmuka jaringan VM yang terhubung.
  • Kuota subnet siaran: Setiap jaringan VPC mendukung hingga 64 subnet yang mendukung siaran per region. Penambahan kuota tidak didukung untuk batas ini.
  • Throttling permintaan ARP: Permintaan ARP dan GARP yang melebihi 16 kueri per detik (QPS) pada subnet 64 instance akan dihapus untuk menjaga stabilitas fabric.
  • DHCP dan server metadata: Permintaan Dynamic Host Configuration Protocol (DHCP) yang dikirim dari alamat MAC kustom tidak didukung dan akan dihapus. Server metadata Compute Engine hanya mengekspos alamat MAC yang ditetapkanGoogle Clouddefault, bukan alamat MAC kustom yang dipelajari.
  • Instance target: Instance target tidak dapat mereferensikan antarmuka jaringan di subnet yang mengaktifkan siaran ARP.
  • MTU VPC: Tetapkan unit transmisi maksimum (MTU) jaringan VPC Anda ke 8896 byte dan konfigurasikan VMware VDS, adaptor VMkernel, dan profil NSX agar sesuai dengan 8896 byte. Untuk mengetahui informasi selengkapnya, lihat Masalah umum.

Untuk membuat subnet pengelolaan dengan siaran ARP, pembelajaran MAC, dan Akses Google Pribadi yang diaktifkan menggunakan Google Cloud CLI, jalankan perintah berikut:

gcloud compute networks subnets create SUBNET_NAME \
    --network=VPC_NAME \
    --region=REGION \
    --range=SUBNET_RANGE \
    --resolve-subnet-mask=ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING \
    --enable-private-ip-google-access

Sebelum menjalankan perintah, ganti variabel berikut:

  • SUBNET_NAME: Nama subnet VPC baru.
  • VPC_NAME: Nama jaringan VPC target Anda.
  • REGION: Region Google Cloud tempat Anda membuat subnet.
  • SUBNET_RANGE: Rentang CIDR IPv4 utama /24 atau lebih kecil (misalnya, 10.200.0.0/24).

Pengelolaan alamat IP (IPAM)

Solusi VMware mendukung tiga metode alokasi alamat IP dalam jaringan VPC Anda:

  • Sementara (Otomatis): Disewa secara dinamis dari kumpulan subnet VPC dan terikat ke siklus proses instance bare-metal. Catatan: Selama pengaktifan dan perluasan cluster VCF, penginstal VCF mengurutkan dan menetapkan alamat IP vMotion dan vSAN secara berurutan. Pilih alokasi IP kustom atau yang dicadangkan untuk mempertahankan pengurutan host-ke-IP yang dapat diprediksi. Untuk mengetahui informasi selengkapnya, lihat Masalah umum.
  • Ephemeral (Custom): Ditentukan secara eksplisit dari alamat yang tidak dialokasikan dalam rentang subnet selama penyediaan instance atau Dynamic NIC.
  • Alamat IP statis yang dicadangkan: Objek alamat IP VPC yang dialokasikan yang tetap dicadangkan dalam project Anda, terlepas dari status instance. Gunakan alamat IP yang dicadangkan untuk antarmuka host ESXi dan perangkat pengelolaan mengambang (VIP vCenter Server, SDDC Manager, dan NSX Manager) untuk mencegah tabrakan alamat IP selama peristiwa pemeliharaan dan failover.

Arsitektur DNS dan resolusi nama

VCF memerlukan resolusi DNS maju (A) dan balik (PTR) untuk semua host ESXi bare-metal, peralatan virtual pengelolaan, dan endpoint cluster. Data DNS penerusan atau balik yang tidak ada atau salah dikonfigurasi akan menyebabkan kegagalan pada pemeriksaan validasi sertifikat dan pengaktifan SDDC Manager.

Resolusi DNS underlay (host dan perangkat pengelolaan)

Konfigurasikan resolusi DNS untuk host ESXi bare-metal dan perangkat pengelolaan yang dihosting underlay (vCenter Server, SDDC Manager, dan NSX Manager) sebagai berikut:

  • Cloud DNS internal resolver (169.254.169.254): Host ESXi underlay dan VM pengelolaan dapat mengkueri Google Cloud DNS resolver metadata (169.254.169.254) untuk me-resolve Google Cloud resource dan zona pribadi yang dikelola di Cloud DNS.

  • Kebijakan server DNS masuk: Jika organisasi Anda menggunakan server DNS perusahaan terpusat di seluruh Cloud Interconnect atau Cloud VPN, konfigurasikan kebijakan server masuk di Cloud DNS dalam subnet standar (non-siaran Lapisan 2) dalam VPC Anda. Node underlay dapat mengkueri alamat IP forwarder masuk untuk me-resolve data Google Cloud pribadi dan domain lokal.

  • Zona balik (PTR): Buat zona pencarian balik pribadi khusus di Cloud DNS (misalnya, 0.200.10.in-addr.arpa. untuk subnet pengelolaan 10.200.0.0/24) sehingga semua FQDN host ESXi dan peralatan pengelolaan di-resolve di kedua arah.

Resolusi DNS VM tamu overlay

Virtual machine workload yang di-deploy di overlay NSX berada di jaringan logis yang dienkapsulasi Geneve dan dipisahkan dari underlay VPC:

  • Server DNS perusahaan atau kebijakan forwarder masuk: Konfigurasikan VM tamu untuk mengkueri server DNS perusahaan Anda atau alamat IP statis kebijakan server masuk Cloud DNS yang dapat dijangkau melalui gateway NSX Tier-0.
  • Batasan alamat metadata link-local: VM tamu di overlay NSX tidak dapat langsung mengkueri resolver metadata link-local (169.254.169.254) karena alamat link-local tidak dirutekan di seluruh tunnel overlay Geneve.

Langkah berikutnya