언더레이 VPC 네트워킹, 레이어 2 MAC 학습, DNS

이 문서에서는 Google Cloud의 VMware 솔루션에서 언더레이 가상 프라이빗 클라우드 (VPC) 네트워킹, 레이어 2 브로드캐스트 에뮬레이션, IP 주소 관리 (IPAM), 도메인 이름 시스템 (DNS) 아키텍처를 설명합니다.

VMware 솔루션에서 호스트 수준 네트워킹은 VMware ESXi VMkernel 인터페이스를 Compute Engine 기본 및 동적 가상 네트워크 인터페이스(vNIC)에 매핑합니다. 각 호스트는 전용 가상 프라이빗 클라우드 (VPC) 서브넷, 802.1Q VLAN 태그 지정, 레이어 2 MAC 학습, 내부 IPAM을 사용합니다.

핵심 서브넷 및 트래픽 세분화

VMware Cloud Foundation (VCF)에서 네트워크 트래픽 클래스를 격리하려면 다음 다이어그램과 같이 전용 언더레이 서브넷을 프로비저닝해야 합니다 (확대하려면 클릭).

표준 VCF 클러스터에는 다음 표와 같이 최소 4개의 전용 VPC 서브넷이 필요합니다.

서브넷 클래스	트래픽 유형	VLAN 매핑	목적
관리(MGMT)	언더레이 컨트롤	네이티브 (태그 없음)	ESXi 호스트 관리 트래픽(vmk0)을 전달하고 SDDC Manager, vCenter Server, NSX Manager 노드를 호스팅합니다.
vSAN	스토리지	태그 지정됨 (예: VLAN 2)	ESXi 로컬 NVMe SSD 간에 스토리지 복제 트래픽을 전달합니다 (vmk2).
vMotion	라이브 마이그레이션	태그 지정됨 (예: VLAN 3)	ESXi 호스트 간에 라이브 가상 머신 마이그레이션 트래픽을 전달합니다 (vmk1).
NSX TEP	Geneve 오버레이 TEP	태그 지정됨 (예: VLAN 4)	호스트 간 Geneve 오버레이 터널 캡슐화 트래픽 (vmk10)을 전달합니다.

Dynamic NIC 및 VLAN 구성

베어메탈 호스트 인터페이스에서 여러 트래픽 클래스를 세분화하기 위해 Compute Engine은 기본 네트워크 인터페이스와 연결된 Dynamic NIC (가상 하위 인터페이스)를 사용합니다.

• 기본 인터페이스 (nic0): 태그가 지정되지 않은 관리 서브넷에 프로비저닝됩니다. 이 인터페이스는 초기 호스트 부팅, ESXi DCUI (Direct Console 사용자 인터페이스), vmk0 관리 트래픽을 처리합니다.
• 동적 인터페이스 (nic0.VLAN_ID): 인스턴스 프로비저닝 중에 명시적인 --vlan 메타데이터를 사용하여 기본 인터페이스에 연결되고 해당 VPC 서브넷에 매핑됩니다.
• VMware 가상 분산 스위치 (VDS) 정렬: ESXi 호스트에서 VDS의 포트 그룹은 일치하는 802.1Q VLAN ID로 태그가 지정됩니다. 하이퍼바이저에서 태그를 지정한 아웃바운드 프레임은 VPC 네트워크를 통해 전달하기 위해 해당 Compute Engine 동적 인터페이스에 직접 매핑됩니다.

물리적 네트워크 중복성

Compute Engine 베어메탈 인스턴스는 ESXi 호스트 운영체제에 단일 네트워크 인터페이스 (nic0 / vmnic0)를 제공하지만 이 단일 인터페이스는 Google Cloud 소프트웨어 정의 네트워킹 (SDN) 레이어에서 제공하는 추상화입니다.

기본 물리적 인프라에서 네트워크 경로는 중복되며 데이터 센터 전환 패브릭에 대한 다중 경로 광학 연결을 사용합니다. 물리적 전송 계층은 단일 경로 하드웨어에 의존하지 않으므로 물리적 경로 중복을 위해 하이퍼바이저 수준 NIC 팀을 구성할 필요가 없습니다. 호스트 수준 하드웨어 이벤트가 발생하면 vSphere 고가용성 (HA) 및 노드 교체 워크플로를 통해 워크로드 가용성이 보호됩니다.

레이어 2 에뮬레이션: ARP 브로드캐스팅 및 커스텀 MAC 학습

표준 Compute Engine VM 인스턴스는 알고리즘으로 파생된 고정 MAC 주소 (42:01:ac:...)를 사용합니다. 반면 VMware ESXi 호스트, VMkernel 포트, 가상 어플라이언스는 VMware 조직 고유 식별자 (OUI) 범위 (예: 00:50:56:... 또는 00:0c:29:...)에서 커스텀 MAC 주소를 생성합니다.

커스텀 VMware MAC 주소와 게스트 브로드캐스트 트래픽을 기본적으로 지원하려면 VMware 솔루션에서 VLAN 기반 네트워킹을 지원하기 위해 VPC 네트워크의 서브넷에 학습을 통한 브로드캐스트 기본 범위만 (--resolve-subnet-mask=ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING)으로 설정된 서브넷 마스크 확인 속성이 있어야 합니다. 프로젝트의 레이어 2 네트워크 연결을 허용 목록에 추가하려면 Google Cloud 콘솔 지원 센터에서 다음 정보를 사용하여 지원 티켓을 엽니다.

• 제품: Google Cloud VMware Engine
• 우선순위: P2
• 카테고리: 네트워크 연결
• 비즈니스 영향: 일반적인 기술 관련 질문
• 자세한 내용 제공: Allowlist L2 network connectivity for my project, 프로젝트 ID, 프로젝트 번호, 배포의 대상 리전 및 영역

서브넷 브로드캐스트 모드

Compute Engine은 다음 서브넷 ARP 브로드캐스트 모드를 지원합니다.

• ARP_BROADCAST_PRIMARY_RANGE: 서브넷에 연결된 모든 인스턴스에 ARP 및 Gratuitous ARP (GARP) 쿼리를 브로드캐스트합니다. 대상 IP 주소를 소유한 인스턴스가 직접 응답합니다.
• ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING: VMware 솔루션에 필요합니다. ARP 브로드캐스팅 외에도 Google Cloud는 IP-커스텀 MAC 매핑을 동적으로 학습하고 캐시합니다. 매핑이 학습되면 Google Cloud 는 커스텀 VMware MAC 주소를 해당 IP 주소로 전송되는 트래픽의 목적지 MAC 주소로 사용합니다. 엔드포인트의 기본 IP 주소에 대한 커스텀 매핑이 없으면 Google Cloud는 기본 Google Cloud할당 MAC 주소로 대체됩니다. 매핑되지 않은 다른 IP 주소로 전송된 패킷은 삭제됩니다.

MAC 학습 방법

Google Cloud 는 두 가지 메커니즘을 사용하여 커스텀 MAC 주소 캐시를 채우고 업데이트합니다.

• Gratuitous ARP (GARP): ESXi VMkernel 포트 및 마이그레이션 가상 어플라이언스에서 내보내는 GARP 공지에 대해 서브넷을 모니터링합니다.
• 활성 프로빙: 서브넷의 기본 CIDR 범위에 있는 IP 주소를 프로빙하고 호스트 ARP 응답을 사용하여 MAC 캐시를 채웁니다.

제약 조건 및 사양

ARP 브로드캐스트 및 MAC 학습으로 서브넷을 구성할 때는 다음 제약조건이 적용됩니다.

• 불변성: 서브넷을 만들 때 --resolve-subnet-mask 플래그를 지정해야 합니다. 서브넷을 만든 후에는 이 설정을 수정할 수 없습니다.
• 서브넷 용도 및 IP 버전: PRIVATE 용도 및 IPv4 전용 CIDR 범위가 있는 서브넷에서만 지원됩니다.
• 기본 범위 크기 조정: MAC 학습은 /24 이하의 기본 IPv4 CIDR 범위 (예: /24, /25, /26)에서만 지원됩니다. MAC 학습은 보조 CIDR 범위에서 지원되지 않습니다.
• 엔드포인트 할당량: 브로드캐스트 모드가 사용 설정된 서브넷은 최대 64개의 연결된 VM 네트워크 인터페이스를 지원합니다.
• 브로드캐스트 서브넷 할당량: 각 VPC 네트워크는 리전당 최대 64개의 브로드캐스트 지원 서브넷을 지원합니다. 이 한도에 대해서는 할당량 상향 조정이 지원되지 않습니다.
• ARP 요청 제한: 64개 인스턴스 서브넷에서 초당 쿼리 수 (QPS)가 16개를 초과하는 ARP 및 GARP 요청은 패브릭 안정성을 유지하기 위해 삭제됩니다.
• DHCP 및 메타데이터 서버: 커스텀 MAC 주소에서 전송된 동적 호스트 구성 프로토콜 (DHCP) 요청은 지원되지 않으며 삭제됩니다. Compute Engine 메타데이터 서버는 커스텀 학습된 MAC 주소가 아닌 기본Google Cloud할당 MAC 주소만 노출합니다.
• 대상 인스턴스: 대상 인스턴스는 ARP 브로드캐스트 사용 설정 서브넷의 네트워크 인터페이스를 참조할 수 없습니다.
• VPC MTU: VPC 네트워크 최대 전송 단위 (MTU)를 8896바이트로 설정하고 VMware VDS, VMkernel 어댑터, NSX 프로필을 8896바이트와 일치하도록 구성합니다. 자세한 내용은 알려진 문제를 참조하세요.

Google Cloud CLI를 사용하여 ARP 브로드캐스트, MAC 학습, 비공개 Google 액세스가 사용 설정된 관리 서브넷을 만들려면 다음 명령어를 실행합니다.

gcloud compute networks subnets create SUBNET_NAME \
    --network=VPC_NAME \
    --region=REGION \
    --range=SUBNET_RANGE \
    --resolve-subnet-mask=ARP_BROADCAST_PRIMARY_RANGE_WITH_LEARNING \
    --enable-private-ip-google-access

참고: Cloud DNS 내부 리졸버를 사용하고 Private Service Connect (PSC)를 통해 리전별 오프라인 저장소에 연결할 때는 비공개 Google 액세스 (--enable-private-ip-google-access)를 사용 설정해야 합니다. 레이어 2 ARP 브로드캐스트 또는 VLAN 태그가 지정된 노드 서브넷에 Private Service Connect 엔드포인트(GCE_ENDPOINT)를 배포하지 마세요. 대신 전용 표준 (레이어 2 브로드캐스트가 아님) 서브넷에 엔드포인트를 프로비저닝하세요. 자세한 내용은 VCF 소프트웨어 저장소 구성 및 알려진 문제를 참조하세요.

명령어를 실행하기 전에 다음을 바꿉니다.

• SUBNET_NAME: 새 VPC 서브넷의 이름입니다.
• VPC_NAME: 대상 VPC 네트워크의 이름입니다.
• REGION: 서브넷을 만들 Google Cloud 리전입니다.
• SUBNET_RANGE: /24 이하의 기본 IPv4 CIDR 범위(예: 10.200.0.0/24)

IP 주소 관리 (IPAM)

VMware 솔루션은 VPC 네트워크 내에서 세 가지 IP 주소 할당 방법을 지원합니다.

• 임시 (자동): VPC 서브넷 풀에서 동적으로 임대되고 베어메탈 인스턴스의 수명 주기에 바인딩됩니다. 참고: VCF 클러스터 가동 및 확장 중에 VCF 설치 프로그램은 vMotion 및 vSAN IP 주소를 순차적으로 정렬하고 할당합니다. 예측 가능한 호스트-IP 순서를 유지하려면 커스텀 또는 예약된 IP 할당을 사용하는 것이 좋습니다. 자세한 내용은 알려진 문제를 참조하세요.
• 임시 (커스텀): 인스턴스 또는 Dynamic NIC 프로비저닝 중에 서브넷 범위의 할당되지 않은 주소에서 명시적으로 지정됩니다.
• 예약된 고정 IP 주소: 인스턴스 상태와 관계없이 프로젝트에서 예약된 상태로 유지되는 할당된 VPC IP 주소 객체입니다. 유지보수 및 장애 조치 이벤트 중에 IP 주소 충돌을 방지하려면 ESXi 호스트 인터페이스 및 부동 관리 어플라이언스(vCenter Server, SDDC Manager, NSX Manager VIP)에 예약된 IP 주소를 사용합니다.

DNS 아키텍처 및 이름 변환

VCF에는 모든 베어메탈 ESXi 호스트, 관리 가상 어플라이언스, 클러스터 엔드포인트에 대한 정방향 (A) 및 역방향 (PTR) DNS 변환이 필요합니다. 정방향 또는 역방향 DNS 레코드가 누락되거나 잘못 구성되면 SDDC Manager 시작 및 인증서 검증 확인이 실패합니다.

언더레이 DNS 변환 (호스트 및 관리 어플라이언스)

베어메탈 ESXi 호스트 및 언더레이 호스팅 관리 어플라이언스 (vCenter Server, SDDC Manager, NSX Manager)의 DNS 변환을 다음과 같이 구성합니다.

• Cloud DNS 내부 리졸버 (169.254.169.254): 언더레이 ESXi 호스트 및 관리 VM은 Google Cloud 메타데이터 DNS 리졸버(169.254.169.254)를 쿼리하여 Cloud DNS에서 관리되는 Google Cloud 리소스 및 비공개 영역을 확인할 수 있습니다.

• 인바운드 DNS 서버 정책: 조직에서 Cloud Interconnect 또는 Cloud VPN 전반에 걸쳐 중앙 집중식 회사 DNS 서버를 사용하는 경우 VPC 내의 표준 (레이어 2 브로드캐스트 아님) 서브넷에서 Cloud DNS의 인바운드 서버 정책을 구성합니다. 언더레이 노드는 인바운드 전달자 IP 주소를 쿼리하여 비공개 Google Cloud 레코드와 온프레미스 도메인을 모두 확인할 수 있습니다.

  참고: 레이어 2 ARP 브로드캐스트 또는 VLAN 태그가 지정된 노드 서브넷에서 DNS_RESOLVER IP 주소를 사용하거나 Private Service Connect (PSC) 엔드포인트 (GCE_ENDPOINT, 예: 리전 오프라인 저장소)를 배포하지 마세요. 자세한 내용은 알려진 문제를 참조하세요.

• 역방향 (PTR) 영역: 모든 ESXi 호스트 및 관리 어플라이언스 FQDN이 양방향으로 확인되도록 Cloud DNS에 전용 비공개 역방향 조회 영역 (예: 10.200.0.0/24 관리 서브넷의 경우 0.200.10.in-addr.arpa.)을 만듭니다.

오버레이 게스트 VM DNS 변환

NSX 오버레이에 배포된 워크로드 가상 머신은 VPC 언더레이에서 분리된 Geneve 캡슐화 논리 네트워크에 상주합니다.

• 기업 DNS 서버 또는 인바운드 전달자 정책: NSX Tier-0 게이트웨이를 통해 연결할 수 있는 Cloud DNS 인바운드 서버 정책의 고정 IP 주소 또는 엔터프라이즈 DNS 서버를 쿼리하도록 게스트 VM을 구성합니다.
• 링크-로컬 메타데이터 주소 제약조건: NSX 오버레이의 게스트 VM은 링크-로컬 메타데이터 리졸버 (169.254.169.254)를 직접 쿼리할 수 없습니다. 링크-로컬 주소가 Geneve 오버레이 터널을 통해 라우팅되지 않기 때문입니다.

다음 단계

• VCF 어플라이언스의 고가용성 부하 분산에서 리전 부하 분산기가 관리 어플라이언스 장애 조치를 사용 설정하는 방법을 알아보세요.
• NSX 오버레이 및 에지 라우팅에서 오버레이 라우팅 옵션을 살펴봅니다.
• 알려진 문제에서 일반적인 네트워킹 및 DNS 문제를 검토합니다.