RDMA 網路設定檔

本頁面概略介紹 Google Cloud中的遠端直接記憶體存取 (RDMA) 網路設定檔。

總覽

RDMA 網路設定檔可讓您建立虛擬私有雲 (VPC) 網路，在網路中建立的 Compute Engine 執行個體記憶體或 GPU 之間，提供低延遲、高頻寬的 RDMA 通訊。

RDMA 網路設定檔適合用於執行 AI 工作負載。如要進一步瞭解如何在 Google Cloud中執行 AI 工作負載，請參閱「AI Hypercomputer 總覽」。

您可以使用 RDMA 網路設定檔，建立下列類型的虛擬私有雲網路：

虛擬私有雲網路類型 通訊協定 網路分析器資源名稱 執行個體類型 vNIC 類型
Falcon 虛擬私有雲網路 以 Falcon 為基礎的 RDMA 傳輸 ZONE-vpc-falcon

VM：
H4D、 Z4M

裸機：
Z4M

IRDMA
RoCE 虛擬私有雲網路 RDMA over converged ethernet v2 (RoCE v2)

VM 執行個體：
ZONE-vpc-roce

裸機執行個體：
ZONE-vpc-roce-metal

VM：
A3 Ultra、 A4、 A4X

裸機：
A4X Max

MRDMA

支援的區域

RDMA 網路設定檔僅適用於部分可用區。您只能在提供相應網路設定檔的可用區中，建立 Falcon 虛擬私有雲網路或 RoCE 虛擬私有雲網路。

如要查看支援的可用區，請參閱「列出網路設定檔」。

或者，您也可以查看要在網路中建立的機器類型支援哪些可用區。RDMA 網路設定檔與支援的機器類型位於相同可用區。如要瞭解詳情，請參考下列資源：

規格

使用 RDMA 網路設定檔建立的虛擬私有雲網路具有下列規格：

  • 可用區限制。使用具有 RDMA 網路設定檔的 VPC 網路時，資源只能與網路建立期間與 VPC 網路相關聯的 RDMA 網路設定檔位於同一可用區。這項可用區限制會產生下列影響：

    • 在虛擬私有雲網路中，凡是具有虛擬網路介面 (vNIC) 的執行個體，都必須建立在與虛擬私有雲網路所用 RDMA 網路設定檔相同的可用區。

    • 在虛擬私有雲網路中建立的所有子網路，都必須位於虛擬私有雲網路使用的 RDMA 網路設定檔可用區所在區域。

  • 僅限 RDMA 網路介面。具有 RDMA 網路設定檔的虛擬私有雲網路僅支援來自特定網路介面的連結：

    • Falcon 虛擬私有雲網路僅支援 IRDMA vNIC。
    • RoCE 虛擬私有雲網路僅支援 MRDMA vNIC。

    執行個體的所有非 RDMA vNIC (例如 GVNIC 或 IDPF vNIC) 都必須連接至一般虛擬私有雲網路。一般虛擬私有雲網路沒有網路設定檔。因此，RDMA 網路設定檔列出的支援和不支援功能，不適用於執行個體的非 RDMA vNIC。

  • 8896 位元組 MTU。為求最佳效能，建議您將具備 RDMA 網路設定檔的虛擬私有雲網路最大傳輸單位 (MTU) 設為 8896 位元組。這樣一來，執行個體客體作業系統中的 RDMA 驅動程式就能視需要使用較小的 MTU。

    如果您使用 RDMA 網路設定檔建立虛擬私有雲網路，則預設 MTU 為 8896 位元組。

  • 防火牆差異。請參閱下列資訊，瞭解使用 RDMA 網路設定檔的虛擬私有雲網路，在防火牆方面有何差異：

    • 具有 RDMA 網路設定檔的虛擬私有雲網路會使用下列隱含防火牆規則，這與一般虛擬私有雲網路使用的隱含防火牆規則不同：

      • 默示允許輸出
      • 默許輸入

    • Cloud NGFW 支援情況取決於虛擬私有雲網路類型：

      • 如為 RoCE 虛擬私有雲網路，請參閱下列說明：

        • VM 執行個體的 RoCE 虛擬私有雲網路僅支援 RoCE 防火牆政策類型的區域網路防火牆政策。支援的區域性網路防火牆政策中，規則的參數組合有限。詳情請參閱「適用於 RoCE 虛擬私有雲網路的 Cloud NGFW」。
        • Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援設定 Cloud NGFW 規則或政策。

      • Falcon 虛擬私有雲網路不支援設定 Cloud NGFW 規則或政策。

  • 不支援連線測試。 Connectivity Tests 不支援具備 RDMA 網路設定檔的虛擬私有雲網路。

  • 其他虛擬私有雲功能。具備 RDMA 網路設定檔的虛擬私有雲網路，僅支援部分其他虛擬私有雲功能。詳情請參閱下方的「支援和不支援的功能」一節。

支援及不支援的功能

下列各節說明使用 RDMA 網路設定檔建立的各類虛擬私有雲網路，分別支援和不支援哪些虛擬私有雲功能：

Falcon 虛擬私有雲網路 (falcon)

下表列出 Falcon 虛擬私有雲網路支援的功能，這些網路是使用 falcon 網路設定檔建立。

功能 支援 網路分析器屬性 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes IRDMA

Falcon 虛擬私有雲網路僅支援 IRDMA NIC

其他 NIC 類型 (例如 MRDMA、GVNIC、IDPF 和 VIRTIO_NET) 不受支援。
同一個網路中的多 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Falcon 虛擬私有雲網路支援多 NIC 執行個體，允許同一執行個體的兩個以上 RDMA NIC 位於同一虛擬私有雲網路。每個 NIC 都必須連接至虛擬私有雲網路中的專屬子網路。
僅限 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Falcon 虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

Falcon 虛擬私有雲網路不支援雙重堆疊或僅限 IPv6 的子網路。詳情請參閱「子網路類型」。
PRIVATE子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Falcon 虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

Falcon 虛擬私有雲網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱「子網路用途」。
GCE_ENDPOINT位址用途 addressPurposes GCE_ENDPOINT

Falcon 虛擬私有雲網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，執行個體 NIC 的內部 IP 位址會使用這個值。

Falcon 虛擬私有雲網路不支援特殊用途 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱位址資源參考資料。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_ALLOWED

Falcon 虛擬私有雲網路支援網路連結，以及虛擬 Private Service Connect 介面的連線。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED Falcon 虛擬私有雲網路不支援動態 NIC。
nic0 的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Falcon 虛擬私有雲網路不支援將執行個體的 nic0 網路介面附加至網路。連接至虛擬私有雲網路的每個 RDMA NIC 都不得為 nic0。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Falcon 虛擬私有雲網路不支援將外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Falcon 虛擬私有雲網路不支援將別名 IP 範圍指派給 RDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED Falcon 虛擬私有雲網路不支援IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED Falcon 虛擬私有雲網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Falcon 虛擬私有雲網路不得為自動模式網路。詳情請參閱「子網路建立模式」。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED Falcon 虛擬私有雲網路不支援使用 VPC 網路對接連線至其他虛擬私有雲網路。因此，Falcon 虛擬私有雲網路不支援使用私人服務存取權連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED Falcon 虛擬私有雲網路不支援靜態路由。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED Falcon 虛擬私有雲網路不支援 Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud Router 和動態路由。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED Falcon 虛擬私有雲網路不支援 NCC。您無法將 Falcon 虛擬私有雲網路新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud Load Balancing。因此，Falcon 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Falcon 虛擬私有雲網路不支援 Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED Falcon 虛擬私有雲網路不支援 Private Service Connect發布的服務、端點或後端。

VM 執行個體的 RoCE 虛擬私有雲網路 (roce)

下表列出 RoCE 虛擬私有雲網路支援的功能，適用於使用 roce 網路設定檔建立的 VM 執行個體。

功能 支援 網路分析器屬性 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes MRDMA

VM 執行個體的 RoCE 虛擬私有雲網路僅支援 MRDMA NIC

其他 NIC 類型 (例如 IRDMA、GVNIC、IDPF 和 VIRTIO_NET) 不受支援。
同一個網路中的多 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

VM 執行個體的 RoCE 虛擬私有雲網路支援多 NIC 執行個體，允許同一執行個體的兩個以上 RDMA NIC 位於同一個虛擬私有雲網路。每個 NIC 都必須連接至虛擬私有雲網路中的專屬子網路。

另請參閱「RoCE 虛擬私有雲網路多 NIC 考量事項」。
僅支援 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

VM 執行個體的 RoCE 虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

VM 執行個體的 RoCE 虛擬私有雲網路不支援雙重堆疊或僅限 IPv6 的子網路。詳情請參閱「子網路類型」。
PRIVATE子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

VM 執行個體的 RoCE 虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

VM 執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱「子網路用途」。
GCE_ENDPOINT 位址用途 addressPurposes GCE_ENDPOINT

VM 執行個體的 RoCE 虛擬私有雲網路支援 IP 位址，且 IP 位址的 purpose 屬性值為 GCE_ENDPOINT，執行個體 NIC 的內部 IP 位址會使用此屬性值。

VM 執行個體的 RoCE 虛擬私有雲網路不支援特殊用途 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGES_ALLOWED

VM 執行個體的 RoCE 虛擬私有雲網路支援將別名 IP 範圍指派給 MRDMA NIC。

詳情請參閱「別名 IP 範圍總覽」中的「RoCE 虛擬私有雲網路注意事項」。
nic0 的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援將執行個體的 nic0 網路介面附加至網路。連接至虛擬私有雲網路的每個 RDMA NIC 都不得為 nic0。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援將外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援動態 NIC。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_BLOCKED

RoCE 虛擬私有雲網路不支援網路連結，也不支援來自 Private Service Connect 介面的連線。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不得為自動模式網路。詳情請參閱「子網路建立模式」。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援使用 VPC 網路對接連線至其他虛擬私有雲網路。因此，VM 執行個體的 RoCE 虛擬私有雲網路不支援使用私人服務存取權連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援靜態路由。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Router 和動態路由。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 NCC。您無法將具有 RDMA 網路設定檔的虛擬私有雲網路，新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Load Balancing。因此，VM 執行個體的 RoCE 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED RoCE 虛擬私有雲網路不支援 Private Service Connect 已發布的服務、端點或後端。

裸機執行個體的 RoCE 虛擬私有雲網路 (roce-metal)

下表列出 RoCE 虛擬私有雲網路支援的功能，適用於使用 roce-metal 網路設定檔建立的裸機執行個體。

除了表格所述的屬性外，GPU 裸機執行個體也適用下列限制：

  • GPU Bare Metal 執行個體無法在 RoCE 虛擬私有雲網路中使用下列 UDP 通訊埠，因為這些通訊埠由 Google Cloud、3882-3895 和 13882-13895 保留。
  • GPU 裸機執行個體無法使用下列 IPv6 連結本機位址範圍，因為該範圍已由 Google Cloud保留：fe80::badd:c0de:cafe:0/120。
功能 支援 網路分析器屬性 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes MRDMA

Bare Metal 執行個體的 RoCE 虛擬私有雲網路僅支援 MRDMA NIC

不支援其他 NIC 類型，例如 IRDMA、GVNIC、IDPF 和 VIRTIO_NET。
同一個網路中的多 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

裸機執行個體的 RoCE 虛擬私有雲網路支援多 NIC 執行個體，允許同一執行個體的兩個以上 RDMA NIC 位於同一個虛擬私有雲網路。

另請參閱「RoCE 虛擬私有雲網路多 NIC 注意事項」。
同一個子網路中的多 NIC allowMultiNicInSameSubnetwork MULTI_NIC_IN_SAME_SUBNETWORK_ALLOWED

裸機執行個體的 RoCE 虛擬私有雲網路支援多 NIC 執行個體，允許同一執行個體的兩個以上 RDMA NIC 位於虛擬私有雲網路的同一子網路。

另請參閱「RoCE 虛擬私有雲網路多 NIC 考量事項」。
預先定義的網路 ULA IPv6 範圍 predefinedNetworkInternalIpv6Range ULA_IPV6_RANGE

裸機執行個體的 RoCE 虛擬私有雲網路支援內部 IPv6，並具有預先定義的 /48 專屬本機位址 (ULA) 範圍。

預先定義的範圍是由 Google Cloud 為每個網路設定檔執行個體提供，且無法設定。
一個僅限 IPv6 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV6_ONLY

裸機執行個體的 RoCE 虛擬私有雲網路支援單一、自動提供的僅限 IPv6 子網路，該子網路使用預先定義的 IPv6 子網路範圍和命名慣例，如下表列所示。

裸機執行個體的 RoCE 虛擬私有雲網路不支援雙重堆疊或僅限 IPv4 的子網路，也不支援建立其他僅限 IPv6 的子網路。詳情請參閱「子網路類型」。
預先定義的 IPv6 子網路範圍和名稱前置字串 predefinedSubnetworkRanges ipv6Range: ULA_IPV6_RANGE

namePrefix: default-subnet-1

裸機執行個體的 RoCE 虛擬私有雲網路具有單一子網路，該子網路會自動提供，並具有下列屬性：

  • 子網路會使用預先定義的 /48 IPv6 範圍，與網路的 /48 範圍完全相符。
  • 子網路會使用下列命名格式：default-subnet-1-NETWORK_NAME， 其中 NETWORK_NAME 是您建立網路時提供的名稱。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

裸機執行個體的 RoCE 虛擬私有雲網路支援一般子網路，其 purpose 屬性值為 PRIVATE。

裸機執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱「子網路用途」。
GCE_ENDPOINT 位址用途 addressPurposes GCE_ENDPOINT

裸機執行個體的 RoCE 虛擬私有雲網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，執行個體 NIC 的內部 IP 位址會使用這個值。

裸機執行個體的 RoCE 虛擬私有雲網路不支援特殊用途 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱位址資源參考資料。
建立子網路 allowSubnetworkCreation SUBNETWORK_CREATION_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援在網路中建立子網路。
nic0 的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援將執行個體的 nic0 網路介面附加至網路。連接至虛擬私有雲網路的每個 RDMA NIC 都不得為 nic0。
執行個體的靜態 IP 位址 allowAddressCreation ADDRESS_CREATION_BLOCKED

裸機執行個體的 RoCE 虛擬私有雲網路不支援預留靜態內部或外部 IP 位址，也不支援為執行個體設定靜態內部或外部 IP 位址。

因此，網路中的執行個體只能使用臨時內部 IP 位址。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援將外部 IP 位址 (無論是靜態或臨時) 指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援Dynamic NIC。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_BLOCKED

RoCE 虛擬私有雲網路不支援網路連結，也不支援來自 Private Service Connect 介面的連線。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援將別名 IP 範圍指派給 RDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不得為自動模式網路。詳情請參閱「子網路建立模式」。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援使用虛擬私有雲網路對接連線至其他虛擬私有雲網路。因此，裸機執行個體的 RoCE 虛擬私有雲網路不支援使用私人服務存取權連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援靜態路徑。
虛擬私有雲防火牆規則 allowVpcFirewallRules VPC_FIREWALL_RULES_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援虛擬私有雲防火牆規則。
防火牆政策 allowFirewallPolicy FIREWALL_POLICY_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援防火牆政策。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Router 和動態路由。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 NCC。您無法將 RoCE 虛擬私有雲網路新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Load Balancing。因此，裸機執行個體的 RoCE 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect 已發布的服務、端點或後端。

RoCE 虛擬私有雲網路的多 NIC 考量

為支援受益於跨軌 GPU 對 GPU 通訊的工作負載，RoCE 虛擬私有雲網路支援在網路中有多個 MRDMA NIC 的執行個體。在同一個 RoCE 虛擬私有雲網路中放置兩個以上的 NIC 可能會影響網路效能，包括增加延遲。MRDMAMRDMA 個 NIC 使用 NCCL。NCCL 會嘗試對齊所有網路傳輸，即使是跨通道通訊也一樣。舉例來說，PXN 會透過 NVlink 將資料複製到符合軌道 (rail-aligned) 的 GPU，然後再透過網路傳輸。

RoCE 虛擬私有雲網路的連線數量限制

特定 RoCE 虛擬私有雲網路有下列系統限制：

項目 限制 附註
連線數量上限 20,000

每個 2 元組 (來源 IP 位址、目的地 IP 位址) 最多可透過 MRDMA 個 vNIC 建立連線。

來源 IP 位址和目的地 IP 位址首次通訊時，系統會建立連線。對於指定的 2 元組，多個接收和傳輸佇列組合會共用連線。

舉例來說，假設 instance-a 和 instance-b 都有 8 個 MRDMA vNIC，每個 vNIC 都有 2 個可轉送的 IP 位址：

  • 初始連線數量為 0。
  • 當 instance-a 第一個 vNIC 上的第一個 IP 位址與 instance-b 第一個 vNIC 上的第一個 IP 位址通訊時，連線計數會變成 1。
  • 當 instance-a 使用相同 vNIC 上的相同 IP 位址，開啟另一個通往 instance-b 的佇列配對時，連線數量仍為 1。
  • 當 instance-a 啟動符合軌道 (rail-aligned) 的全對全通訊器，並使用所有 8 個 vNIC 時，連線數量會變成 8。

如果連線數量超過 20,000 個，新的連線可能會失敗，但現有連線不會受到影響。

後續步驟