RDMA 網路設定檔

本頁提供 Google Cloud的遠端直接記憶體存取 (RDMA) 網路設定檔總覽。

總覽

您可以透過 RDMA 網路設定檔建立虛擬私有雲 (VPC) 網路，在該網路中建立的 Compute Engine 執行個體記憶體或 GPU 之間，提供低延遲、高頻寬的 RDMA 通訊。

RDMA 網路設定檔適用於執行 AI 工作負載。如要進一步瞭解如何在 Google Cloud中執行 AI 工作負載，請參閱「AI Hypercomputer 總覽」。

您可以使用 RDMA 網路設定檔建立下列類型的虛擬私有雲網路：

虛擬私有雲網路類型 通訊協定 網路設定檔資源名稱 執行個體類型 NIC 類型
Falcon 虛擬私有雲網路 以 Falcon 為基礎的 RDMA 傳輸 ZONE-vpc-falcon H4D IRDMA
RoCE 虛擬私有雲網路 基於融合乙太網路的遠端直接記憶體存取 v2 (RoCE v2)

如果是 VM 執行個體：
ZONE-vpc-roce

裸機執行個體：
ZONE-vpc-roce-metal

VM：
A3 Ultra、 A4、 A4X

裸機：
A4X Max

MRDMA

支援的區域

RDMA 網路設定檔僅適用於部分可用區。您只能在提供相應網路設定檔的區域中，建立 Falcon 虛擬私有雲網路或 RoCE 虛擬私有雲網路。

如要查看支援的區域，請參閱「列出網路設定檔」。

或者，您也可以查看要在網路中建立的機型支援的可用區。RDMA 網路設定檔與支援的機器類型位於相同區域。如要瞭解詳情，請參考下列資源：

規格

使用 RDMA 網路設定檔建立的虛擬私有雲網路具有下列規格：

  • 區域限制。使用具有 RDMA 網路設定檔的虛擬私有雲網路時，資源只能與網路建立期間與虛擬私有雲網路相關聯的 RDMA 網路設定檔位於同一可用區。這項區域限制會產生下列影響：

    • 凡是在虛擬私有雲網路中具有網路介面的執行個體，都必須在與虛擬私有雲網路所用 RDMA 網路設定檔的可用區相符的可用區中建立。

    • 在虛擬私有雲網路中建立的所有子網路，都必須位於包含虛擬私有雲網路所用 RDMA 網路設定檔區域的區域。

  • 僅限 RDMA 網路介面。具有 RDMA 網路設定檔的虛擬私有雲網路僅支援來自特定網路介面的連結：

    • Falcon VPC 網路僅支援 IRDMA 網路介面 (NIC)。
    • RoCE 虛擬私有雲網路僅支援 MRDMA NIC。

    執行個體的所有非 RDMA NIC 都必須連接至一般虛擬私有雲網路。

  • 8896 位元組 MTU。為獲得最佳效能，建議您為具有 RDMA 網路設定檔的 VPC 網路設定 最大傳輸單元 (MTU) 為 8896 位元組。這樣一來，執行個體客層作業系統中的 RDMA 驅動程式就能視需要使用較小的 MTU。

    如果您使用 RDMA 網路設定檔建立虛擬私有雲網路，預設 MTU 為 8896 位元組。

  • 防火牆差異。如要瞭解使用 RDMA 網路設定檔的 VPC 網路防火牆差異，請參閱下列資訊：

    • 具有 RDMA 網路設定檔的虛擬私有雲網路會使用下列默示防火牆規則，這與一般虛擬私有雲網路使用的默示防火牆規則不同：

      • 默示允許輸出
      • 隱含允許輸入流量

    • Cloud NGFW 支援的程度取決於虛擬私有雲網路類型：

      • 如為 RoCE 虛擬私有雲網路，請參閱下列內容：

        • VM 執行個體的 RoCE 虛擬私有雲網路僅支援 RoCE 防火牆政策類型的區域網路防火牆政策。支援的區域網路防火牆政策中，規則的參數集有限。詳情請參閱「Cloud NGFW for RoCE VPC networks」。
        • Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援設定 Cloud NGFW 規則或政策。

      • Falcon VPC 網路不支援設定 Cloud NGFW 規則或政策。

  • 不支援連線能力測試。 連線測試不支援具有 RDMA 網路設定檔的虛擬私有雲網路。

  • 其他 VPC 功能。具有 RDMA 網路設定檔的虛擬私有雲網路僅支援部分其他虛擬私有雲功能。詳情請參閱下方的「支援與不支援的功能」一節。

支援及不支援的功能

下列各節說明使用 RDMA 網路設定檔建立的每種虛擬私有雲網路，支援和不支援哪些虛擬私有雲功能：

Falcon 虛擬私有雲網路 (falcon)

下表列出 Falcon VPC 網路支援的功能，這些網路是使用 falcon 網路設定檔建立。

功能 支援 網路設定檔資源 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes IRDMA

Falcon 虛擬私有雲網路僅支援 IRDMA NIC

系統不支援其他 NIC 類型，例如 MRDMA、GVNIC 和 VIRTIO_NET。
同一個網路中的多個 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

Falcon 虛擬私有雲網路支援多 NIC 執行個體，允許相同執行個體的兩個以上 RDMA NIC 位於相同虛擬私有雲網路。每個 NIC 都必須連接至虛擬私有雲網路中的不重複子網路。
僅支援 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

Falcon 虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

Falcon 虛擬私有雲網路不支援雙重堆疊或僅限 IPv6 的子網路。 詳情請參閱子網路類型。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

Falcon 虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

Falcon VPC 網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱子網路用途。
GCE_ENDPOINT 地址用途 addressPurposes GCE_ENDPOINT

Falcon VPC 網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，用於執行個體 NIC 的內部 IP 位址。

Falcon VPC 網路不支援特殊用途的 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_ALLOWED

Falcon 虛擬私有雲網路支援網路附件，以及虛擬 Private Service Connect 介面的連線。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED Falcon VPC 網路不支援動態 NIC。
nic0的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Falcon 虛擬私有雲網路不支援將執行個體的nic0網路介面附加至網路。附加至虛擬私有雲網路的每個 RDMA NIC 不得為 nic0。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED Falcon VPC 網路不支援將外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Falcon VPC 網路不支援將別名 IP 範圍指派給 RDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED Falcon 虛擬私有雲網路不支援IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED Falcon VPC 網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Falcon VPC 網路無法設為自動模式網路。詳情請參閱子網路建立模式。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED Falcon VPC 網路不支援使用 VPC 網路對等互連連線至其他 VPC 網路。 因此，Falcon 虛擬私有雲網路不支援使用私人服務連線連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED Falcon 虛擬私有雲網路不支援靜態路徑。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED Falcon VPC 網路不支援Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED Falcon VPC 網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED Falcon VPC 網路不支援 Cloud Router 和動態路徑。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED Falcon VPC 網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED Falcon 虛擬私有雲網路不支援 NCC。您無法將 Falcon 虛擬私有雲網路新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Falcon 虛擬私有雲網路不支援 Cloud Load Balancing。因此，Falcon 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Falcon 虛擬私有雲網路不支援Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED Falcon 虛擬私有雲網路不支援 Private Service Connect發布的服務、端點或後端。

VM 執行個體的 RoCE 虛擬私有雲網路 (roce)

下表列出 RoCE VPC 網路支援的 VM 執行個體功能，這些執行個體是使用 roce 網路設定檔建立。

功能 支援 網路設定檔資源 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes MRDMA

VM 執行個體的 RoCE 虛擬私有雲網路僅支援 MRDMA NIC

系統不支援其他 NIC 類型，例如 IRDMA、GVNIC 和 VIRTIO_NET。
同一個網路中的多個 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

VM 執行個體的 RoCE 虛擬私有雲網路支援多 NIC 執行個體，允許相同執行個體的兩個以上 RDMA NIC 位於相同虛擬私有雲網路。每個 NIC 都必須連接至虛擬私有雲網路中的不重複子網路。

另請參閱 RoCE 虛擬私有雲網路多重 NIC 注意事項。
僅支援 IPv4 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

VM 執行個體的 RoCE 虛擬私有雲網路支援僅限 IPv4 的子網路，包括與一般虛擬私有雲網路相同的有效 IPv4 範圍。

VM 執行個體的 RoCE VPC 網路不支援雙重堆疊或僅限 IPv6 的子網路。 詳情請參閱子網路類型。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

VM 執行個體的 RoCE VPC 網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

VM 執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱子網路用途。
GCE_ENDPOINT 地址用途 addressPurposes GCE_ENDPOINT

VM 執行個體的 RoCE VPC 網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，執行個體 NIC 的內部 IP 位址會使用這類 IP 位址。

VM 執行個體的 RoCE 虛擬私有雲網路不支援特殊用途的 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGES_ALLOWED

VM 執行個體的 RoCE VPC 網路支援將別名 IP 範圍指派給 MRDMA NIC。

詳情請參閱別名 IP 範圍總覽中的「RoCE 虛擬私有雲網路注意事項」。
nic0的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED VM 執行個體的 RoCE VPC 網路不支援將執行個體的nic0 網路介面附加至網路。附加至虛擬私有雲網路的每個 RDMA NIC 不得為 nic0。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED VM 執行個體的 RoCE VPC 網路不支援將外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED VM 執行個體的 RoCE VPC 網路不支援動態 NIC。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_BLOCKED

RoCE 虛擬私有雲網路不支援網路附件，也不支援來自 Private Service Connect 介面的連線。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED VM 執行個體的 RoCE VPC 網路不支援IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路無法是自動模式網路。詳情請參閱子網路建立模式。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED VM 執行個體的 RoCE VPC 網路不支援使用 VPC 網路對等互連連線至其他 VPC 網路。因此，VM 執行個體的 RoCE 虛擬私有雲端網路不支援使用私人服務連線連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED VM 執行個體的 RoCE VPC 網路不支援靜態路由。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED VM 執行個體的 RoCE VPC 網路不支援Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED 虛擬機器執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Router 和動態路徑。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援 NCC。您無法將具有 RDMA 網路設定檔的虛擬私有雲網路新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED VM 執行個體的 RoCE VPC 網路不支援 Cloud Load Balancing。 因此，VM 執行個體的 RoCE VPC 網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED VM 執行個體的 RoCE 虛擬私有雲網路不支援Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED RoCE 虛擬私有雲網路不支援 Private Service Connect 已發布的服務、端點或後端。

Bare Metal 執行個體的 RoCE 虛擬私有雲網路 (roce-metal)

下表列出 RoCE VPC 網路支援的裸機執行個體功能，這些執行個體是使用 roce-metal 網路設定檔建立。

除了表格中說明的屬性外，GPU 裸機執行個體也適用下列限制：

  • GPU 裸機執行個體無法在 RoCE 虛擬私有雲網路中使用下列 UDP 通訊埠，因為這些通訊埠是由 Google Cloud保留：3882-3895 和 13882-13895。
  • GPU 裸機執行個體無法使用下列 IPv6 連結本機位址範圍，因為該範圍由 Google Cloud保留：fe80::badd:c0de:cafe:0/120。
功能 支援 網路設定檔資源 網路設定檔屬性值 詳細資料
RDMA NIC interfaceTypes MRDMA

裸機執行個體的 RoCE 虛擬私有雲網路僅支援 MRDMA NIC

系統不支援其他 NIC 類型，例如 IRDMA、GVNIC 和 VIRTIO_NET。
同一個網路中的多個 NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

裸機執行個體的 RoCE 虛擬私有雲網路支援多個 NIC 的執行個體，允許同一執行個體的兩個以上 RDMA NIC 位於同一虛擬私有雲網路。

另請參閱 RoCE 虛擬私有雲網路多重 NIC 注意事項。
同一個子網路中的多個 NIC allowMultiNicInSameSubnetwork MULTI_NIC_IN_SAME_SUBNETWORK_ALLOWED

裸機執行個體的 RoCE 虛擬私有雲網路支援多個 NIC 的執行個體，允許相同執行個體的兩個或多個 RDMA NIC 位於虛擬私有雲網路的相同子網路中。

另請參閱 RoCE 虛擬私有雲網路多重 NIC 注意事項。
預先定義的網路 ULA IPv6 範圍 predefinedNetworkInternalIpv6Range ULA_IPV6_RANGE

裸機執行個體的 RoCE 虛擬私有雲網路支援內部 IPv6，且具有預先定義的/48 專屬本機位址 (ULA) 範圍。

每個網路設定檔執行個體都會提供預先定義的範圍，且無法設定。 Google Cloud

一個僅支援 IPv6 的子網路 subnetworkStackTypes SUBNET_STACK_TYPE_IPV6_ONLY

裸機執行個體的 RoCE 虛擬私有雲網路支援單一自動提供的僅限 IPv6 子網路，該子網路使用預先定義的 IPv6 子網路範圍和命名慣例，如下表列所示。

裸機執行個體的 RoCE 虛擬私有雲網路不支援雙重堆疊或僅限 IPv4 的子網路，也不支援建立僅限 IPv6 的子網路。詳情請參閱子網路類型。
預先定義的 IPv6 子網路範圍和名稱前置碼 predefinedSubnetworkRanges ipv6Range: ULA_IPV6_RANGE

namePrefix: default-subnet-1

裸機執行個體的 RoCE 虛擬私有雲網路具有自動提供的單一子網路，且具備下列屬性：

  • 子網路使用預先定義的 /48 IPv6 範圍，與網路的 /48 範圍完全相符。
  • 子網路會使用下列命名格式：default-subnet-1-NETWORK_NAME，其中 NETWORK_NAME 是您建立網路時提供的名稱。
PRIVATE 子網路用途 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

裸機執行個體的 RoCE 虛擬私有雲網路支援一般子網路，這類子網路的 purpose 屬性值為 PRIVATE。

裸機執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect 子網路、僅限 Proxy 的子網路或 Private NAT 子網路。詳情請參閱子網路用途。
GCE_ENDPOINT 地址用途 addressPurposes GCE_ENDPOINT

裸機執行個體的 RoCE 虛擬私有雲網路支援 purpose 屬性值為 GCE_ENDPOINT 的 IP 位址，執行個體 NIC 的內部 IP 位址會使用這些位址。

裸機執行個體的 RoCE VPC 網路不支援特殊用途的 IP 位址，例如 SHARED_LOADBALANCER_VIP 用途。詳情請參閱地址資源參考資料。
建立子網路 allowSubnetworkCreation SUBNETWORK_CREATION_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援在網路中建立子網路。
nic0的附件 allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援將執行個體的nic0網路介面附加至網路。附加至虛擬私有雲網路的每個 RDMA NIC 不得為 nic0。
執行個體的靜態 IP 位址 allowAddressCreation ADDRESS_CREATION_BLOCKED

裸機執行個體的 RoCE VPC 網路不支援保留靜態內部或外部 IP 位址，也不支援為執行個體設定靜態內部或外部 IP 位址。

因此，網路中的執行個體只能使用臨時內部 IP 位址。
執行個體的外部 IP 位址 allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED 裸機執行個體的 RoCE VPC 網路不支援將靜態或臨時外部 IP 位址指派給 RDMA NIC。因此，RDMA NIC 無法存取網際網路。
Dynamic Network Interface allowSubInterfaces SUBINTERFACES_BLOCKED Bare Metal 執行個體的 RoCE VPC 網路不支援動態 NIC。
Private Service Connect 介面 allowPscInterface PSC_INTERFACE_BLOCKED

RoCE 虛擬私有雲網路不支援網路附件，也不支援來自 Private Service Connect 介面的連線。
別名 IP 範圍 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED Bare Metal 執行個體的 RoCE VPC 網路不支援將別名 IP 範圍指派給 RDMA NIC。
IP 轉送 allowIpForwarding IP_FORWARDING_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 IP 轉送。
執行個體網路遷移 allowNetworkMigration NETWORK_MIGRATION_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援在網路之間遷移執行個體 NIC。
自動模式 allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED Bare Metal 執行個體的 RoCE VPC 網路無法設為自動模式網路。詳情請參閱子網路建立模式。
虛擬私有雲網路對等互連 allowVpcPeering VPC_PEERING_BLOCKED 裸機執行個體的 RoCE VPC 網路不支援使用 VPC 網路對等互連連線至其他 VPC 網路。因此，裸機執行個體的 RoCE 虛擬私有雲網路不支援使用私人服務連線連線至服務。
靜態路徑 allowStaticRoutes STATIC_ROUTES_BLOCKED Bare Metal 執行個體的 RoCE VPC 網路不支援靜態路徑。
虛擬私有雲防火牆規則 allowVpcFirewallRules VPC_FIREWALL_RULES_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援虛擬私有雲防火牆規則。
防火牆政策 allowFirewallPolicy FIREWALL_POLICY_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援防火牆政策。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED Bare Metal 執行個體的 RoCE VPC 網路不支援Packet Mirroring。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud NAT。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Router 和動態路徑。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Interconnect VLAN 連結。
Cloud VPN allowVpn VPN_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Cloud VPN 通道。
Network Connectivity Center allowNcc NCC_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 NCC。您無法將 RoCE 虛擬私有雲網路新增為 NCC 中樞的虛擬私有雲輪輻。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援 Cloud Load Balancing。因此，裸機執行個體的 RoCE 虛擬私有雲網路不支援負載平衡器功能，包括 Google Cloud Armor。
Private Google Access allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED Bare Metal 執行個體的 RoCE 虛擬私有雲網路不支援Private Google Access。
Private Service Connect allowPsc PSC_BLOCKED 裸機執行個體的 RoCE 虛擬私有雲網路不支援 Private Service Connect已發布的服務、端點或後端。

RoCE 虛擬私有雲網路的多 NIC 注意事項

為支援可從跨軌 GPU 間通訊獲益的工作負載，RoCE 虛擬私有雲網路支援網路中具有多個 MRDMA NIC 的執行個體。在相同的 RoCE 虛擬私有雲網路中放置兩個以上的 MRDMA NIC，可能會影響網路效能，包括增加延遲時間。MRDMA NIC 使用 NCCL。NCCL 會嘗試對齊所有網路傳輸，即使是跨通道通訊也不例外。舉例來說，它會使用 PXN 透過 NVlink 將資料複製到符合軌道的 GPU，然後透過網路傳輸資料。

RoCE VPC 網路的連線數量限制

特定 RoCE 虛擬私有雲網路有以下系統限制：

項目 限制 附註
連線數量上限 20,000

每個 2 元組 (來源 IP 位址、目的地 IP 位址) 最多可透過 MRDMA 個 vNIC 建立連線。

來源 IP 位址和目的地 IP 位址首次通訊時，系統會建立連線。對於指定 2 元組，多個接收和傳輸佇列配對會共用連線。

舉例來說，假設 instance-a 和 instance-b 都有 8 個 MRDMA vNIC，每個 vNIC 都有 2 個可路由傳輸的 IP 位址：

  • 初始連線數為 0。
  • 當 instance-a 第一個 vNIC 上的第一個 IP 位址與 instance-b 第一個 vNIC 上的第一個 IP 位址通訊時，連線計數會變成 1。
  • 當 instance-a 在相同 vNIC 上使用相同 IP 位址開啟另一個佇列配對至 instance-b 時，連線計數仍為 1。
  • 當 instance-a 啟動符合軌道 (rail-aligned) 的全對全通訊器，並使用所有 8 個 vNIC 時，連線計數會變成 8。

如果連線數超過 20,000 的上限，新連線可能會失敗，但現有連線不會受到影響。

後續步驟