RDMA ネットワーク プロファイル

このページでは、 Google Cloudの Remote Direct Memory Access(RDMA)ネットワーク プロファイルの概要について説明します。

概要

RDMA ネットワーク プロファイルを使用すると、ネットワークに作成された VM のメモリまたは GPU 間で低レイテンシ、高帯域幅の RDMA 通信を提供する Virtual Private Cloud(VPC)ネットワークを作成できます。

RDMA ネットワーク プロファイルは、AI ワークロードの実行に役立ちます。 Google Cloudで AI ワークロードを実行する方法の詳細については、AI Hypercomputer の概要をご覧ください。

RDMA ネットワーク プロファイルを使用して、次のタイプの VPC ネットワークを作成できます。

VPC ネットワークの種類 ネットワーク プロファイル リソース名 プロトコル サポートされている NIC タイプ サポートされているマシンタイプ
Falcon VPC ネットワーク(プレビュー ZONE-vpc-falcon Falcon トランスポート経由の RDMA IRDMA
RoCE VPC ネットワーク ZONE-vpc-roce RDMA over Converged Ethernet v2(RoCE v2) MRDMA

サポートされているゾーン

RDMA ネットワーク プロファイルは、一部のゾーンでのみ使用できます。Falcon VPC ネットワークまたは RoCE VPC ネットワークは、対応するネットワーク プロファイルが使用可能なゾーンでのみ作成できます。

サポートされているゾーンを確認するには、ネットワーク プロファイルを一覧表示するをご覧ください。

また、ネットワークで作成するマシンタイプでサポートされているゾーンを確認することもできます。RDMA ネットワーク プロファイルは、サポートされているマシンタイプと同じゾーンで使用できます。詳しくは以下をご覧ください。

仕様

RDMA ネットワーク プロファイルを使用して作成された VPC ネットワークの仕様は次のとおりです。

  • ゾーン制約。RDMA ネットワーク プロファイルを含む VPC ネットワークを使用するリソースは、ネットワークの作成時に VPC ネットワークに関連付けられた RDMA ネットワーク プロファイルと同じゾーンに制限されます。このゾーン上限には次の影響があります。

    • VPC ネットワークにネットワーク インターフェースがあるすべてのインスタンスは、VPC ネットワークで使用される RDMA ネットワーク プロファイルのゾーンと一致するゾーンで作成する必要があります。

    • VPC ネットワークで作成されたすべてのサブネットは、VPC ネットワークで使用される RDMA ネットワーク プロファイルのゾーンを含むリージョンに配置する必要があります。

  • RDMA ネットワーク インターフェースのみ。RDMA ネットワーク プロファイルを持つ VPC ネットワークは、特定のネットワーク インターフェースからのアタッチメントのみをサポートします。

    • Falcon VPC ネットワークは IRDMA ネットワーク インターフェース(NIC)のみをサポートします。これは、H4D マシンシリーズでのみ使用できます。
    • RoCE VPC ネットワークは MRDMA NIC のみをサポートします。これは、A3 UltraA4A4X マシンシリーズでのみ使用できます。

    仮想マシン(VM)インスタンスの RDMA 以外のすべての NIC は、通常の VPC ネットワークに接続する必要があります。

  • 8,896 バイトの MTU。パフォーマンスを最大限に高めるには、RDMA ネットワーク プロファイルを持つ VPC ネットワークの最大伝送単位(MTU)8896 バイトにすることをおすすめします。これにより、VM のゲスト オペレーティング システムの RDMA ドライバは、必要に応じてより小さい MTU を使用できます。

    gcloud CLI または API を使用して RDMA ネットワーク プロファイルで VPC ネットワークを作成する場合、デフォルトの MTU は 8896 バイトです。 Google Cloud コンソールを使用する場合は、MTU を 8896 に設定する必要があります。

  • ファイアウォールの違い。RDMA ネットワーク プロファイルを含む VPC ネットワークのファイアウォールの違いについては、次の情報をご覧ください。

    • RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、次の暗黙のファイアウォール ルールが使用されます。これは、通常の VPC ネットワークで使用される暗黙のファイアウォール ルールとは異なります。

      • 暗黙の下り(外向き)許可
      • 暗黙の上り(内向き)許可
    • Cloud NGFW のサポートは、VPC ネットワークのタイプによって異なります。

      • RoCE VPC ネットワークは、RoCE ファイアウォール ポリシー タイプを持つリージョン ネットワーク ファイアウォール ポリシーのみをサポートします。サポートされているリージョン ネットワーク ファイアウォール ポリシー内のルールのパラメータ セットは制限されています。詳細については、RoCE VPC ネットワーク用の Cloud NGFW をご覧ください。
      • Falcon VPC ネットワークでは、Cloud NGFW ルールまたはポリシーの構成はサポートされていません。
  • 接続テストはサポートされていません接続テストは、RDMA ネットワーク プロファイルを持つ VPC ネットワークをサポートしていません。

  • その他の VPC 機能。RDMA ネットワーク プロファイルを含む VPC ネットワークは、他の VPC 機能の一部のみをサポートしています。詳細については、次のサポートされている機能とサポートされていない機能をご覧ください。

サポートされている機能とサポートされていない機能

次の表に示すのは、RDMA ネットワーク プロファイルを持つ VPC ネットワークでサポートされている VPC 機能です。

機能 サポート対象 ネットワーク プロファイルのプロパティ ネットワーク プロファイルのプロパティ値 詳細
RDMA NIC interfaceTypes MRDMA または IRDMA

RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、RDMA ネットワーク プロファイルに対応する NIC タイプのみがサポートされます。

  • Falcon VPC ネットワークの IRDMA
  • RoCE VPC ネットワークの MRDMA

GVNICVIRTIO_NET などの他の NIC タイプはサポートされていません。

同じネットワーク内のマルチ NIC allowMultiNicInSameNetwork MULTI_NIC_IN_SAME_NETWORK_ALLOWED

RDMA ネットワーク プロファイルを含む VPC ネットワークはマルチ NIC VM をサポートしているため、同じ VM の 2 つ以上の RDMA NIC を同じ VPC ネットワークに配置できます。各 NIC は、VPC ネットワーク内の一意のサブネットに接続する必要があります。

RoCE VPC ネットワークのマルチ NIC に関する考慮事項もご覧ください。

IPv4 のみのサブネット subnetworkStackTypes SUBNET_STACK_TYPE_IPV4_ONLY

RDMA ネットワーク プロファイルを含む VPC ネットワークは、通常の VPC ネットワークと同じ有効な IPv4 範囲を含む、IPv4 のみのサブネットをサポートしています。

RDMA ネットワーク プロファイルを持つ VPC ネットワークは、デュアルスタック サブネットまたは IPv6 のみのサブネットをサポートしていません。詳細については、サブネットの種類をご覧ください。

PRIVATE サブネットの目的 subnetworkPurposes SUBNET_PURPOSE_PRIVATE

RDMA ネットワーク プロファイルを含む VPC ネットワークは、purpose 属性値が PRIVATE の通常のサブネットをサポートしています。

RDMA ネットワーク プロファイルを含む VPC ネットワークは、Private Service Connect サブネット、プロキシ専用サブネット、プライベート NAT サブネットをサポートしていません。詳細については、サブネットの目的をご覧ください。

GCE_ENDPOINT アドレスの目的 addressPurposes GCE_ENDPOINT

RDMA ネットワーク プロファイルを持つ VPC ネットワークは、VM NIC の内部 IP アドレスで使用される purpose 属性値が GCE_ENDPOINT の IP アドレスをサポートしています。

RDMA ネットワーク プロファイルを持つ VPC ネットワークは、SHARED_LOADBALANCER_VIP などの特殊な目的の IP アドレスをサポートしていません。詳細については、アドレス リソースのリファレンスをご覧ください。

nic0 からのアタッチメント allowDefaultNicAttachment DEFAULT_NIC_ATTACHMENT_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、VM の nic0 ネットワーク インターフェースをネットワークに接続することをサポートしていません。VPC ネットワークに接続された各 RDMA NIC は nic0 であってはなりません。
VM の外部 IP アドレス allowExternalIpAccess EXTERNAL_IP_ACCESS_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、RDMA NIC への外部 IP アドレスの割り当てをサポートしていません。そのため、RDMA NIC はインターネットにアクセスできません。
動的ネットワーク インターフェース allowSubInterfaces SUBINTERFACES_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Dynamic NIC をサポートしていません。
エイリアス IP 範囲 allowAliasIpRanges ALIAS_IP_RANGE_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、RDMA NIC へのエイリアス IP 範囲の割り当てをサポートしていません。
IP 転送 allowIpForwarding IP_FORWARDING_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、IP 転送をサポートしていません。
VM ネットワークの移行 allowNetworkMigration NETWORK_MIGRATION_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、ネットワーク間の VM NIC の移行をサポートしていません。
自動モード allowAutoModeSubnet AUTO_MODE_SUBNET_BLOCKED RDMA ネットワーク プロファイルを含む VPC ネットワークは、自動モード ネットワークにできません。詳しくは、サブネット作成モードをご覧ください。
VPC ネットワーク ピアリング allowVpcPeering VPC_PEERING_BLOCKED RDMA ネットワーク プロファイルを含む VPC ネットワークは、VPC ネットワーク ピアリングを使用した他の VPC ネットワークへの接続をサポートしていません。そのため、RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、プライベート サービス アクセスを使用したサービスへの接続はサポートされていません。
静的ルート allowStaticRoutes STATIC_ROUTES_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、静的ルートをサポートしていません。
Packet Mirroring allowPacketMirroring PACKET_MIRRORING_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Packet Mirroring をサポートしていません。
Cloud NAT allowCloudNat CLOUD_NAT_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud NAT をサポートしていません。
Cloud Router allowCloudRouter CLOUD_ROUTER_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud Router と動的ルートをサポートしていません。
Cloud Interconnect allowInterconnect INTERCONNECT_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud Interconnect VLAN アタッチメントをサポートしていません。
Cloud VPN allowVpn VPN_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud VPN トンネルをサポートしていません。
Network Connectivity Center allowNcc NCC_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Network Connectivity Center をサポートしていません。RDMA ネットワーク プロファイルを含む VPC ネットワークを Network Connectivity Center ハブの VPC スポークとして追加することはできません。
Cloud Load Balancing allowLoadBalancing LOAD_BALANCING_BLOCKED RDMA ネットワーク プロファイルを含む VPC ネットワークは、Cloud Load Balancing をサポートしていません。そのため、RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Google Cloud Armor などのロードバランサ機能をサポートしていません。
限定公開の Google アクセス allowPrivateGoogleAccess PRIVATE_GOOGLE_ACCESS_BLOCKED RDMA ネットワーク プロファイルを含む VPC ネットワークは、プライベート Google アクセスをサポートしていません。
Private Service Connect allowPsc PSC_BLOCKED RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Private Service Connect をサポートしていません。

RoCE VPC ネットワークのマルチ NIC に関する考慮事項

クロスレール GPU 間通信のメリットを活かせるワークロードをサポートするため、RoCE VPC ネットワークは、ネットワーク内に複数の MRDMA NIC がある VM をサポートします。各 MRDMA NIC は一意のサブネットに存在する必要があります。2 つ以上の MRDMA NIC を同じ RoCE VPC ネットワークに配置すると、レイテンシの増加など、ネットワーク パフォーマンスに影響する可能性があります。MRDMA NIC は NCCL を使用します。NCCL は、クロスレール通信の場合でも、すべてのネットワーク転送を調整しようとします。たとえば、PXN を使用して、ネットワーク経由で転送する前に、NVlink を介してレールに合わせて調整し、GPU にデータをコピーします。

次のステップ