RDMA ネットワーク プロファイル
このページでは、 Google Cloudの Remote Direct Memory Access（RDMA）ネットワーク プロファイルの概要について説明します。
概要
RDMA ネットワーク プロファイルを使用すると、ネットワークに作成された VM のメモリまたは GPU 間で低レイテンシ、高帯域幅の RDMA 通信を提供する Virtual Private Cloud（VPC）ネットワークを作成できます。
RDMA ネットワーク プロファイルは、AI ワークロードの実行に役立ちます。 Google Cloudで AI ワークロードを実行する方法の詳細については、AI Hypercomputer の概要をご覧ください。
RDMA ネットワーク プロファイルを使用して、次のタイプの VPC ネットワークを作成できます。
| VPC ネットワークの種類 | ネットワーク プロファイル リソース名 | プロトコル | サポートされている NIC タイプ | サポートされているマシンタイプ |
|---|---|---|---|---|
| Falcon VPC ネットワーク（プレビュー） | ZONE-vpc-falcon |
Falcon トランスポート経由の RDMA | IRDMA |
|
| RoCE VPC ネットワーク | ZONE-vpc-roce |
RDMA over Converged Ethernet v2（RoCE v2） | MRDMA |
サポートされているゾーン
RDMA ネットワーク プロファイルは、一部のゾーンでのみ使用できます。Falcon VPC ネットワークまたは RoCE VPC ネットワークは、対応するネットワーク プロファイルが使用可能なゾーンでのみ作成できます。
サポートされているゾーンを確認するには、ネットワーク プロファイルを一覧表示するをご覧ください。
また、ネットワークで作成するマシンタイプでサポートされているゾーンを確認することもできます。RDMA ネットワーク プロファイルは、サポートされているマシンタイプと同じゾーンで使用できます。詳しくは以下をご覧ください。
- GPU マシンタイプについては、各リージョンとゾーンで利用可能な GPU をご覧ください。
- 他のマシンタイプについては、使用可能なリージョンとゾーンをご覧ください。
仕様
RDMA ネットワーク プロファイルを使用して作成された VPC ネットワークの仕様は次のとおりです。
ゾーン制約。RDMA ネットワーク プロファイルを含む VPC ネットワークを使用するリソースは、ネットワークの作成時に VPC ネットワークに関連付けられた RDMA ネットワーク プロファイルと同じゾーンに制限されます。このゾーン上限には次の影響があります。
VPC ネットワークにネットワーク インターフェースがあるすべてのインスタンスは、VPC ネットワークで使用される RDMA ネットワーク プロファイルのゾーンと一致するゾーンで作成する必要があります。
VPC ネットワークで作成されたすべてのサブネットは、VPC ネットワークで使用される RDMA ネットワーク プロファイルのゾーンを含むリージョンに配置する必要があります。
RDMA ネットワーク インターフェースのみ。RDMA ネットワーク プロファイルを持つ VPC ネットワークは、特定のネットワーク インターフェースからのアタッチメントのみをサポートします。
- Falcon VPC ネットワークは
IRDMAネットワーク インターフェース（NIC）のみをサポートします。これは、H4D マシンシリーズでのみ使用できます。 - RoCE VPC ネットワークは
MRDMANIC のみをサポートします。これは、A3 Ultra、A4、A4X マシンシリーズでのみ使用できます。
仮想マシン（VM）インスタンスの RDMA 以外のすべての NIC は、通常の VPC ネットワークに接続する必要があります。
- Falcon VPC ネットワークは
8,896 バイトの MTU。パフォーマンスを最大限に高めるには、RDMA ネットワーク プロファイルを持つ VPC ネットワークの最大伝送単位（MTU）を
8896バイトにすることをおすすめします。これにより、VM のゲスト オペレーティング システムの RDMA ドライバは、必要に応じてより小さい MTU を使用できます。gcloud CLI または API を使用して RDMA ネットワーク プロファイルで VPC ネットワークを作成する場合、デフォルトの MTU は
8896バイトです。 Google Cloud コンソールを使用する場合は、MTU を8896に設定する必要があります。ファイアウォールの違い。RDMA ネットワーク プロファイルを含む VPC ネットワークのファイアウォールの違いについては、次の情報をご覧ください。
RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、次の暗黙のファイアウォール ルールが使用されます。これは、通常の VPC ネットワークで使用される暗黙のファイアウォール ルールとは異なります。
- 暗黙の下り（外向き）許可
- 暗黙の上り（内向き）許可
Cloud NGFW のサポートは、VPC ネットワークのタイプによって異なります。
- RoCE VPC ネットワークは、RoCE ファイアウォール ポリシー タイプを持つリージョン ネットワーク ファイアウォール ポリシーのみをサポートします。サポートされているリージョン ネットワーク ファイアウォール ポリシー内のルールのパラメータ セットは制限されています。詳細については、RoCE VPC ネットワーク用の Cloud NGFW をご覧ください。
- Falcon VPC ネットワークでは、Cloud NGFW ルールまたはポリシーの構成はサポートされていません。
接続テストはサポートされていません。接続テストは、RDMA ネットワーク プロファイルを持つ VPC ネットワークをサポートしていません。
その他の VPC 機能。RDMA ネットワーク プロファイルを含む VPC ネットワークは、他の VPC 機能の一部のみをサポートしています。詳細については、次のサポートされている機能とサポートされていない機能をご覧ください。
サポートされている機能とサポートされていない機能
次の表に示すのは、RDMA ネットワーク プロファイルを持つ VPC ネットワークでサポートされている VPC 機能です。
| 機能 | サポート対象 | ネットワーク プロファイルのプロパティ | ネットワーク プロファイルのプロパティ値 | 詳細 |
|---|---|---|---|---|
| RDMA NIC | interfaceTypes |
MRDMA または IRDMA |
RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、RDMA ネットワーク プロファイルに対応する NIC タイプのみがサポートされます。
|
|
| 同じネットワーク内のマルチ NIC | allowMultiNicInSameNetwork |
MULTI_NIC_IN_SAME_NETWORK_ALLOWED |
RDMA ネットワーク プロファイルを含む VPC ネットワークはマルチ NIC VM をサポートしているため、同じ VM の 2 つ以上の RDMA NIC を同じ VPC ネットワークに配置できます。各 NIC は、VPC ネットワーク内の一意のサブネットに接続する必要があります。 RoCE VPC ネットワークのマルチ NIC に関する考慮事項もご覧ください。 |
|
| IPv4 のみのサブネット | subnetworkStackTypes |
SUBNET_STACK_TYPE_IPV4_ONLY |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、通常の VPC ネットワークと同じ有効な IPv4 範囲を含む、IPv4 のみのサブネットをサポートしています。 RDMA ネットワーク プロファイルを持つ VPC ネットワークは、デュアルスタック サブネットまたは IPv6 のみのサブネットをサポートしていません。詳細については、サブネットの種類をご覧ください。 |
|
PRIVATE サブネットの目的 |
subnetworkPurposes |
SUBNET_PURPOSE_PRIVATE |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、 RDMA ネットワーク プロファイルを含む VPC ネットワークは、Private Service Connect サブネット、プロキシ専用サブネット、プライベート NAT サブネットをサポートしていません。詳細については、サブネットの目的をご覧ください。 |
|
GCE_ENDPOINT アドレスの目的 |
addressPurposes |
GCE_ENDPOINT |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、VM NIC の内部 IP アドレスで使用される RDMA ネットワーク プロファイルを持つ VPC ネットワークは、 |
|
nic0 からのアタッチメント |
allowDefaultNicAttachment |
DEFAULT_NIC_ATTACHMENT_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、VM の nic0 ネットワーク インターフェースをネットワークに接続することをサポートしていません。VPC ネットワークに接続された各 RDMA NIC は nic0 であってはなりません。 |
|
| VM の外部 IP アドレス | allowExternalIpAccess |
EXTERNAL_IP_ACCESS_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、RDMA NIC への外部 IP アドレスの割り当てをサポートしていません。そのため、RDMA NIC はインターネットにアクセスできません。 | |
| 動的ネットワーク インターフェース | allowSubInterfaces |
SUBINTERFACES_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Dynamic NIC をサポートしていません。 | |
| エイリアス IP 範囲 | allowAliasIpRanges |
ALIAS_IP_RANGE_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、RDMA NIC へのエイリアス IP 範囲の割り当てをサポートしていません。 | |
| IP 転送 | allowIpForwarding |
IP_FORWARDING_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、IP 転送をサポートしていません。 | |
| VM ネットワークの移行 | allowNetworkMigration |
NETWORK_MIGRATION_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、ネットワーク間の VM NIC の移行をサポートしていません。 | |
| 自動モード | allowAutoModeSubnet |
AUTO_MODE_SUBNET_BLOCKED |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、自動モード ネットワークにできません。詳しくは、サブネット作成モードをご覧ください。 | |
| VPC ネットワーク ピアリング | allowVpcPeering |
VPC_PEERING_BLOCKED |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、VPC ネットワーク ピアリングを使用した他の VPC ネットワークへの接続をサポートしていません。そのため、RDMA ネットワーク プロファイルを持つ VPC ネットワークでは、プライベート サービス アクセスを使用したサービスへの接続はサポートされていません。 | |
| 静的ルート | allowStaticRoutes |
STATIC_ROUTES_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、静的ルートをサポートしていません。 | |
| Packet Mirroring | allowPacketMirroring |
PACKET_MIRRORING_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Packet Mirroring をサポートしていません。 | |
| Cloud NAT | allowCloudNat |
CLOUD_NAT_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud NAT をサポートしていません。 | |
| Cloud Router | allowCloudRouter |
CLOUD_ROUTER_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud Router と動的ルートをサポートしていません。 | |
| Cloud Interconnect | allowInterconnect |
INTERCONNECT_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud Interconnect VLAN アタッチメントをサポートしていません。 | |
| Cloud VPN | allowVpn |
VPN_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Cloud VPN トンネルをサポートしていません。 | |
| Network Connectivity Center | allowNcc |
NCC_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Network Connectivity Center をサポートしていません。RDMA ネットワーク プロファイルを含む VPC ネットワークを Network Connectivity Center ハブの VPC スポークとして追加することはできません。 | |
| Cloud Load Balancing | allowLoadBalancing |
LOAD_BALANCING_BLOCKED |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、Cloud Load Balancing をサポートしていません。そのため、RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Google Cloud Armor などのロードバランサ機能をサポートしていません。 | |
| 限定公開の Google アクセス | allowPrivateGoogleAccess |
PRIVATE_GOOGLE_ACCESS_BLOCKED |
RDMA ネットワーク プロファイルを含む VPC ネットワークは、プライベート Google アクセスをサポートしていません。 | |
| Private Service Connect | allowPsc |
PSC_BLOCKED |
RDMA ネットワーク プロファイルを持つ VPC ネットワークは、Private Service Connect をサポートしていません。 |
RoCE VPC ネットワークのマルチ NIC に関する考慮事項
クロスレール GPU 間通信のメリットを活かせるワークロードをサポートするため、RoCE VPC ネットワークは、ネットワーク内に複数の MRDMA NIC がある VM をサポートします。各 MRDMA NIC は一意のサブネットに存在する必要があります。2 つ以上の MRDMA NIC を同じ RoCE VPC ネットワークに配置すると、レイテンシの増加など、ネットワーク パフォーマンスに影響する可能性があります。MRDMA NIC は NCCL を使用します。NCCL は、クロスレール通信の場合でも、すべてのネットワーク転送を調整しようとします。たとえば、PXN を使用して、ネットワーク経由で転送する前に、NVlink を介してレールに合わせて調整し、GPU にデータをコピーします。