デプロイ用のネットワーク サービス

構成するネットワーク サービスは、選択したデプロイ オプション（VM またはクラスタ）とインフラストラクチャによって異なります。

このドキュメントは、AI Hypercomputer デプロイのネットワーク サービスについて理解したいアーキテクト、ネットワーク エンジニア、デベロッパーを対象としています。 このドキュメントでは、クラウド ネットワーキングと分散コンピューティングのコンセプトについて基本的な知識があることを前提としています。デプロイ オプションの詳細については、 デプロイ オプションの概要をご覧ください。

ネットワーク アーキテクチャ、プロトコル、ハードウェア トポロジの詳細については、GPU ネットワーキング の概要をご覧ください。

デフォルト構成を使用した AI 最適化 GKE デプロイのネットワーキング

デフォルト設定で AI 最適化 GKE クラスタを作成すると、Cluster Toolkit ブループリントは次のようにネットワークを構成します。

  • ブループリントは、メインの GKE クラスタにデフォルトの VPC ネットワークを使用します。
  • 2 つの追加の VPC を作成します。1 つは 2 つ目のホスト ネットワーク インターフェース カード（NIC）用、もう 1 つは GPU 間リモート ダイレクト メモリ アクセス（RDMA）トラフィック用です。
  • ブループリントは、GPU トラフィックに使用される VPC に、事前構成された Google マネージド ネットワーク プロファイルを適用します。このプロファイルは、高速かつ低レイテンシの RDMA パフォーマンスを実現するようにネットワークを自動的に構成します。
  • ブループリントは、アクセラレータ VM 上の各 RDMA NIC に対して、RDMA VPC 内に 8 つの専用サブネットを自動的に作成します。
  • クラスタ内のノード間のすべての TCP、UDP、ICMP トラフィックを許可するファイアウォール ルールを構成します。

カスタム構成を使用した GKE デプロイのネットワーキング

カスタム GKE 設定のネットワーク構成は、ワークロード タイプとインフラストラクチャによって異なります。

  • 一般的な GPU または分散されていないワークロードの場合は、GPUDirect RDMA を使用せずに GKE クラスタを作成します。この構成では、すべての通信に単一の VPC ネットワークを使用します。
  • クラスタ化された GPU または分散ワークロードの場合は、GPUDirect RDMA を有効にして GKE クラスタを作成します。この構成では、汎用トラフィックを高帯域幅の GPU 間通信から分離するマルチ VPC 環境を使用します。

Slurm クラスタ デプロイのネットワーキング

Cluster Toolkit を使用して、A4 シリーズや A3 Ultra シリーズなどのカスタマイズ可能なブループリントを使用して、AI / ML ワークロードをデプロイします。

クラスタ化された GPU Slurm デプロイのブループリントによって構成されるネットワーク コンポーネントは次のとおりです。

  • ブループリントは、3 つの異なる VPC を作成します。Slurm コントロール プレーン用のプライマリ VPC、一般的なホストレベルのトラフィック用のセカンダリ VPC、GPU 間通信専用の高性能 VPC です。
  • GPU データプレーンの場合、ブループリントは RoCE 用に最適化された事前構成済みの Google マネージド ネットワーク プロファイルを適用します。
  • ブループリントは、クラスタの共有 /home ディレクトリを提供する Filestore サービスに必要な専用の IP アドレス範囲を設定します。
  • クラスタノードのカスタム VM イメージの作成プロセスでのみ使用される、一時的な分離されたイメージビルド VPC を作成します。

Compute Engine インスタンスのネットワーキング

Compute Engine を使用して、スタンドアロン VM、一括コンピューティング インスタンス、マネージド インスタンス グループ（MIG）を作成できます。具体的なネットワーク要件は、マシンタイプのインフラストラクチャ モデルによって異なります。

  • クラスタ化された GPU: これらのマシンシリーズ（A4X Max、 A4X、A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU を搭載））では、一般的なホスト間トラフィックを 高帯域幅の GPU 間通信から分離するために、マルチ VPC ネットワーク構成が必要です。
  • 一般的な GPU: これらのマシンシリーズ（G2、 G4、A2、N1（T4 または V100 を搭載））は、すべての通信に gVNIC インターフェース を介して単一 VPC アーキテクチャを使用します。A3 Edge は例外で、4 つのデータ VPC と GPUDirect-TCPX が必要です。

マシンタイプの NIC とネットワーク構成の詳細については、ネットワーキングと GPU マシンをご覧ください。

次のステップ