デプロイ用のネットワーク サービス

このドキュメントでは、AI Hypercomputer クラスタと VM デプロイ用に構成するネットワーク サービスについて説明します。AI Hypercomputer 用に構成する特定のネットワーク サービスは、VM またはクラスタ用に選択するデプロイ オプションによって異なります。

このドキュメントは、AI Hypercomputer デプロイのネットワーク サービスについて理解したいアーキテクト、ネットワーク エンジニア、デベロッパーを対象としています。このドキュメントでは、クラウド ネットワーキングと分散コンピューティングのコンセプトについて基本的な知識があることを前提としています。デプロイ オプションの詳細については、VM とクラスタの作成の概要をご覧ください。

このドキュメントでは、次のデプロイ オプション用に構成するネットワーク サービスについて詳しく説明します。

デフォルトの GKE デプロイのネットワーキングを構成する

デフォルト設定で AI 向けに最適化された GKE クラスタを作成する 場合は、Cluster Toolkit ブループリントで掲載ネットワークの設定を 定義します。ブループリントは、選択したマシンタイプによって異なります。たとえば、Cluster Toolkit ブループリントは、A4 マシンを使用して GKE クラスタをデプロイします。

ブループリントは、次のようにネットワークを設定します。

  • デフォルトの VPC を使用する: ブループリントは、メインの GKE クラスタにデフォルトの Virtual Private Cloud ネットワークを使用します。
  • 2 つの追加の VPC を作成する: ブループリントは、2 つの異なる Virtual Private Cloud ネットワークを設定します。1 つは 2 番目のホスト ネットワーク インターフェース カード（NIC）用、もう 1 つはグラフィック プロセッシング ユニット（GPU）間のリモート ダイレクト メモリ アクセス（RDMA）トラフィック用です。この複数の VPC 設定を使用すると、ネットワーク分離を改善できます。詳細については、マルチ VPC 環境をご覧ください。
  • IP アドレス範囲を定義する: ブループリントは、GKE ノードのプライベート IP アドレス空間を設定します。Pod と Service のセカンダリ IP 範囲を構成します。GKE は、IP アドレスの競合を防ぐために IP アドレスのエイリアス設定を使用します。
  • RDMA 最適化ネットワーク プロファイルを適用する: ブループリントは、GPU トラフィックに使用される VPC に、Google が管理する事前設定済みのネットワーク プロファイルを適用します。 このプロファイルは、RDMA に必要な高速かつ低遅延のパフォーマンスを実現するようにネットワークを自動的に構成します。詳細については、ネットワーク プロファイルをご覧ください。
  • RDMA のサブネット作成を自動化する: 最高のパフォーマンスを確保するため、ブループリントは RDMA VPC 内に 8 つの専用サブネットを自動的に作成します。 アクセラレータ VM 上の 8 つの RDMA NIC ごとに 1 つのサブネットを作成します。
  • ファイアウォール ルールを構成する: ブループリントは、クラスタ内のノード間のすべての伝送制御プロトコル（TCP）、User Datagram Protocol（UDP）、インターネット制御メッセージ プロトコル（ICMP）トラフィックを許可するファイアウォール ルールを設定します。これにより、ノードは自由に通信できます。また、セキュリティ上の理由から、GKE クラスタのコントロール プレーンへのアクセスを制限する承認済みのクラスレス ドメイン間ルーティング（CIDR）範囲も構成します。

カスタム構成の GKE デプロイのネットワーキング

デフォルトの Cluster Toolkit ブループリントよりも細かい制御が必要な場合は、AI 向けに最適化された GKE クラスタのネットワーク オブジェクトを手動で構成します。このアプローチでは、ワークロード固有のニーズに合わせてネットワーク設定を調整できます。

使用する構成は、分散 AI ワークロードを実行するかどうかによって異なります 。

  • 非分散ワークロードの場合: GPUDirect RDMA を使用せずに GKE クラスタを作成します。この方法では、すべての通信に単一の VPC ネットワークを使用します。
  • 分散ワークロードの場合: GPUDirect RDMA を有効にして GKE クラスタを作成します。GPUDirect RDMA を有効にすることは、大規模な環境で最適なパフォーマンスを実現するために不可欠です。この構成には、汎用トラフィックを高帯域幅、低レイテンシの GPU 間通信から分離するマルチ VPC 環境が含まれます。

両方のシナリオで AI 向けに最適化されたカスタム GKE クラスタを作成する手順については、AI 向けに最適化されたカスタム GKE クラスタを作成するをご覧ください。

Slurm クラスタ デプロイのネットワーキング

Cluster Toolkit を使用すると、高度にカスタマイズ可能で拡張可能なブループリントを使用して、 でハイ パフォーマンス コンピューティング（HPC）、AI、ML ワークロードをデプロイできます。 Google Cloud たとえば、A4 マシン タイプを使用して AI 向けに最適化された Slurm クラスタを作成する場合などです。この セクションでは、 A4 ブループリントで構成されたネットワーク サービスについて説明します。 これにより、 Slurm クラスタの作成時に変更できるネットワーク設定を理解できます。

デプロイ中、Cluster Toolkit ブループリントは Packer を使用してカスタム オペレーティング システム（OS）イメージを自動的にビルドします。Packer は、一時的な VM を起動してブートディスクをカスタマイズするスクリプトを実行することでイメージを作成します。起動スクリプト、シェル スクリプト、Ansible プレイブックを使用してイメージをカスタマイズできます。ブループリントは、このカスタム イメージを使用して、Slurm ノードにクラスタとワークロードの管理に必要なシステム ソフトウェアをインストールします。

ブループリントが構成するネットワーク コンポーネントは次のとおりです。

  • 3 つの異なる VPC を作成する: ブループリントは、Slurm コントロール プレーン用のプライマリ VPC、汎用ホストレベル トラフィック用のセカンダリ VPC、GPU 間通信専用の高パフォーマンス VPC を作成します。この分離により、管理トラフィックがワークロード データプレーンに干渉するのを防ぎます。 詳細については、マルチ VPC 環境をご覧ください。
  • RDMA 最適化ネットワーク プロファイルを適用する: GPU データプレーンの場合、ブループリントは RoCE に最適化された事前構成済みの Google マネージド ネットワーク プロファイルを適用します。アクセラレータ VM 上の RDMA NIC ごとに 1 つずつ、8 つのサブネットが自動的に作成されます。詳細については、特定のユースケース向けの ネットワーク プロファイルをご覧ください。
  • 共有ストレージの IP アドレス範囲を予約する: ブループリントは、Filestore サービスに必要な専用の IP アドレス範囲を設定します。 Filestore は、クラスタの共有 /home ディレクトリを提供します。
  • 分離されたイメージビルド ネットワークを提供する: ブループリントは、クラスタノードのカスタム VM イメージのビルド プロセスでのみ使用される一時的な VPC を作成します。これにより、Packer オペレーションに分離されたネットワーク環境が提供されます。

その他のデプロイ オプションについては、Cluster Toolkit のドキュメントをご覧ください。

Compute Engine インスタンスのネットワーキング

Compute Engine を使用すると、さまざまなアクセラレータ最適化マシンタイプに対して、スタンドアロン VM、VM インスタンスの一括作成、マネージド インスタンス グループ（MIG）を作成できます。

これらのマシンタイプでは、さまざまな種類のトラフィックを処理するためにマルチ VPC ネットワーク構成が必要です。この構成では、一般的なホスト間トラフィックを高帯域幅の GPU 間通信から分離します。具体的なネットワーク要件は、マシンタイプによって異なります。

マシンタイプの NIC とネットワーク構成の詳細については、ネットワーク帯域幅と NIC の配置を確認するをご覧ください。

これらの VPC ネットワークを作成する手順については、VPC ネットワークを作成するをご覧ください。

次のステップ