デプロイ用のネットワーク サービス

このドキュメントでは、AI Hypercomputer クラスタと VM のデプロイ用に構成するネットワーク サービスについて説明します。AI Hypercomputer 用に構成する特定のネットワーク サービスは、VM またはクラスタ用に選択するデプロイ オプションによって異なります。

このドキュメントは、AI ハイパーコンピュータのデプロイのネットワーク サービスについて理解したいアーキテクト、ネットワーク エンジニア、デベロッパーを対象としています。このドキュメントは、クラウド ネットワーキングと分散コンピューティングのコンセプトに関する基本的な知識があることを前提としています。デプロイ オプションの詳細については、VM とクラスタの作成の概要をご覧ください。

このドキュメントでは、次のデプロイ オプション用に構成するネットワーク サービスについて詳しく説明します。

デフォルトの GKE デプロイのネットワーキングを構成する

デフォルト設定で AI 最適化 GKE クラスタを作成するときに、Cluster Toolkit ブループリントでネットワーク設定を定義します。ブループリントは、選択したマシンタイプに応じて変化します。たとえば、Cluster Toolkit ブループリントは、A4 マシンを使用して GKE クラスタをデプロイします。

このブループリントでは、次のようにネットワークを設定します。

  • デフォルトの VPC を使用する: ブループリントは、メインの GKE クラスタにデフォルトの Virtual Private Cloud ネットワークを使用します。
  • 2 つの VPC を追加で作成します。ブループリントは、2 つの異なる Virtual Private Cloud ネットワークを設定します。1 つは 2 番目のホスト ネットワーク インターフェース カード（NIC）用、もう 1 つは GPU 間リモート ダイレクト メモリ アクセス（RDMA）トラフィック用です。この複数の VPC 設定を使用すると、ネットワーク分離を改善できます。詳細については、マルチ VPC 環境をご覧ください。
  • IP アドレス範囲を定義する: ブループリントは、GKE ノードのプライベート IP アドレス空間を設定します。Pod と Service のセカンダリ IP 範囲を構成します。GKE は、IP アドレスの競合を防ぐために IP アドレス エイリアスを使用します。
  • RDMA 最適化ネットワーク プロファイルを適用する: ブループリントは、GPU トラフィックに使用される VPC に、事前設定された Google 管理のネットワーク プロファイルを適用します。このプロファイルは、RDMA に必要な高速で低遅延のパフォーマンスを実現するようにネットワークを自動的に構成します。詳細については、特定のユースケース向けのネットワーク プロファイルをご覧ください。
  • RDMA のサブネット作成を自動化: パフォーマンスを最大限に高めるため、ブループリントは RDMA VPC 内に 8 つの専用サブネットを自動的に作成します。アクセラレータ VM の 8 個の RDMA NIC ごとに 1 つのサブネットを作成します。
  • ファイアウォール ルールを構成する: ブループリントは、クラスタ内のノード間のすべての伝送制御プロトコル（TCP）、User Datagram Protocol（UDP）、インターネット制御メッセージ プロトコル（ICMP）トラフィックを許可するファイアウォール ルールを設定します。これにより、ノードは自由に通信できます。また、セキュリティ上の理由から、GKE クラスタのコントロール プレーンへのアクセスを制限するように、承認済みのクラスレス ドメイン間ルーティング（CIDR）範囲も構成します。

カスタム構成の GKE デプロイのネットワーキング

デフォルトの Cluster Toolkit ブループリントよりもきめ細かい制御が必要な場合は、AI 最適化 GKE クラスタのネットワーク オブジェクトを手動で構成します。このアプローチにより、ワークロード固有のニーズに合わせてネットワーク設定を調整できます。

使用する構成は、分散 AI ワークロードを実行するかどうかによって異なります。

  • 分散されていないワークロードの場合: GPUDirect RDMA を使用せずに GKE クラスタを作成します。この方法では、すべての通信に単一の VPC ネットワークを使用します。
  • 分散ワークロードの場合: GPUDirect RDMA を有効にして GKE クラスタを作成します。GPUDirect RDMA を有効にすることは、大規模で最適なパフォーマンスを実現するために不可欠です。この構成では、汎用トラフィックと高帯域幅、低レイテンシの GPU 間通信を分離するマルチ VPC 環境を使用します。

両方のシナリオでカスタム AI 最適化 GKE クラスタを作成する詳しい手順については、カスタム AI 最適化 GKE クラスタを作成するをご覧ください。

Slurm クラスタ デプロイのネットワーキング

Cluster Toolkit を使用すると、高度にカスタマイズ可能で拡張可能なブループリントを使用して、ハイ パフォーマンス コンピューティング（HPC）、AI、ML のワークロードを Google Cloud にデプロイできます。たとえば、A4 マシンタイプを使用して AI によって最適化された Slurm クラスタを作成する場合などです。このセクションでは、A4 ブループリントで構成されているネットワーク サービスについて説明します。これにより、Slurm クラスタの作成時に変更できるネットワーク設定を理解できます。

デプロイ中、Cluster Toolkit ブループリントは Packer を使用して、カスタム オペレーティング システム（OS）イメージを自動的にビルドします。Packer は、一時的な VM を起動し、スクリプトを実行してブートディスクをカスタマイズすることでイメージを作成します。起動スクリプト、シェル スクリプト、または Ansible プレイブックを使用してイメージをカスタマイズできます。ブループリントは、このカスタム イメージを使用して、クラスタとワークロードの管理に必要なシステム ソフトウェアを Slurm ノードにインストールします。

ブループリントが構成するネットワーク コンポーネントは次のとおりです。

  • 3 つの異なる VPC を作成します。このブループリントでは、Slurm コントロール プレーン用のプライマリ VPC、一般的なホストレベルのトラフィック用のセカンダリ VPC、GPU 間通信用の専用の高性能 VPC が作成されます。この分離により、管理トラフィックがワークロード データプレーンに干渉することを防ぎます。詳細については、マルチ VPC 環境をご覧ください。
  • RDMA 最適化ネットワーク プロファイルを適用する: GPU データプレーンの場合、ブループリントは、RoCE 用に最適化された事前構成済みの Google マネージド ネットワーク プロファイルを適用します。アクセラレータ VM の各 RDMA NIC に 1 つずつ、8 つのサブネットが自動的に作成されます。詳細については、特定のユースケース向けのネットワーク プロファイルをご覧ください。
  • 共有ストレージの IP アドレス範囲を予約します: ブループリントは、Filestore サービスに必要な専用の IP アドレス範囲を設定します。Filestore は、クラスタの共有 /home ディレクトリを提供します。
  • 分離されたイメージ ビルド ネットワークを提供します。ブループリントは、クラスタノードのカスタム VM イメージのビルド プロセスでのみ使用される一時的な VPC を作成します。これにより、Packer オペレーション用に分離されたネットワーク環境が提供されます。

その他のデプロイ オプションについては、Cluster Toolkit のドキュメントをご覧ください。

Compute Engine インスタンスのネットワーキング

Compute Engine では、さまざまなアクセラレータ最適化マシンタイプ用に、スタンドアロン VM、VM インスタンスの一括作成、マネージド インスタンス グループ（MIG）を作成できます。

これらのマシンタイプでは、さまざまな種類のトラフィックを処理するために、マルチ VPC ネットワーク構成が必要です。この構成では、一般的なホスト間トラフィックと高帯域幅の GPU 間通信が分離されます。ネットワークの具体的な要件は、マシンタイプによって異なります。

マシンタイプの NIC とネットワーク構成の詳細については、ネットワーク帯域幅と NIC の配置を確認するをご覧ください。

これらの VPC ネットワークを作成する手順については、VPC ネットワークを作成するをご覧ください。

次のステップ