このドキュメントでは、Google Distributed Cloud（GDC）エアギャップ アプライアンスのデプロイ、クラスタ、ネットワーク アーキテクチャについて説明します。
デプロイ アーキテクチャ
次の図は、アプライアンス ハードウェアが、HSM、NTP サーバー、ネットワーク内の追加クライアントなどのオプション コンポーネントを含むお客様のネットワークにどのように適合するかを示しています。アプライアンスには、管理プレーン、データプレーン、サーバー、1 GPU 対応サーバーが搭載されており、すべてエッジでワークロードを直接実行するように設計されています。
クラスタのアーキテクチャ
GDC エアギャップ アプライアンスは、3 つのベアメタルノードすべてを含む単一のクラスタ（組織インフラストラクチャ クラスタ）を運用します。クラスタで Pod ワークロードとして実行される専用の管理 API サーバーは、管理プレーン API をホストします。このクラスタでは、VM と Kubernetes Pod の両方を含むユーザー ワークロードを実行できます。このクラスタモデルにはユーザー クラスタがありません。
ネットワーク アーキテクチャ
EL8000 には、デバイス内に 4 つの個別のレイヤ 2（L2）ネットワークを作成するバックプレーンが含まれています。
- Integrated Lights-Out（iLO）コンソール（1GbEth）
- 管理ネットワーク（1GbEth）
- データ ネットワーク A（10GbEth）
- データ ネットワーク B（10GbEth）
次の図は、L2 ネットワークが Mellanox スイッチ（https://www.hpe.com/psnow/doc/a00043975enw.html?jumpid=in_pdp-psnow-qs）に接続される方法を示しています。ブレード内の各ネットワークは、単一のネットワーク スイッチに接続します。各サーバーブレードのすべての iLO コンソール ネットワークがネットワーク スイッチ 1 に接続されます。管理ネットワークはネットワーク スイッチ 2 に接続され、データ ネットワークはスイッチ 3 と 4 に接続されます。
お客様のネットワーク ポート（15 と 17）はクラスタ（VLAN 100）にアクセスでき、上り（内向き）CIDR へのトラフィックのみが許可されます。上り（内向き）CIDR はサービスで使用でき、その範囲は Border Gateway Protocol（BGP）を介して顧客ネットワークにアドバタイズされます。
管理ネットワーク ポート（16 と 18）はシステム管理（VLAN 501）にアクセスできるため、お客様はデバイスをより広範なネットワークに配置し、ローカル接続のみを使用してシステム管理タスクを実行できます。
下位のネットワーク トポロジ
物理ネットワーク
GDC は、シングル テナント モードで動作するハイブリッド クラスタで構成されます。ハイブリッド クラスタ（インフラストラクチャ クラスタ）は、システム クラスタと管理クラスタが統合されたものです。
物理設計は、アプライアンス インフラストラクチャ クラスタと外部の顧客ネットワーク間のゲートウェイとして機能する Mellanox SN2010 を中心にしています。
インフラストラクチャ クラスタは 3 つのベアメタルノード（BM）で構成されます。BM の接続は、次のように分類できます。
- VLAN 100 を介したデータ ネットワーク接続（サブネット 198.18.2.0/24）。BM には、ボンディングされて TOR スイッチに接続されている 2 つのポート（
NIC0P1とNIC0P2）を持つ NIC があります。BM1とBM2はスイッチに直接接続しますが、BM3はアンマネージド スイッチを使用して TOR に接続します。 - 管理ネットワーク接続（サブネット 198.18..0/24）は VLAN 501 経由です。ILO インターフェースと MGMT インターフェースは、1G インターフェースを使用してこの VLAN を介して接続されます。BM ノードの ILO インターフェースと MGMT インターフェースは、管理対象外のスイッチを使用してスイッチに接続します。
- 例: VLAN 200 ～ 203（？）に OTS ネットワーキングを追加し、サブネット 198.18.1.x を追加する
Mellanox スイッチからお客様のルーターへの接続は、外部接続を提供します。この接続には 10G インターフェースが使用され、BGP プロトコルを使用して外部ネットワーク IP がお客様にアドバタイズされます。お客様は、外部 IP を使用して、アプライアンス ユニットが提供する必要なサービスにアクセスします。
論理ネットワーク
さまざまなトラフィックを分離する 2 つの仮想ローカルエリア ネットワーク（VLAN）があります。
- VLAN 100: お客様が提供する IPv4 サブネットを含むクラスタ（Ingress 仮想インターネット プロトコル アドレス（VIP）、クラスタ/ノード IP）。
- VLAN 501: お客様が提供する IPv4 サブネットを使用した管理（iLO、Mgmt）。
上位ネットワーク トポロジ
クラスタはレイヤ 2（L2）ロード バランシングを使用して構成されます。クラスタの Ingress VIP は、ノードと同じサブネットから取得されます。Ingress VIP がノードに割り当てられると、ノードはアドレス解決プロトコル（ARP）を使用して、TOR からノードにアクセスできるようにします。
TOR は BGP を使用して顧客ネットワークとピアリングし、クラスタの Ingress 範囲（顧客が提供する集約プレフィックス）を顧客ネットワークにアドバタイズします。ラックが新しい場所に移動すると、クラスタの Ingress 範囲を新しい顧客ネットワークにアドバタイズできます。ラックを新しい場所に移動する場合は、顧客ネットワークに接続する TOR インターフェースの IP アドレスを手動で更新し、BGP ピアリング情報を更新して新しい BGP ピアを追加する必要があります。
クラスタで使用されるすべての IP は、ラックの externalCidrBlock から割り当てられるか、ハードコードされます（クラスタ内部 IP の場合）。次の図では、externalCidrBlock の例は 10.0.0.0/24 です。
クラスタの IP 範囲
ベアメタル クラスタで構成する必要がある IP 範囲がいくつかあります。
- Pod CIDR: クラスタ内の Pod に IP を割り当てるために使用される IP 範囲。この範囲ではアイランド モードが使用されるため、物理ネットワーク（ToR）は Pod CIDR を認識する必要がありません。唯一の要件は、クラスタ Pod がアクセスする必要があるサービスと範囲が重複しないことです。クラスタの作成後に Pod CIDR を変更することはできません。
- Service CIDR: Pod CIDR と同じ要件で、内部クラスタ サービスに使用されます。
- ノード CIDR: Kubernetes クラスタノードの IP アドレス。これらのアドレスは、クラスタの作成後に変更することもできません。
- 上り（内向き）範囲: 外部に公開されているクラスタ内のサービスで使用される IP アドレスの範囲。外部クライアントはこれらの IP を使用して、クラスタ内サービスにアクセスします。クライアントが Ingress IP にアクセスできるように、この範囲をお客様のネットワークにアドバタイズする必要があります。
- コントロール プレーン VIP: Kubernetes
api-serverへのアクセス用にクラスタによってアドバタイズされます（Ingress VIP と同様）。クラスタが L2 ロード バランシング モードの場合、この VIP はノードと同じサブネットに存在する必要があります。
クラスタの Pod CIDR と Service CIDR はハードコードされています。Pod CIDR は 192.168.0.0/16、Service CIDR は 10.96.0.0/12 です。これらの IP はクラスタの外部に公開されないため、クラスタは同じ 2 つの CIDR を使用します。
ノードには、GDC cell.yaml で設定された externalCidrBlock から IP アドレスがプロビジョニングされます。これらの IP アドレスは、ラックがプロビジョニングされる前にお客様から提供されます。
クラスタの Ingress 範囲とコントロール プレーン VIP も externalCidrBlock から割り当てられます。これらの VIP にラック外のクライアントがアクセスできるように、TOR は externalCidrBlock を顧客ネットワークにアドバタイズする必要があります。