Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | Managed Airflow(以前の第 1 世代)
このセクションでは、Managed Airflow 環境用に大規模なネットワークを整理する方法について説明します。
VPC ピアリング ネットワーキングの代わりに Private Service Connect を使用する
詳細については、Private Service Connect を構成する をご覧ください。
VPC、サブネット、転送ルールの割り当て
マネージド Airflow サービスと GKE サービスは、VPC ピアリングを使用して マネージド Airflow 環境のコンポーネント(お客様のプロジェクトとテナント プロジェクト)間、および GKE クラスタと GKE コントロール プレーン間の接続を確立します。
プロジェクトに大規模なネットワーク構成(数百のネットワークと多数の VPC ピアリングが構成されているなど)が存在する場合は、新しい Managed Airflow 環境を作成しようとすると、VPC、サブネット、または転送ルールの割り当てエラーが原因でオペレーションが失敗する可能性があります。
発生する可能性のあるエラーは次のとおりです。
1 つの VPC ネットワークあたりの VPC ピアリングの最大数に達しています。
(この割り当ての引き上げをリクエストしない限り)単一 VPC 内の VPC ピアリングの数のデフォルトの割り当ては 25 です。
プライマリとセカンダリのサブネット IP 範囲の最大数に達しました。
このパラメータに対する割り当ては 400 です。
内部 TCP / UDP 負荷分散のピアリング グループ内の転送ルールの最大数に達しました。
このパラメータに対する割り当ては 175 です。
Google Cloudの VPC に対するデフォルト割り当ての詳細については、割り当てと上限をご覧ください。
Managed Airflow 環境のための大規模なネットワークについて
これらの制限に関連する課題を解決するために、以降のセクションで説明するように、Managed Airflow 環境をメインまたはバックボーンの VPC に接続されている複数の VPC ネットワークに編成できます。
このソリューションは、共有 VPC と非共有 VPC のシナリオに適用できます。
非共有 VPC シナリオでの大規模なネットワークの設定

Managed Airflow の大規模なネットワーク設定を作成するには、次のようにします。
バックボーン VPC ネットワークを作成します。このネットワークは、Managed Airflow 環境をホストする個々の VPC ネットワークのハブとして機能します。
マネージド Airflow 環境用に専用 VPC ネットワークを作成します。複数の Managed Airflow 環境は 1 つの VPC ネットワークにまとめることができます。たとえば、これらのネットワークには、
composer-vpc-1、composer-vpc-2、… という名前を付けることができます。HA VPN トンネルを作成して、Managed Airflow 環境の VPC ネットワークとバックボーン VPC 間の接続を確立します。
共有 VPC シナリオでの大規模なネットワークの設定
共有 VPC ネットワークにおけるネットワーク ピアリング制限の問題を解決するには、Managed Airflow 環境を 1 つのバックボーン VPC に接続された複数のプロジェクトと VPC ネットワークに編成します。

Managed Airflow 用に大規模な共有 VPC ネットワーク設定を作成するには:
ホスト プロジェクトで、バックボーン VPC ネットワークを作成します。このネットワークは、Managed Airflow 環境を実行するサービス プロジェクトの個々の VPC ネットワークを接続します。
ホスト プロジェクトで、Managed Airflow 環境用の VPC ネットワークを作成します。たとえば、これらのネットワークには、
composer-shared-vpc-1、composer-shared-vpc-2、… という名前を付けることができます。手動で HA VPN トンネルを作成して、これらの VPC ネットワークとバックボーン VPC ネットワーク間の接続を確立します。
共有 VPC の設定でManaged Airflow 環境を構成します。