Managed Airflow(Gen 3) | Managed Airflow(Gen 2) | Managed Airflow(レガシー Gen 1)
このページでは、エンドポイントの使用制限の組織のポリシーが適用されている場合に、Managed Airflow 環境を作成する方法について説明します。
constraints/gcp.restrictEndpointUsage 組織のポリシーは、リソースへのアクセスに使用できる Google API エンドポイントを制限します。これにより、組織は、たとえば、特定の地理的エリア内にデータを保持するという要件を満たすために、ロケーション エンドポイントまたはリージョン エンドポイントの使用を強制できます。
Managed Airflow のエンドポイント使用制限ポリシーについて
エンドポイント使用制限ポリシーによって Cloud Storage API、Cloud Logging API、Pub/Sub API、Data Lineage API などのサービスのグローバル エンドポイントへのアクセスが拒否されるプロジェクトで Managed Airflow 環境を作成すると、Managed Airflow は、これらのサービスに対応するリージョン エンドポイント(REP)を使用するように環境の内部コンポーネントを構成します。
環境で使用される特定のエンドポイントは、環境の作成時にのみ、エンドポイントの使用を制限するポリシーによって決定されます。これらのエンドポイントは、後でポリシーを再構成しても変更されません。
Managed Airflow 環境に必要なサービスを制限する
エンドポイントの使用を制限するポリシーによって、Managed Airflow に必要なサービスの一部が制限される場合、次の制限が適用されます。
Airflow UI の Airflow タスクログ
Airflow UI は、グローバル Cloud Logging エンドポイント(
logging.googleapis.com)を使用してタスクログを表示します。エンドポイントの使用制限ポリシーでlogging.googleapis.comを拒否すると、Airflow UI でタスクログを使用できなくなります。この制限は Airflow UI にのみ適用されます。 Google Cloud コンソールと Cloud Logging で、DAG UI のタスクログと Airflow ワーカーログを引き続き表示できます。
環境指標
一部の Monitoring API はリージョン エンドポイントを完全にサポートしていないため、Managed Airflow は Cloud Monitoring(
monitoring.googleapis.com)にグローバル エンドポイントを使用します。monitoring.googleapis.comを制限すると、一部の環境指標に影響する可能性があります。DAG の Airflow オペレーター
エンドポイント使用制限ポリシーによって拒否されたグローバル エンドポイントに接続する Airflow オペレーターは失敗します。DAG の Airflow オペレーターがリージョン エンドポイントをサポートしている場合は、リージョン エンドポイントを使用するように構成されていることを確認します。
顧客管理の暗号鍵(CMEK)
顧客管理の暗号鍵の使用は、エンドポイントの使用制限ポリシーと併用できません。
始める前に
エンドポイント使用制限ポリシーを構成する
エンドポイントの使用制限ポリシーを構成して特定のグローバル エンドポイントへのアクセスを拒否する方法の詳細と例については、エンドポイントの使用の制限をご覧ください。
エンドポイント使用制限ポリシーを使用してパブリック IP 環境を作成する
パブリック IP Managed Airflow 環境では、追加の設定は必要ありません。手順は次のとおりです。
リージョン化するサービスに、選択したリージョンで使用可能なリージョン エンドポイントがあることを確認します。
エンドポイント使用制限ポリシーがすでに構成されており、リージョン化するサービスのグローバル エンドポイントが拒否されていることを確認します。
-
環境では、エンドポイント使用制限ポリシーに従ってリージョン エンドポイントが使用されます。
エンドポイント使用制限ポリシーを使用してプライベート IP 環境を作成する
プライベート IP 構成でエンドポイント使用制限ポリシーを使用して環境を作成するには、Private Service Connect と Cloud DNS を使用して、必要なリージョン エンドポイント(REP)にトラフィックを解決してルーティングするように VPC ネットワークを構成する必要があります。
エンドポイント使用制限ポリシーを使用してプライベート IP 環境を作成するには:
リージョン化するサービスに、選択したリージョンで使用可能なリージョン エンドポイントがあることを確認します。
エンドポイント使用制限ポリシーがすでに構成されており、リージョン化するサービスのグローバル エンドポイントが拒否されていることを確認します。
プライベート IP 環境で使用する VPC ネットワークとサブネットワークがすでに存在することを確認します。
エンドポイント使用制限ポリシーによって制限されている次のサービスごとに、ネットワーク構成の手順を繰り返します。
storage.googleapis.comlogging.googleapis.compubsub.googleapis.comdatalineage.googleapis.com- DAG で使用される他のすべてのサービスの Google API エンドポイント。
ポリシーで制限されているサービスのプライベート IP ネットワーキングを構成する
プロジェクト内の Google サービスで、グローバル エンドポイントへのアクセスが制限されている場合は、対応するリージョン エンドポイント(REP)に次の手順を適用します。
これらのサービスのリージョン バリエーションをターゲットとする Private Service Connect エンドポイントを作成し、Managed Airflow 環境のリージョンを指定する必要があります。たとえば、環境が us-central1 にある場合は、Cloud Storage の storage.us-central1.rep.googleapis.com REP をターゲットにします。
Private Service Connect エンドポイントを使用して、サポートされている Google API のリージョン エンドポイントに接続する方法については、エンドポイントを介してリージョン Google API にアクセスするをご覧ください。
Private Service Connect エンドポイントを作成する
Google Cloud コンソールで、[Private Service Connect] ページに移動します。
[エンドポイントを接続] をクリックします。
Private Service Connect エンドポイントを次のように構成します。
[ターゲット]: [Google API] を選択します。
ターゲットの詳細:
- [スコープ]:
Regionalを選択します。 - リージョン: Managed Airflow 環境のリージョンを選択します。
- ターゲット サービス: 構成するサービスを選択します。これにより、選択したリージョンの REP が選択されます。
例:
環境が
us-central1にあり、Cloud Storage を構成する場合は、Iowa (us-central1)とCloud Storage (storage.us-central1.rep.googleapis.com)を選択します。- [スコープ]:
エンドポイントの詳細:
エンドポイント名: エンドポイントの名前。
例:
psc-storage-endpoint-us-central1。ネットワークとサブネットワーク: Managed Airflow 環境の VPC ネットワークとサブネットワークを選択します。
IP アドレス: 既存の IP アドレスを選択するか、[IP アドレスを作成] をクリックして、選択したサブネットワークから新しい静的内部 IP アドレスを予約します。
この IP アドレスにわかりやすい名前を付けます。この IP アドレスは、後で DNS レコードを構成するときに使用します。
例:
psc-storage-us-central1。
[エンドポイントを追加] をクリックします。
限定公開 DNS ゾーンを作成する
Google Cloud コンソールで、[Cloud DNS] ページに移動します。
[ゾーンを作成] をクリックします。
[ゾーンタイプ] で [
Private] を選択します。次の構成を指定します。
ゾーン名: ゾーンの名前。
例:
storage-us-central1DNS 名: DNS 名。末尾のドットを含めます。
例:
storage.us-central1.rep.googleapis.com.ネットワーク: Managed Airflow 環境の VPC ネットワークを選択します。
[作成] をクリックします。
作成した DNS ゾーンに DNS レコードを追加する
Google Cloud コンソールで、[Cloud DNS] ページに移動します。
作成したゾーンの名前をクリックします。
[標準を追加] をクリックします。
DNS レコードを次のように構成します。
DNS 名: DNS ゾーンのサブドメインを指定します。
例:
storage.us-central1.rep.googleapis.com[リソース レコードのタイプ]: [
A] を選択します。IPv4 アドレス: Private Service Connect エンドポイントに割り当てた IP アドレスを選択します。
[作成] をクリックします。
プライベート IP Managed Airflow 環境を作成する
環境で使用するすべてのサービスを構成したら、選択した VPC ネットワークとサブネットワークにプライベート IP 環境を作成します。