配置共享 VPC 网络

Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)

本页面介绍了 Managed Airflow 的共享 VPC 网络和宿主项目要求。

共享 VPC 使组织能够在项目级层建立 预算和访问权限控制边界,同时 允许使用 专用 IP 跨这些边界进行安全高效的通信。 在共享 VPC 配置中,Managed Service for Apache Airflow 可以调用同一组织中其他 Google Cloud 项目托管的服务 ,而无需将服务 公开给公共互联网。

共享 VPC 的准则

Managed Airflow 环境位于服务项目中。Managed Airflow 环境中的网络连接会连接到宿主项目中的 VPC 网络。
图 1.Managed Airflow(第 3 代)的服务项目和宿主项目(点击可放大)

  • 共享 VPC 要求您指定网络 和子网所属的 宿主项目 以及与该 宿主项目 关联的 服务项目。当 Managed Airflow 参与共享 VPC 时,Managed Airflow 环境位于服务项目中。

  • 确保 Managed Airflow 环境的内部 IP 范围 与 VPC 网络范围 没有冲突

  • Managed Airflow(第 3 代)的 传递 DNS 跃点限制为 1,请 确保您的 DNS 配置允许此限制。

  • Managed Airflow(第 3 代)不支持用户定义的 .internal DNS 区域。如果您为 .internal 创建 DNS 区域,则无法访问该区域。

准备工作

  1. 找到以下项目 ID 和项目编号

    • 宿主项目:共享 VPC 网络所属的项目。
    • 服务项目:包含 Managed Airflow 环境的项目。
  2. 让您的组织做好准备

配置服务项目

如果服务 项目中从未创建过 Managed Airflow 环境,请 在服务项目中 预配 Composer 服务代理账号:

gcloud beta services identity create --service=composer.googleapis.com

配置宿主项目

按照下文所述配置宿主项目。

配置网络资源

请从下列选项中选择一项:

设置共享 VPC 并关联服务项目

  1. 如果您尚未这样做,请设置共享 VPC。如果您已经设置了共享 VPC,请跳到下一步。

  2. 关联服务项目,以用于托管 Managed Airflow 环境。

    关联项目时,保留默认的 VPC 网络权限。

向 Composer 服务代理账号授予权限

在宿主项目中:

  1. 拥有 Composer 服务代理账号 service-SERVICE_PROJECT_NUMBER@cloudcomposer-accounts.iam.gserviceaccount.com 的修改权限

  2. 在项目级层添加另一个角色:Composer 共享 VPC 代理 (composer.sharedVpcAgent)。

总结

您已完成服务项目和宿主项目的共享 VPC 网络配置。

现在,您可以将服务项目中的新环境和现有环境连接到宿主项目的 VPC 网络。您可以使用以下方法之一:

  • 将环境连接到共享 VPC 网络。Managed Airflow 会为该环境创建新的网络连接。
  • 在服务项目中创建网络连接,将其连接到共享 VPC 网络,并将一个或多个环境连接到此网络连接。

如需了解有关这两种 方法的说明以及它们之间的差异,请参阅 将 VPC 网络连接到您的环境

后续步骤