使用“限制端点用量”政策配置环境

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页面介绍了如何在强制执行限制端点用量组织政策时创建 Managed Airflow 环境。

constraints/gcp.restrictEndpointUsage 组织政策会限制哪些 Google API 端点可用于访问资源。这样，组织就可以强制使用位置端点或区域端点，例如，为了满足数据必须保留在特定地理区域内的要求。

Managed Airflow 中的“限制端点用量”政策简介

如果您在某个项目中创建 Managed Airflow 环境，而该项目中的“限制端点使用”政策会拒绝访问 Cloud Storage API、Cloud Logging API、Pub/Sub API 或 Data Lineage API 等服务的全球端点，则 Managed Airflow 会将环境的内部组件配置为使用这些服务的相应区域端点 (REP)。

环境使用的特定端点由“限制端点用量”政策决定，仅在环境创建期间。即使以后重新配置政策，这些端点也不会更改。

限制 Managed Airflow 环境所需的服务

当“限制端点使用”政策限制了 Managed Airflow 所需的部分服务时，存在以下限制：

  • Airflow 界面中的 Airflow 任务日志

    Airflow 界面依赖于全球 Cloud Logging 端点 (logging.googleapis.com) 来显示任务日志。如果您在“限制端点使用”政策中拒绝 logging.googleapis.com，则任务日志将无法在 Airflow 界面中显示。

    此限制仅适用于 Airflow 界面。您仍然可以在 Google Cloud 控制台和 Cloud Logging 中查看 DAG 界面中的任务日志和 Airflow 工作器日志。

  • 环境指标

    Managed Airflow 使用 Cloud Monitoring 的全球端点 (monitoring.googleapis.com)，因为某些 Monitoring API 不完全支持区域端点。限制 monitoring.googleapis.com 可能会影响某些环境指标。

  • DAG 中的 Airflow 运算符

    连接到被“限制端点用量”政策拒绝的全球端点的 Airflow 运算符将失败。确保 DAG 中的所有 Airflow 运算符都配置为使用区域级端点（如果运算符支持）。

  • 客户管理的加密密钥 (CMEK)

    不支持将客户管理的加密密钥与“限制端点使用”政策搭配使用。

准备工作

配置“限制端点用量”政策

如需详细了解如何配置“限制端点使用”政策以拒绝访问特定全球端点，并查看相关示例，请参阅限制端点使用。

创建具有“限制端点用量”政策的公共 IP 环境

公共 IP Managed Airflow 环境不需要任何额外设置。执行以下操作：

  1. 检查您要区域化的服务在所选区域中是否有可用的区域端点。

  2. 确保“限制端点用量”政策已配置，并拒绝为您打算区域化的服务使用全球端点。

  3. 创建新的 Managed Airflow 环境。

    环境将根据“限制端点用量”政策使用区域端点。

创建具有“限制端点用量”政策的专用 IP 环境

如需在专用 IP 配置中创建具有“限制端点使用”政策的环境，您必须配置 VPC 网络，以便使用 Private Service Connect 和 Cloud DNS 将流量解析并路由到所需的区域端点 (REP)。

如需创建具有“限制端点用量”政策的专用 IP 环境，请执行以下操作：

  1. 检查您要区域化的服务在所选区域中是否有可用的区域端点。

  2. 确保“限制端点用量”政策已配置，并拒绝为您打算区域化的服务使用全球端点。

  3. 确保您已经拥有要用于专用 IP 环境的 VPC 网络和子网。

  4. 针对受“限制端点用量”政策限制的以下每项服务，重复网络配置步骤：

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • DAG 中使用的所有其他服务的 Google API 端点。

为受政策限制的服务配置专用 IP 网络

对于项目中限制访问其全球端点的任何 Google 服务，请对其相应的区域端点 (REP) 执行以下步骤。

您必须创建 Private Service Connect 端点，以定位这些服务的区域变体，并指定 Managed Airflow 环境所在的区域。例如，如果您的环境位于 us-central1，则您需要针对 Cloud Storage 的 storage.us-central1.rep.googleapis.com REP。

如需详细了解如何使用 Private Service Connect 端点连接到受支持的 Google API 的区域端点，请参阅通过端点访问区域级 Google API。

创建 Private Service Connect 端点

  1. 在 Google Cloud 控制台中，前往 Private Service Connect 页面。

    转到 Private Service Connect

  2. 点击连接端点。

  3. 按如下方式配置 Private Service Connect 端点：

    • 目标：选择 Google API。

    • 目标详情：

      1. 范围：选择 Regional。
      2. 区域：选择 Managed Airflow 环境所在的区域。
      3. 目标服务：选择您要配置的服务。这会在所选区域中选择一个 REP。

      示例：

      如果您的环境位于 us-central1，并且您正在配置 Cloud Storage，请选择 Iowa (us-central1) 和 Cloud Storage (storage.us-central1.rep.googleapis.com)。

    • 端点详情：

      1. 端点名称：端点的名称。

        示例：psc-storage-endpoint-us-central1。

      2. 网络和子网：选择 Managed Airflow 环境的 VPC 网络和子网。

      3. IP 地址：选择现有 IP 地址，或点击创建 IP 地址，从所选子网中预留新的静态内部 IP 地址。

        为此 IP 地址指定一个描述性名称。您稍后将使用此 IP 地址配置 DNS 记录。

        示例：psc-storage-us-central1。

  4. 点击添加端点。

创建专用 DNS 区域

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击创建区域。

  3. 在可用区类型中，选择 Private。

  4. 指定以下配置：

    • 可用区名称：可用区的名称。

      示例：storage-us-central1

    • DNS 名称：DNS 名称。请添加结尾英文句点。

      示例：storage.us-central1.rep.googleapis.com.

    • 网络：为 Managed Airflow 环境选择 VPC 网络。

  5. 点击创建。

在创建的 DNS 区域中添加 DNS 记录

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击您创建的区域的名称。

  3. 点击添加标准。

  4. 按如下方式配置 DNS 记录：

    • DNS 名称：指定 DNS 区域的子网域。

      示例：storage.us-central1.rep.googleapis.com

    • 资源记录类型：选择 A。

    • IPv4 地址：选择您分配给 Private Service Connect 端点的 IP 地址。

  5. 点击创建。

创建专用 IP Managed Airflow 环境

配置完环境将使用的所有服务后，继续在所选 VPC 网络和子网中创建专用 IP 环境。

后续步骤