将环境连接到 VPC 网络

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页介绍了您的环境如何在 Managed Airflow（第 3 代）中访问 VPC 网络，提供了将环境连接到 VPC 网络的说明，并介绍了如何停用之前配置的连接。

关于 VPC 网络访问权限

在 Managed Airflow（第 3 代）中，您可以为环境启用对 VPC 网络的访问权限。

如果您为环境启用对 VPC 网络的访问权限，则：

  • 环境的 Airflow 组件可以访问 VPC 网络中的专用网络端点。例如，您的 DAG 代码可以通过配置的 Airflow 连接访问 VPC 网络中的资源。

  • 如果您的环境使用专用 IP 网络，则所有流量都会路由到您的 VPC 网络，但通过专用 Google 访问通道可供专用 IP 环境使用的 Google API、服务和网域的流量除外。此方法还允许您的 Airflow 组件连接到 GKE 中配置的私用公共 IP (PUPI)，因为流量将通过 VPC 网络路由，而不是发送到公共互联网。

  • 根据您配置 VPC 网络的方式，专用 IP 环境可以通过 VPC 网络访问互联网。

  • 在 VPC 网络中定义的专用 DNS 区域会自动提供给环境的 Airflow 组件。

  • 环境会在您的 VPC 子网中预留两个 IP 地址，并在维护和升级期间使用两个额外的 IP 地址。请确保您的 VPC 子网中每个环境有四个 IP 地址可用。

Managed Airflow 使用网络连接将您的环境连接到 VPC 网络：

  • 如果您指定了 VPC 网络和子网，则托管 Airflow 会在您的项目中创建新的网络连接。在您删除环境、停用与 VPC 网络的连接或覆盖 VPC 连接参数后，此附件会被删除。

  • 如果您指定现有网络连接，则该连接必须与环境位于同一项目中。删除环境、停用连接或覆盖 VPC 连接参数后，系统不会删除此连接。

  • 在共享 VPC 网络中：

    • 确保您已为 Managed Airflow 配置共享 VPC 网络。如需了解如何为 Managed Airflow 配置项目和权限，请参阅配置共享 VPC。

    • 配置共享 VPC 网络后，您可以将环境连接到宿主项目中的 VPC 网络。如果您使用现有网络连接，则必须在服务项目（环境所在的项目）中创建该连接，并将其连接到共享 VPC 网络。

Managed Airflow（第 3 代）中传递性 DNS 对等互连的限制

传递性 DNS 对等互联的限制以以下方式适用于 Managed Airflow (Gen 3) 环境：

  • Cloud DNS 对传递跃点数量的限制为 1，这意味着总共仅支持 2 个跃点。
  • 在 Managed Airflow（第 3 代）中，环境的组件在租户项目中运行，并通过 DNS 对等互连与环境所在的项目进行通信。租户项目的 DNS 对等互连使用传递跃点，因此总共只能使用一个跃点。

环境的内部 IP 范围简介

托管式 Airflow（第 3 代）环境需要多个 IP 地址，供在租户项目中运行的组件（例如环境的集群和 Cloud SQL 代理）使用。这些 IP 地址取自环境的内部 IP 范围。

  • 默认内部 IP 地址范围为 100.64.128.0/20。

  • 您可以在创建环境时指定其他内部 IP 范围。此范围必须使用 /20 掩码。

  • 现有环境的内部 IP 范围无法更改。

内部 IP 范围以以下方式与您的 VPC 网络互动：

  • 内部 IP 范围不得与 Managed Airflow 环境所连接的 VPC 子网冲突。无法启用与内部 IP 范围重叠的 VPC 子网的连接。

  • 如果环境的内部 IP 范围与您的 VPC 网络范围重叠，则无法从该环境访问 VPC 网络中具有重叠 IP 地址的端点。

    例如，如果内部范围为 100.64.128.0/20，则对 VPC 网络中 100.64.128.1 端点的任何请求都会失败，因为该请求不会离开租户项目。

  • 内部 IP 范围未预留。您可以为多个环境使用相同的内部 IP 范围，而无需进行任何额外设置，因为不同环境使用的内部 VPC 网络是分开的。

  • 您可以将内部范围 IP 地址用于其他用途，前提是您环境中的 DAG 和任务不会向这些地址发出请求。

连接到 VPC 网络

控制台

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在环境列表中，点击您的环境名称。环境详情页面会打开。

  3. 转到环境配置标签页。

  4. 在网络配置部分中，找到网络连接项，然后点击修改。

  5. 在网络附件对话框中：

    • 如需创建新的网络连接，请在网络连接列表中选择创建新的网络连接。在网络和子网列表中，选择 VPC 网络和子网。

    • 如需使用现有网络连接，请在网络连接列表中选择一个连接。

  6. 点击保存。

gcloud

以下 Google Cloud CLI 实参用于指定 VPC 网络连接参数：

  • --network：VPC 网络 ID。
  • --subnetwork：VPC 子网 ID。
  • --network-attachment：改用现有的网络连接。

新建网络连接

如需通过新的网络附加项将环境连接到 VPC 网络，请运行以下 Google Cloud CLI 命令：

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network NETWORK_ID \
  --subnetwork SUBNETWORK_ID

替换以下内容：

  • ENVIRONMENT_NAME：环境的名称
  • LOCATION：环境所在的区域
  • NETWORK_ID：VPC 网络 ID
  • SUBNETWORK_ID：VPC 子网 ID

示例：

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network projects/example-project/global/networks/example-network \
  --subnetwork projects/example-project/regions/us-central1/subnetworks/example-subnetwork

现有网络连接

如需通过新的网络附加项将环境连接到 VPC 网络，请运行以下 Google Cloud CLI 命令：

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --network-attachment NETWORK_ATTACHMENT_ID

替换以下内容：

  • ENVIRONMENT_NAME：环境的名称
  • LOCATION：环境所在的区域
  • NETWORK_ATTACHMENT_ID：采用 projects/{project}/regions/{region}/networkAttachments/{networkAttachment} 格式的网络连接。

示例：

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --network-attachment projects/example-project/regions/us-central1/networkAttachments/example-network-attachment

API

  1. 创建 environments.patch API 请求。

  2. 在此请求中：

    • 如需创建新的网络连接，请执行以下操作：

      1. 在参数 updateMask 中，指定 config.node_config.network,config.node_config.subnetwork 掩码。

      2. 在请求正文的 network 和 subnetwork 字段中，指定您的 VPC 网络和子网 ID。

    • 如需使用现有网络连接，请执行以下操作：

      1. 在 updateMask 参数中，指定 config.node_config.composer_network_attachment 掩码。

      2. 在请求正文中，以 projects/{project}/regions/{region}/networkAttachments/{networkAttachment} 格式为现有网络附件提供一个值。

示例（新网络连接）：

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "projects/example-project/global/networks/example-network",
    "subnetwork": "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
  }
}

示例（现有网络连接）：

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.composer_network_attachment

"config": {
  "nodeConfig": {
    "composerNetworkAttachment": "projects/example-project/regions/us-central1/networkAttachments/example-network-attachment"
  }
}

Terraform

node_config 块中的以下字段用于指定 VPC 网络连接参数：

  • network：VPC 网络 ID。
  • subnetwork：VPC 子网 ID。
  • composer_network_attachment：改用现有的网络连接。

新建网络连接

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    node_config {
      network = NETWORK_ID
      subnetwork = SUBNETWORK_ID
    }

  }
}

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。
  • NETWORK_ID：VPC 网络 ID
  • SUBNETWORK_ID：VPC 子网 ID

示例（新网络连接）：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      network = "projects/example-project/global/networks/example-network"
      subnetwork = "projects/example-project/regions/us-central1/subnetworks/example-subnetwork"
    }

    ... other configuration parameters
  }
}

现有网络连接

这样一来，环境将不再使用该连接。为解决此问题，请确保 Terraform 忽略对连接的 producer_accept_lists 参数的更改，如下所示：

resource "google_compute_network_attachment" "NETWORK_ATTACHMENT_ID" {
  lifecycle {
    ignore_changes = [producer_accept_lists]
  }
  # ... other configuration parameters
}

然后，为环境指定此附件。您还可以指定未在 Terraform 中管理的附件，请参阅示例。

resource "google_composer_environment" "example" {
  name = "example-environment"
  region = "us-central1"
  config {
    node_config {
      composer_network_attachment = google_compute_network_attachment.NETWORK_ATTACHMENT_ID.id
    }
    # ... other configuration parameters
  }
}

替换以下内容：

  • ENVIRONMENT_NAME：您的环境的名称。
  • LOCATION：环境所在的区域。
  • NETWORK_ATTACHMENT_ID：网络连接 ID。

示例（现有网络连接）：

resource "google_compute_network_attachment" "example" {
  lifecycle {
    ignore_changes = [producer_accept_lists]
  }
  # ... other configuration parameters
}

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    node_config {
      # Attachment is managed in Terraform:

      composer_network_attachment = google_compute_network_attachment.NETWORK_ATTACHMENT_ID.id

      # Attachment is not managed in Terraform:

      # composer_network_attachment = projects/example-project/regions/us-central1/networkAttachments/example-network-attachment
    }
    # ... other configuration parameters
  }
}

停用与 VPC 网络的连接

控制台

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在环境列表中，点击您的环境名称。环境详情页面会打开。

  3. 转到环境配置标签页。

  4. 在网络配置部分中，找到网络连接项，然后点击修改。

  5. 在网络连接对话框中，选择无，然后点击保存。

gcloud

--disable-vpc-connectivity 实参会停用环境的 VPC 网络连接：

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-vpc-connectivity

替换以下内容：

  • ENVIRONMENT_NAME：环境的名称
  • LOCATION：环境所在的区域

示例：

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-vpc-connectivity

API

  1. 创建 environments.patch API 请求。

  2. 在此请求中：

    1. 在参数 updateMask 中，指定 config.node_config.network,config.node_config.subnetwork 掩码。

    2. 在请求正文的 network 和 subnetwork 字段中，指定空值。

示例：

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.network,config.node_config.subnetwork

"config": {
  "nodeConfig": {
    "network": "",
    "subnetwork": ""
  }
}

Terraform

无法使用 Terraform 分离 VPC 网络。您可以改为附加其他 VPC 网络，也可以使用 Google Cloud CLI 等其他工具分离网络。

通过网络连接路由 Cloud Run 流量

如果您为 Cloud Run 服务限制了对内部端点的入站流量，则无法从 Managed Airflow 环境访问此端点。访问受到限制，因为环境的租户项目中的 Airflow 工作器与环境不属于同一 VPC 网络。

作为一种选择，您可以将流量通过网络连接路由到函数的端点，而不是通过默认路由路由到 Google API，从而实现访问。

更改后，以下两个网域的流量会通过您环境的网络附件进行路由：

  • .run.app
  • .cloudfunctions.net

如果您的应用使用自定义网域，并且您使用的是具有已连接 VPC 网络的专用 IP 环境，那么默认情况下，发送到非 Google 地址的流量已通过该环境的网络附件进行传输。

如果按上述方式配置连接，则环境会受到以下限制：

如需配置 Cloud Run 的流量路由，请执行以下操作：

gcloud

创建或更新环境时，请使用 --cloud-run-functions-routing 实参：

  • （默认）direct：以与其他 Google API 和服务相同的方式将流量路由到 Cloud Run。
  • via-network-attachment：通过环境的网络连接将流量路由到 Cloud Run。

您可以在同一操作中使用此实参连接 VPC 网络。

如需通过环境的网络连接启用路由，请在 gcloud CLI 中运行以下命令：

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --cloud-run-functions-routing via-network-attachment

替换以下内容：

  • ENVIRONMENT_NAME：环境的名称
  • LOCATION：环境所在的区域

示例：

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --cloud-run-functions-routing via-network-attachment

API

  1. 创建 environments.patch API 请求。

  2. 在此请求中：

    1. 在参数 updateMask 中，指定 node_config.TrafficRoutingConfig 掩码。

    2. 在请求正文的 cloud_run_functions_routing 字段中，指定 Cloud Run 的流量必须如何路由

      • （默认）DIRECT：以与其他 Google API 和服务相同的方式将流量路由到 Cloud Run。
      • VIA_NETWORK_ATTACHMENT：通过环境的网络连接将流量路由到 Cloud Run。

您可以在同一操作中使用此实参连接 VPC 网络。

示例：

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.node_config.TrafficRoutingConfig

{
  "config": {
    "nodeConfig": {
      "trafficRoutingConfig": {
        "cloudRunFunctionsRouting": "VIA_NETWORK_ATTACHMENT"
      }
    }
  }
}

后续步骤