設定 VPC Service Controls

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer„�

VPC Service Controls 可讓機構在Google Cloud 資源周圍定義安全範圍，降低資料竊取風險。

Cloud Composer 環境可部署在服務安全防護範圍內。透過使用 VPC Service Controls 設定環境，您就能使用 Cloud Composer 的全代管工作流程協調功能，同時維持機密資料的隱密性。

Cloud Composer 支援 VPC Service Controls，代表：

• 現在可以選取 Cloud Composer，做為 VPC Service Controls 服務範圍內的受保護服務。
• Cloud Composer 使用的所有基礎資源都已設定為支援 VPC Service Controls 架構，並遵循相關規則。

使用 VPC Service Controls 部署 Cloud Composer 環境可提供下列優點：

• 降低資料竊取風險。
• 防止因存取控管設定錯誤而導致資料暴露。
• 降低惡意使用者將資料複製到未經授權資源的風險，或外部攻擊者從網際網路存取資源的風險。Google Cloud Google Cloud

Cloud Composer 中的 VPC Service Controls 簡介

• 所有 VPC Service Controls 網路限制也適用於 Cloud Composer 環境。詳情請參閱 VPC Service Controls 說明文件。

• 如果 Cloud Composer 環境受到 perimeter 保護，則無法存取公開 PyPI 存放區。詳情請參閱「在 VPC Service Controls 中安裝 PyPI 套件」。

• 如果您的環境使用私人 IP 網路，所有內部流量都會路由至您的虛擬私有雲網路，但透過 Private Google Access 傳送至私人 IP 環境可用的 Google API、服務和網域的流量除外。

• 視虛擬私有雲網路的設定方式而定，私人 IP 環境可透過虛擬私有雲網路存取網際網路。

• Cloud Composer 不支援在輸入和輸出規則中使用第三方身分，允許 Apache Airflow UI 作業。不過，您可以在輸入和輸出規則中使用 ANY_IDENTITY 身分類型，允許存取所有身分，包括第三方身分。如要進一步瞭解 ANY_IDENTITY 身分類型，請參閱「輸入和輸出規則」一文。

• 在 VPC Service Controls 模式下，網路伺服器的存取權會受到 perimeter 保護，且系統會封鎖來自 perimeter 外部的存取權。如要允許從服務邊界外存取，請視需要設定存取層級或輸入和輸出規則。此外，您也可以限制只有特定 IP 範圍能存取網路伺服器。

關於 VPC Service Controls 中連線至 Google API 和服務

Cloud Composer 3 會透過 restricted.googleapis.com 將流量導向 Google 服務，以便存取此範圍支援的 Google API、服務和網域。

注意： 如果您的環境已連結至虛擬私有雲網路，則所有未轉送至 restricted.googleapis.com 的內部流量都會轉送至虛擬私有雲網路。視虛擬私有雲網路的設定方式而定，您的環境可以透過虛擬私有雲網路存取網際網路。

如要進一步瞭解 restricted.googleapis.com，以及透過 restricted.googleapis.com 存取的服務和網域清單，請參閱虛擬私有雲說明文件中的「網路設定」。

Cloud Composer 3 環境會封鎖對 Google API、服務和網域的呼叫，這些項目必須位於必要 API 和服務清單中。如要從 DAG 呼叫 API：

1. 確認服務支援 VPC Service Controls。
2. 將服務新增至受限制的服務。
3. 將服務新增至可透過虛擬私有雲存取的服務。

舉例來說，如果您使用 VertexAI Operator，請將 aiplatform.googleapis.com 新增至受限制的服務和可透過虛擬私有雲存取的服務。

如要進一步瞭解如何將服務新增至服務範圍，請參閱 VPC Service Controls 說明文件的「管理服務範圍」一文。

在 Cloud Composer 3 中，如果服務不支援 VPC Service Controls，且無法透過 restricted.googleapis.com 存取，就無法從受 VPC Service Controls 保護的環境存取。Cloud Composer 3 新增了這項限制，可提升環境安全性。雖然 Cloud Composer 2 允許設定存取這類不支援的服務，但我們強烈建議您在任何受 VPC Service Controls 保護的環境中，避免這麼做。

在範圍內建立環境

如要在 perimeter 內部署 Cloud Composer，請按照下列步驟操作：

1. 為專案啟用 Access Context Manager API 和 Cloud Composer API。如需參考資料，請參閱「啟用 API」。

2. 請按照 VPC Service Controls 說明文件中的範圍設定說明建立範圍。請確認受限制的服務清單包含 Cloud Composer 使用的所有服務，以及您要限制的其他服務：

   • Cloud Composer API (composer.googleapis.com)
   • Artifact Registry API (artifactregistry.googleapis.com)
   • Compute Engine API (compute.googleapis.com)
   • Kubernetes Engine API (container.googleapis.com)
   • Container File System API (containerfilesystem.googleapis.com)
   • Cloud DNS API (dns.googleapis.com)
   • Service Account Credentials API (iamcredentials.googleapis.com)
   • Cloud Logging API (logging.googleapis.com)
   • Cloud Monitoring API (monitoring.googleapis.com)
   • Cloud Pub/Sub API (pubsub.googleapis.com)
   • Cloud SQL Admin API (sqladmin.googleapis.com)

   • Cloud Storage API (storage.googleapis.com)

   • DAG 使用的所有其他服務：

     1. 將服務新增至受限制的服務。
     2. 將服務新增至可透過虛擬私有雲存取的服務。

3. 建立新的 Cloud Composer 環境：

   1. 使用 Google Cloud CLI 建立環境。
   2. 使用 --enable-private-environment 引數啟用私人 IP。
   3. 使用 --web-server-allow-all、--web-server-allow-ip 或 --web-server-deny-all 引數，指定網路伺服器的存取參數。如要進一步瞭解如何使用這些引數，請參閱「建立環境」。為提升保護力，請只允許特定 IP 範圍存取網路伺服器。

   4. 使用 --enable-private-builds-only 引數，禁止安裝公開網際網路存放區中的套件。

      範例：

      gcloud composer environments create example-environment \
        --location us-central1 \
        --enable-private-environment \
        --web-server-allow-all \
        --enable-private-builds-only
      

4. 根據預設，只有在安全範圍內才能存取 Airflow UI 和 API。如要允許從安全防護範圍外存取，請設定存取層級或輸入和輸出規則。

將現有環境新增至 perimeter

如果環境使用私人 IP，且已停用從公開存放區安裝 PyPI 套件，您可以將包含環境的專案新增至安全防護範圍。

如要將現有 Cloud Composer 3 環境更新為這項設定，請按照下列步驟操作：

1. 請確認您已按照上一節的說明建立或設定安全防護範圍。
2. 使用 Google Cloud CLI 更新環境。
3. 使用 --enable-private-environment 引數啟用私人 IP。
4. 使用 --enable-private-builds-only 引數，禁止從公開網際網路存放區安裝套件。
5. 如有需要，請設定 Airflow 網路伺服器的存取權。為提升保護力，請只允許來自特定 IP 範圍的存取要求。

範例：

gcloud composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment \
  --enable-private-builds-only

在 VPC Service Controls 中安裝 PyPI 套件

在預設的 VPC Service Controls 設定中，Cloud Composer 僅支援從可透過虛擬私有雲網路內部 IP 位址空間存取的私人存放區，安裝 PyPI 套件。

根據預設，VPC Service Controls perimeter 內的所有 Cloud Composer 環境都無法存取公開 PyPI 存放區。

從私人存放區安裝

建議設定私人 PyPI 存放區：

1. 填入貴機構使用的經過審查的套件，然後設定 Cloud Composer從私人存放區安裝 Python 依附元件。

從公開存放區安裝

注意： 使用這項設定時，請務必瞭解使用外部存放區的風險。請務必信任所有外部存放區的內容和完整性，因為這些連線可能會做為外洩向量。

如要從外部存放區安裝 PyPI 套件，請按照下列步驟操作：

1. 建立 Artifact Registry 遠端存放區。
2. 授予這個存放區上游來源的存取權。
3. 設定 Airflow，從 Artifact Registry 存放區安裝套件。

VPC Service Controls 記錄

排解環境建立問題時，您可以分析 VPC Service Controls 產生的稽核記錄。

除了其他記錄訊息，您還可以查看記錄，瞭解設定環境元件的 [e-mail] 和 [e-mail] 服務帳戶。

Cloud Composer 服務會使用 [e-mail] 服務帳戶管理環境的租戶專案元件。

[e-mail] 服務帳戶 (又稱 Composer 服務代理程式服務帳戶) 會管理服務和主專案中的環境元件。

後續步驟

• 建立環境
• 安裝 PyPI 套件