Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
在 Cloud Composer 上執行重要業務應用程式,需由多方各司其職,本文件列舉 Google 和「客戶」雙方主要責任 (請注意,此清單並非詳盡無遺)。
Google 的責任
強化及修補 Cloud Composer 環境的元件和基礎架構,包括 Google Kubernetes Engine 叢集、Cloud SQL 資料庫 (用於代管 Airflow 資料庫)、Pub/Sub、Artifact Registry 和其他環境元素。具體來說,這包括自動升級基礎架構,例如環境的 GKE 叢集和 Cloud SQL 執行個體。
透過整合 IAM 提供的存取權控管機制,保護 Cloud Composer 環境的存取權;預設加密靜態資料;提供額外的客戶管理儲存空間加密機制;加密傳輸中的資料。
提供 Identity and Access Management、Cloud 稽核記錄和 Cloud Key Management Service 適用的 Google Cloud 整合功能。
基於合約規定的支援義務,透過資料存取透明化控管機制和存取權核准程序,限制並記錄 Google 管理員對客戶叢集的存取活動。
在 Cloud Composer 版本資訊中,發布 Cloud Composer 和 Airflow 版本之間不相容的變更資訊。
隨時更新 Cloud Composer 說明文件:
說明 Cloud Composer 提供的所有功能。
提供疑難排解說明,協助環境維持良好狀態。
發布已知問題的相關資訊,以及解決方法 (如有)。
解決與 Cloud Composer 環境和 Cloud Composer 提供的 Airflow 映像檔相關的重大安全事件 (不包括客戶安裝的 Python 套件),並提供可解決這些事件的新環境版本。
視客戶的支援方案而定,排解 Cloud Composer 環境健康狀態問題。
維護及擴充 Cloud Composer Terraform 供應商的功能。
與 Apache Airflow 社群合作,維護及開發 Google Airflow 運算子。
排解 Airflow 核心功能問題,並盡可能修正。
客戶責任
升級至新版 Cloud Composer 和 Airflow,確保產品支援服務不中斷,並在 Cloud Composer 服務發布可解決問題的 Cloud Composer 版本後,解決安全性問題。
維護 DAG 程式碼,確保與使用的 Airflow 版本相容。
在環境的服務帳戶中,維持 IAM 的適當權限。特別是保留 Cloud Composer 代理程式和環境服務帳戶所需的權限。維護 Cloud Composer 環境加密所用 CMEK 金鑰的必要權限,並視需要輪替金鑰。
在環境的 bucket 中維持適當的 IAM 權限。
為執行 PyPI 套件安裝作業的服務帳戶維持適當的 IAM 權限。詳情請參閱存取權控管一文。
在 IAM 和 Airflow 中維護適當的使用者權限 使用者介面存取控管設定。
透過設定資料庫保留政策,將 Airflow 資料庫大小維持在 20 GB 以下。
在向 Cloud 客服團隊提出支援案件前,請先解決所有 DAG 剖析問題。
以適當方式命名 DAG (例如,DAG 名稱中不使用 SPACE 或 TAB 等不可見字元),確保系統能正確回報 DAG 的指標。
升級 DAG 的程式碼,避免使用已淘汰的運算子,並改用最新替代方案。系統可能會從 Airflow 供應商移除已淘汰的運算子,這可能會影響您升級至較新 Cloud Composer 或 Airflow 版本的計畫。系統也不會維護已淘汰的運算子,因此必須「照原樣」使用。
使用 Secret Manager 等密鑰後端時,請設定適當的 IAM 權限,確保環境的服務帳戶有權存取。
調整 Cloud Composer 環境參數 (例如 Airflow 元件的 CPU 和記憶體) 和 Airflow 設定,以符合 Cloud Composer 環境的效能和負載預期,請參閱 Cloud Composer 最佳化指南和環境資源調度指南。
避免移除 Cloud Composer 代理程式和環境服務帳戶所需的權限 (移除這些權限可能會導致管理作業失敗,或 DAG 和工作失敗)。
請務必啟用 Cloud Composer 需要的所有服務和 API。這些依附元件必須在 Cloud Composer 要求的層級設定配額。
遵循建議做法和最佳做法,實作 DAG。
維護客戶安裝套件的 Python 依附元件供應鏈。包括排解因 Python 依附元件不符而導致的安裝錯誤,以及在新增或修改這些套件時定義特定版本限制。