Managed Airflow 责任共担模型

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

在 Managed Airflow 上运行关键业务应用需要多方承担不同的责任。虽然不是详尽的列表，但本文档列出了 Google 和客户双方的责任。

Google 责任

• 强化和修补 Managed Airflow 环境的组件和底层基础设施，包括 Google Kubernetes Engine 集群、Cloud SQL 数据库（托管 Airflow 数据库）、Pub/Sub、Artifact Registry 和其他环境元素。具体而言，这包括自动升级底层基础设施，包括环境的 GKE 集群和 Cloud SQL 实例。

  注意 ：Managed Airflow（旧版第 1 代）处于维护后模式，不再发布包含安全修复的新版 Managed Airflow（旧版第 1 代）。请迁移到 Managed Airflow（第 2 代）或 Managed Airflow（第 3 代），以获取具有安全改进功能的最新版本更新。

• 通过整合 IAM 提供的访问权限控制、默认对静态数据进行加密、提供额外的客户管理的存储加密、对传输中的数据进行加密，保护对 Managed Airflow 环境的访问。

• 为 Identity and Access Management、Cloud Audit Logs 和 Cloud Key Management Service 提供 Google Cloud 集成。

• 使用 Access Transparency 和 访问权限审批 限制和记录 Google 对客户集群的管理员权限，以便根据合同提供支持。

• 在 Managed Airflow 版本说明中发布有关 Managed Airflow 和 Airflow 版本之间向后不兼容更改的信息。

• 让 Managed Airflow 文档保持最新状态：

  • 提供 Managed Airflow 提供的所有功能的说明。

  • 提供问题排查说明，帮助您使环境保持健康状态。

  • 发布有关已知问题的信息以及解决方法（如果有）。

• 通过提供解决突发事件的新环境版本，解决与 Managed Airflow 环境和 Managed Airflow 提供的 Airflow 映像（不包括客户安装的 Python 软件包）相关的关键安全突发事件。

• 根据客户的支持方案，排查 Managed Airflow 环境健康状况问题。

• 维护和扩展 Managed Airflow Terraform 提供程序的功能。

• 与 Apache Airflow 社区合作，维护和开发 Google Airflow 运算符。

  注意 ：Google 不会修复或排查第三方服务或产品的运营商提供商中的问题。

• 排查 Airflow 核心功能中的问题，并尽可能修复这些问题。

客户责任

• 升级到新的 Managed Airflow 和 Airflow 版本，以便在 Managed Airflow 服务发布解决问题的 Managed Airflow 版本后，继续获得产品支持并解决安全问题。

• 维护 DAG 代码，使其与所使用的 Airflow 版本保持兼容。

• 保持环境的 GKE 集群配置不变，尤其是其自动升级功能。

• 在 IAM 中为环境的服务账号维护适当的权限。特别是，保留 Managed Airflow Agent 和环境的服务账号所需的权限。维护用于 Managed Airflow 环境加密的 CMEK 密钥所需的权限，并根据需要轮替该密钥。

  注意： 我们建议为 Managed Airflow 环境设置用户管理的托管式服务账号，该账号仅具有运行环境和执行 DAG 中定义的操作所需的权限集。在大多数情况下，Composer Worker (composer.worker) 角色会提供这组必需的权限。仅在 DAG 运行需要时，才向此服务账号添加额外权限。

• 在 IAM 中为环境的存储桶和存储 Managed Airflow 组件映像的 Artifact Registry 代码库维护适当的权限。

  注意：对以下组件具有读写权限的用户：

  • 环境的存储桶
  • 包含以下组件所用容器映像的 Artifact Registry 代码库： %Airflow 组件、 GKEPodOperator 或 GKEStartPodOperator

  即使没有明确的 Managed Airflow 相关权限，也可以将自己的 DAG 或容器映像版本部署到环境中。这些 DAG 或映像稍后可以在您的环境中执行，并具有 Managed Airflow 环境服务账号的权限。

• 为执行 PyPI 软件包安装的服务账号维护适当的 IAM 权限。如需了解更多信息，请参阅访问权限控制。

  注意：对环境存储桶具有读写权限的用户或可以启动 PyPI 软件包安装的用户可以代表用于执行此类构建的服务账号启动构建映像的过程。此服务账号称为环境的服务账号，在环境创建期间指定，可以是用户提供的服务账号，也可以是默认服务账号。

• 在 IAM 和 Airflow 界面访问权限控制配置中维护适当的最终用户权限。

• 通过使用维护 DAG 将 Airflow 数据库大小保持在 16 GB 以下。

• 在向 Cloud Customer Care 提出支持请求之前，解决所有 DAG 解析问题。

• 以适当的方式命名 DAG（例如，在 DAG 名称中不使用空格或制表符等不可见字符），以便可以正确报告 DAG 的指标。

• 升级 DAG 的代码，使其不使用已弃用的运算符，并迁移到其最新替代方案。已弃用的运算符可能会从 Airflow 提供程序中移除，这可能会影响您升级到更高版本的 Managed Airflow 或 Airflow 的计划。已弃用的运算符也不会维护，必须“按原样”使用。

• 在使用 Secret Manager 等 Secret 后端时配置适当的 IAM 权限，以便环境的服务账号有权访问该后端。

• 使用 Managed Airflow 优化指南和环境伸缩指南，调整 Managed Airflow 环境参数（例如 Airflow 组件的 CPU 和内存）以及 Airflow 配置，以满足 Managed Airflow 环境的性能和负载预期。

• 避免移除 Managed Airflow 代理和环境的服务账号所需的权限（移除这些权限可能会导致管理操作失败，或者 DAG 和任务失败）。

• 始终启用 Managed Airflow 所需的所有服务和 API。这些依赖项必须在 Managed Airflow 所需的级别配置配额。

• 保留托管 Managed Airflow 环境所用容器映像的 Artifact Registry 代码库。

• 遵循实现 DAG 的建议和最佳实践。

• 使用调度器问题排查、DAG 问题排查和触发器问题排查说明诊断 DAG 和任务失败。

• 避免在环境的 GKE 集群中安装或运行会干扰 Managed Airflow 组件并阻止其正常运行的其他组件。

• 配置和管理快照，以满足数据保留和业务连续性需求。Google 不会恢复已删除的环境或其数据库备份。

• 维护客户安装的软件包的 Python 依赖项供应链。这包括排查因 Python 依赖项不匹配而导致的安装错误，以及在添加或修改这些软件包时定义特定的版本限制。

后续步骤

• 使用 IAM 进行访问权限控制
• 清理 Airflow 数据库
• 安全概览