在规划数据治理策略时,了解 Knowledge Catalog 中的数据沿袭的工作原理有助于您做出更好的架构决策。请注意以下事项:
- 项目级激活: 启用 Data Lineage API 后,数据沿袭跟踪功能默认在整个项目中处于活跃状态,并根据多个系统的产品级控制自动报告这些系统的信息。您还可以以分层方式控制沿袭注入 针对特定服务。
- 法规遵从性: 您可以清楚地了解数据移动情况,同时确切了解记录了哪些元数据以及如何保护这些元数据。
- 费用管理: 您可以主动查看和管理沿袭跟踪对项目结算费用的影响。
产品级沿袭控制
启用 Data Lineage API 后,受支持的系统会根据其产品级控制报告沿袭:
| 系统 | 可用的沿袭控制 |
|---|---|
| BigQuery、 Cloud Data Fusion |
在项目中启用 Data Lineage API 后,无法将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery。 您可以为 BigQuery 配置数据沿袭注入,以启用或停用自动数据沿袭注入。 |
| Managed Service for Apache Airflow | Managed Airflow 使用环境级数据沿袭 集成控制。对于所有符合要求的新 Managed Airflow 环境,系统会自动启用数据沿袭。如需了解详情,请参阅 使用 Managed Airflow 执行数据沿袭。对于现有环境,请使用环境设置来启用或停用 数据沿袭集成。 您可以为 Managed Airflow 配置数据沿袭注入,以启用或停用自动数据沿袭注入。 |
| Dataflow | 您可以使用 Dataflow 作业捕获沿袭事件,并将其发布到 Data Lineage API。 如需了解详情,请参阅在 Dataflow 中使用数据沿袭。 |
| Managed Service for Apache Spark | 您可以使用 Managed Service for Apache Spark 作业捕获沿袭事件,并将其发布到 Data Lineage API。 如需了解详情,请参阅使用 Spark 数据沿袭。 您可以为 Managed Service for Apache Spark 配置数据沿袭注入,以启用或停用自动数据沿袭注入。 |
| Looker (Google Cloud Core)(预览版) | 支持使用数据沿袭可视化来自 BigQuery 来源的 Looker (Google Cloud Core)元数据。必须在 Looker (Google Cloud Core)资源级和数据沿袭服务级启用数据沿袭。如需了解详情,请参阅使用 Knowledge Catalog 跟踪数据沿袭。 |
| Vertex AI | 系统会自动为 Vertex AI 流水线启用数据沿袭,跟踪输入制品和执行参数(例如模型、数据集和组件)以及下游派生资产。 如需了解详情,请参阅跟踪流水线制品的沿袭。 |
结算影响
在项目上启用 Data Lineage API 时,请查看对结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。 如需详细了解数据沿袭的收费方式,请参阅 Knowledge Catalog 价格。
对于 BigQuery Omni,沿袭处理会分布到特定区域,费用取决于执行处理的区域。
数据沿袭合规性
- 数据沿袭会记录有关数据移动的元数据,但不会捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型和 Data Lineage API 参考文档 。
- 作为 Knowledge Catalog 的一部分,数据沿袭会提供 VPC-SC 支持。
- Knowledge Catalog 不提供使用客户管理的加密密钥来保护收集的沿袭元数据的功能。
数据沿袭限制
在沿袭图中选择节点时,如果出现以下情况,节点详情侧边栏将为空:
- 资源位于其他组织中。
- 用户不是托管资源的组织的成员。