Knowledge Catalog 的数据沿袭注意事项

在规划数据治理策略时,了解 Knowledge Catalog 中的数据沿袭的工作原理有助于您做出更好的架构决策。请注意以下事项:

  • 项目级激活: 启用 Data Lineage API 后,数据沿袭跟踪功能默认在整个项目中处于活跃状态,并根据多个系统的产品级控制自动报告这些系统的信息。您还可以以分层方式控制沿袭注入 针对特定服务。
  • 法规遵从性: 您可以清楚地了解数据移动情况,同时确切了解记录了哪些元数据以及如何保护这些元数据。
  • 费用管理: 您可以主动查看和管理沿袭跟踪对项目结算费用的影响。

产品级沿袭控制

启用 Data Lineage API 后,受支持的系统会根据其产品级控制报告沿袭:

支持的系统中的产品级沿袭控制 Google Cloud
系统 可用的沿袭控制
BigQuery、
Cloud Data Fusion
在项目中启用 Data Lineage API 后,无法将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery。 您可以为 BigQuery 配置数据沿袭注入,以启用或停用自动数据沿袭注入。
Managed Service for Apache Airflow Managed Airflow 使用环境级数据沿袭 集成控制。对于所有符合要求的新 Managed Airflow 环境,系统会自动启用数据沿袭。如需了解详情,请参阅 使用 Managed Airflow 执行数据沿袭。对于现有环境,请使用环境设置来启用或停用 数据沿袭集成。 您可以为 Managed Airflow 配置数据沿袭注入,以启用或停用自动数据沿袭注入。
Dataflow 您可以使用 Dataflow 作业捕获沿袭事件,并将其发布到 Data Lineage API。 如需了解详情,请参阅在 Dataflow 中使用数据沿袭
Managed Service for Apache Spark 您可以使用 Managed Service for Apache Spark 作业捕获沿袭事件,并将其发布到 Data Lineage API。 如需了解详情,请参阅使用 Spark 数据沿袭。 您可以为 Managed Service for Apache Spark 配置数据沿袭注入,以启用或停用自动数据沿袭注入。
Looker (Google Cloud Core)(预览版 支持使用数据沿袭可视化来自 BigQuery 来源的 Looker (Google Cloud Core)元数据。必须在 Looker (Google Cloud Core)资源级和数据沿袭服务级启用数据沿袭。如需了解详情,请参阅使用 Knowledge Catalog 跟踪数据沿袭
Vertex AI 系统会自动为 Vertex AI 流水线启用数据沿袭,跟踪输入制品和执行参数(例如模型、数据集和组件)以及下游派生资产。 如需了解详情,请参阅跟踪流水线制品的沿袭

结算影响

在项目上启用 Data Lineage API 时,请查看对结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。 如需详细了解数据沿袭的收费方式,请参阅 Knowledge Catalog 价格

对于 BigQuery Omni,沿袭处理会分布到特定区域,费用取决于执行处理的区域。

数据沿袭合规性

  • 数据沿袭会记录有关数据移动的元数据,但不会捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型Data Lineage API 参考文档
  • 作为 Knowledge Catalog 的一部分,数据沿袭会提供 VPC-SC 支持。
  • Knowledge Catalog 不提供使用客户管理的加密密钥来保护收集的沿袭元数据的功能。

数据沿袭限制

在沿袭图中选择节点时,如果出现以下情况,节点详情侧边栏将为空:

  • 资源位于其他组织中。
  • 用户不是托管资源的组织的成员。