分析数据更改对工作流的影响

借助 Knowledge Catalog（以前称为 Dataplex Universal Catalog）中的数据沿袭，您可以跟踪数据转换如何影响下游资源以及依赖于这些资源的工作流。在修改表之前跟踪列级依赖项有助于您验证数据完整性，并确定现有流水线是否需要调整。

在本教程中，您将维护一个数据库，其中存储了有关医疗服务提供方提供的各种服务的使用情况的记录。为了使数据更易于使用，您需要浏览这些表，以确定可能需要进行的更改。在实施更改之前，您可以使用 BigQuery Lineage Explorer 检查列、检查数据类型更改，并确定是否有任何改进会影响现有工作流或需要进行额外调整。

开始使用

如需完成此用例，请先设置环境并运行数据转换。使用前提条件和设置页面将远程仓库连接到 Dataform。此代码库包含设置数据集和转换数据所需的代码。

完成环境设置后，使用 BigQuery 和谱系探索器跟踪数据转换及其对工作流的影响。

使用沿袭浏览器分析数据转换

准备好数据集后，使用 BigQuery 沿袭标签页分析数据转换的影响。

使用沿袭图验证列数据完整性

在此示例中，请检查 medicare_participation_indicator 列，该列指示医生或供应商是否同意为 Medicare 提供服务。沿袭图显示了派生表之间的数据转换如何导致列数据类型发生变化：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面：
  2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
  3. 点击沿袭标签页。
  4. 在沿革探索器窗格中，执行以下操作：
    1. 在列级血缘部分中，从列表中选择 medicare_participation_indicator 列名称。
    2. 在方向部分，选择下游方向。
    3. 点击应用。
  5. 展开沿袭路径，直到到达 vertex_ai_model_final_features。

  6. 分析 supplier_stg3 表和 supplier_transform1 表之间的路径变化：

    medicare_participation_indicator 列的沿袭跟踪。
    medicare_participation_indicator 列的沿袭跟踪可视化图表
    • 精确复制路径标记表示列在传递过程中未发生任何更改。
    • 其他路径标记表示转换。在此路径中，数据类型 String 被视为 Boolean。

该路径显示列数据类型发生了变化，这可能需要调整使用这些表的工作流。

识别冗余的下游列

此示例检查 nppes_credentials 列，其中列出了从业者在国家计划和提供商枚举系统 (NPPES) 中持有的美国医疗保健提供商标识号：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面：
  2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
  3. 点击沿袭标签页。
  4. 在沿革探索器窗格中，执行以下操作：
    1. 在列级血缘部分中，从列表中选择 nppes_credentials 列名称。
    2. 在方向部分，选择下游方向。
    3. 点击应用。
  5. 展开路径，检查是否存在通往 vertex_ai_model_final_features 的下游沿袭。

没有沿袭意味着此列可能与此特定工作流无关，甚至可以删除。

如需详细了解如何使用数据沿袭图直观呈现数据，请参阅沿袭图视图。