分析数据更改对工作流的影响

在此场景中，您维护一个数据库，其中存储了有关医疗服务提供方提供的各种服务的使用情况的记录。为了方便使用数据，您浏览了表格以确定潜在的更改。在实施更改之前，您需要确定任何改进是否会影响现有工作流，以及是否需要进行其他调整。

在本教程中，您将使用数据沿袭来确定数据转换如何影响下游资源以及资源所属的工作流。

开始使用

如需完成此使用情形，请先设置环境并运行数据转换。使用 前提条件和设置 页面将远程仓库连接到 Dataform。此代码库包含设置数据集和转换数据所需的代码。

完成环境设置后，使用 BigQuery 和 Lineage Explorer 跟踪数据转换及其对工作流的影响。

使用 Lineage Explorer 分析数据转换

准备好数据集后，使用 BigQuery 的沿袭 标签页分析数据转换的影响。

使用沿袭图验证列数据的完整性

在此示例中，检查 medicare_participation_indicator 列，该列用于指明医生或供应商是否同意为 Medicare 提供服务。沿袭图显示了派生表之间的数据转换如何导致列数据类型发生变化：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。
  2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
  3. 点击沿袭 标签页。
  4. 在 Lineage Explorer 窗格中，执行以下操作：
    1. 在列级沿袭 部分中，从列表中选择 medicare_participation_indicator 列名称。
    2. 在方向 部分中，选择下游 方向。
    3. 点击应用 。
  5. 展开沿袭路径，直到到达 vertex_ai_model_final_features。

  6. 分析 supplier_stg3 表和 supplier_transform1 表之间的路径变化：

    “medicare_participation_indicator”列的沿袭跟踪。
    沿袭跟踪可视化图表（针对 medicare_participation_indicator 列）
    • 完全复制 路径标记表示列正在通过，且未发生任何更改。
    • 其他 路径标记表示转换。在此路径中，数据类型 String 被视为 Boolean。

该路径显示列数据类型发生了变化，这可能需要在使用这些表的相应工作流中进行调整。

识别冗余的下游列

此示例检查了 nppes_credentials 列，该列列出了从业者在国家计划和提供商枚举系统 (NPPES) 中持有的国家提供商标识符：

  1. 在 Google Cloud 控制台中，前往 BigQuery 页面。
  2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
  3. 点击沿袭 标签页。
  4. 在 Lineage Explorer 窗格中，执行以下操作：
    1. 在列级沿袭 部分中，从列表中选择 nppes_credentials 列名称。
    2. 在方向 部分中，选择下游 方向。
    3. 点击应用 。
  5. 展开路径，检查是否存在通往 vertex_ai_model_final_features 的下游沿袭。

没有沿袭意味着此列可能与此特定工作流无关，甚至可以删除。

如需详细了解如何使用数据沿袭图可视化数据，请参阅沿袭图视图。