使用数据沿袭优化费用

借助 Knowledge Catalog 中的数据沿袭功能,您可以跟踪 BigQuery 项目中表和视图的下游依赖项。然后,您可以识别未被用作下游作业或工作流来源的资产,并将其标记为待删除资产,以降低存储费用。

在本教程中,您将管理一个 BigQuery 项目,其中包含来自季度就业和工资普查 (QCEW) 的数据集。该项目包含许多用于信息中心和分析的表和视图,例如跟踪就业趋势或工资比较,这会增加您的存储费用。通过检查每个资产是否存在下游链接,您可以系统地标记未使用的资源以供删除。

设置 Lineage Explorer

如需完成此应用场景,请先设置环境,然后将远程仓库连接到 Dataform,以运行数据转换。此代码库包含设置数据集和转换数据所需的代码。如需了解详情,请参阅前提条件和设置。

完成环境设置后,使用 BigQuery 和沿袭探索器直观地识别没有下游依赖项的资产。

识别未使用的资产并优化费用

准备好数据集后,找出缺少下游依赖项的资产。虽然您可以直观地对单个表执行此操作,但也可以对较大的数据集使用程序化方法。

在此示例中,将活跃素材资源与独立素材资源进行比较,以确定哪些素材资源可以安全移除:

  1. 在 Google Cloud 控制台中,前往 BigQuery 页面:
  2. 使用搜索字段查找独立表(例如,特定年份的旧分析表)。
  3. 点击沿袭标签页。
  4. 在谱系探索器窗格中,执行以下操作:
    1. 在方向部分,选择下游方向。
    2. 点击应用。

观察图表。如果没有下游节点,则表示该资产未用作其他受跟踪 BigQuery 作业的来源。如需详细了解如何使用数据沿袭图直观呈现数据,请参阅沿袭图视图。