使用知识目录跟踪数据沿袭

本页面介绍了如何使用 Knowledge Catalog 跟踪 Looker (Google Cloud Core) 实例的数据沿袭。

数据沿袭是指跟踪数据在系统中的流动方式的过程。通过将 Looker (Google Cloud Core)与 Knowledge Catalog 集成，您可以直观呈现数据的端到端历程：从 BigQuery 中的数据源，到 Looker 语义层（LookML 视图和探索），再到 Looker 信息中心、Look、LookML 信息中心和对话式分析智能体中的下游使用。

这种可见性可为数据治理、影响分析和审核工作流提供双向沿袭跟踪：

  • 下游影响分析：在更改架构或模型之前，预测哪些信息中心、探索和下游使用者会受到影响。例如，在删除 BigQuery 表中的列之前，您可以查看沿袭图，了解哪些 Looker 信息中心可能会损坏。
  • 上游数据审核：跟踪高管信息中心和 Look 中显示的指标的来源、转换和监管链。

准备工作

如需将数据沿袭功能与 Looker (Google Cloud core) 搭配使用，您必须满足以下前提条件：

  1. Looker (Google Cloud Core)：所有版本类型的 Looker (Google Cloud Core) 实例都支持数据沿袭。Looker（原版）实例无法与 Knowledge Catalog 集成。
  2. 数据源：只有 BigQuery 数据源支持数据沿袭。

  3. 所需权限：如需查看沿袭图，您需要拥有以下 IAM 角色：

    • 对托管 Looker (Google Cloud Core) 实例的项目拥有 Looker Schema Viewer (roles/looker.schemaViewer) 角色。如需查看填充到沿袭图侧边栏中的 Looker (Google Cloud Core) 专用元数据，您必须拥有此角色。

    • Dataplex Catalog Viewer (roles/dataplex.catalogViewer) 或查看 Knowledge Catalog 资产的等效权限

    • Data Lineage Viewer (roles/datalineage.viewer)，用于读取沿袭数据

启用数据沿袭

如需启用数据沿袭，请在 Google Cloud 控制台中完成以下步骤：

  1. 启用 Data Lineage API：您必须在托管 Looker（Google Cloud 核心版）实例和 BigQuery 数据的任何 Google Cloud 项目中启用 Data Lineage API (datalineage.googleapis.com)。

    启用 Data Lineage API

  2. 确保已启用服务级沿袭提取：确保已启用 Looker (Google Cloud Core) 服务级沿袭集成。在启用了 Data Lineage API 的项目中，Looker (Google Cloud Core)实例默认启用沿袭提取功能。

如需查看 Google Cloud 项目的谱系配置，请参阅获取当前配置文档。如果与 Looker (Google Cloud Core) 的集成已停用，该命令将返回类似于以下内容的输出：

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

响应中的项目 ID 将反映请求中的 ID。etag 字段是由服务器根据配置的当前值生成的校验和。

查看数据沿袭

启用集成并完成初始同步（最多可能需要 24 小时）后，您可以在 Knowledge Catalog 控制台中查看沿袭。

  1. 在 Google Cloud 控制台中，前往 Knowledge Catalog 页面。

    前往 Knowledge Catalog

  2. 点击左侧导航窗格中的搜索。
  3. 搜索 BigQuery 表或 Looker (Google Cloud Core) 资产（例如信息中心或探索）。
    • 您可以使用过滤条件面板，按系统 > Looker 进行过滤。
  4. 点击资产名称，打开其详情页面。
  5. 点击沿袭标签页。

沿袭图会将该资产显示为中心节点，其上游来源位于左侧，下游使用者位于右侧。这种双向布局可让您评估右侧的下游影响，或跟踪左侧的上游来源和源表。

解读沿袭图

沿袭图由节点和链接组成：

  • 节点：代表数据资产。支持的 Looker (Google Cloud Core) 资产包括：
    • Looker 信息中心
    • Looker 信息中心元素（图块）
    • Looker Look
    • LookML 信息中心
    • Looker 智能体（对话式分析智能体）
    • LookML 探索
    • LookML 视图
  • 链接：表示数据流。例如，从 BigQuery 表到 LookML 视图的链接表示该视图从该表中选择数据。

确定资产所有者

如需找出可能受更改影响的下游资产的所有者，请按以下步骤操作：

  1. 在沿袭图中，点击资产（例如 Looker 信息中心）对应的节点。
  2. 系统会在屏幕右侧打开一个信息面板。
  3. 在方面部分中找到所有者（电子邮件地址）。

过滤沿袭列表

在沿袭的列表视图中，您可以按属性名称或值过滤实体。例如，复杂的 LookML 模型可能会生成包含许多中间实体的大型沿袭图。如需专注于业务影响，您可以按照以下步骤按实体类型进行过滤：

  1. 在沿袭标签页中，切换到列表视图。
  2. 在工具栏中找到过滤条件选项。
  3. 在实体过滤条件中，输入 Looker 信息中心、LookML 信息中心和 Looker Look，以滤除 LookML 视图和 LookML 探索等中间类型。

实体列表会更新，仅显示所选素材资源类型，以便更轻松地识别面向用户的内容。

限制

Looker (Google Cloud Core) 沿袭集成具有以下限制：

  • 实例类型：只有 Looker (Google Cloud Core) 实例支持沿袭。Looker（原始）实例不支持沿袭。
  • 数据源：仅 BigQuery 数据源支持沿袭。
  • 粒度：在对象级别（表、视图、探索、Looker 信息中心、LookML 信息中心和对话式分析智能体）提供沿袭。不支持列级沿袭。
  • 延迟时间：沿袭数据不是实时的。同步过程通常需要 4 小时。不过，同步最多可能需要 8 小时，具体取决于 Looker 元数据导出和沿袭数据使用的时间。在 Looker 或 BigQuery 中所做的更改可能需要一些时间才会显示在沿袭图中。启用集成后，初始同步最多可能需要 24 小时。
  • 复杂的 SQL：使用复杂的自定义 SQL（例如 Liquid 模板、具有复杂联接的派生表）定义的 LookML 可能无法完全解析，从而可能导致节点断开连接。

价格

Looker (Google Cloud Core) 的数据沿袭功能已正式发布。定价将在未来某个日期开始生效，届时我们会通过重要服务通知 (MSA) 提前通知您。

如需了解详情，请参阅 Knowledge Catalog 价格页面。

后续步骤