使用知识目录管理 Looker (Google Cloud Core) 资源

您可以使用 Knowledge Catalog 管理 Looker (Google Cloud Core) 实例中的元数据。管理元数据有助于您治理数据并做出明智的决策。

Knowledge Catalog 是一个 Data Catalog 平台，可存储、管理和提供对元数据的访问权限。它会为 Looker (Google Cloud Core) 中的生产 LookML、LookML 项目和信息中心元数据编制索引。

通过此集成，您可以集中查看数据资产及其关系，包括数据沿袭。使用 Knowledge Catalog 时，您可以执行影响分析、数据发现和变更管理，这有助于您将数据集成到运营工作流中，并为数据找到新的用途。

Knowledge Catalog 会从 Looker 捕获多个实体级别，其中包括：

  • Looker 实例：包括实例 ID、网址和相关信息中心
  • 智能体：包括创建者、说明和数据源
  • 信息中心：包括名称、布局、过滤条件和相关信息中心元素
  • 信息中心元素：包括类型、查询、模型和探索
  • 探索：包括标签、默认查询、外键、联接条件（sql_on、relationship 和 type）、过滤条件（always_filter、conditionally_filter、access_filter、sql_always_where 和 sql_always_having）、包含维度和测量定义的架构，以及同义词
  • Look：包括创建者项目、探索、模型和字段
  • LookML 信息中心：包括说明、信息中心名称、布局、过滤条件和相关的 LookML 信息中心元素
  • LookML 信息中心元素：包括说明、查询、合并查询
  • LookML 项目：包括说明和相关模型
  • 模型：包括路径、项目网址、连接以及相关视图、探索和 LookML 信息中心
  • 视图：包括派生表、集群键、主键以及包含维度和测量定义的架构

Knowledge Catalog 与 Looker (Google Cloud Core)集成还表示已定义的关系，包括：

  • reference 个表示 Looker 对象之间关系的条目关联
  • schema-join 个表示主键和外键关联的条目链接

此集成如何运作

Looker 和 Knowledge Catalog 集成使用第一方连接器来提取元数据。Looker（Google Cloud 核心）会将 LookML 元数据发布到区域级 Cloud Storage 代码库，以便 Knowledge Catalog 通过实时同步流程使用。

默认情况下，从 Looker (Google Cloud core) 到 Knowledge Catalog 的数据传输是自动进行的，无需更改配置。Looker（Google Cloud 核心）使用内部服务执行实时同步。

当您更新 LookML 模型并将其推送到生产环境时，系统会自动将关键元数据与 Knowledge Catalog 同步。此元数据包括视图和探索详情、字段定义以及模型信息。同样，信息中心元数据（包括标题、所有权和使用情况统计信息）也会显示在目录中。

何时将 Knowledge Catalog 与 Looker 搭配使用

使用 Knowledge Catalog 发现和了解 Looker 元数据。该目录可帮助完成以下活动：

  • AI 和数据智能体准确性：使用已编入索引的 LookML 模型、探索和视图作为语义定义。根据 Knowledge Catalog 中的 Looker 条目生成查询，可确保 AI 智能体遵循官方业务逻辑（经过认证的测量、维度和有效联接路径）。
  • 端到端沿袭（影响分析和来源）：使用数据沿袭直观呈现数据在数据源（例如 BigQuery）和 Looker 资源之间双向流动的方式：
    • 下游影响分析：在更改架构或模型之前，预测哪些信息中心和探索会受到影响。
    • 上游数据审核：审核高管信息中心和 Look 中显示的指标的来源、转换和监管链。
  • 发现和资产整合：在整个组织中搜索经过认证的信息中心、探索和视图，以防止重复报告和冗余数据建模。

借助 Knowledge Catalog，您还可以通过将切面附加到 Looker 元数据条目来精选元数据。通过将切面附加到 Looker 资产，您可以向资产添加业务元数据，并按该元数据搜索资产。

所需权限

如需获得使用 Knowledge Catalog 和 Looker (Google Cloud Core)集成所需的权限，请让管理员向您授予 Looker (Google Cloud Core)实例所在项目的以下 IAM 角色：

  • 查看 Knowledge Catalog 资源：Dataplex Catalog Viewer (roles/dataplex.catalogViewer)

  • 如需访问 Knowledge Catalog 上的 Looker (Google Cloud Core) 元数据，请执行以下操作：Looker Schema Viewer (roles/looker.schemaViewer)

    • Looker Schema Viewer 预定义角色包含 looker.schemas.view 权限，该权限是访问 Knowledge Catalog 上的 Looker (Google Cloud Core)元数据所必需的。

  • 如需停用或启用 Knowledge Catalog 与 Looker (Google Cloud Core) 之间的集成，请使用 Looker Admin (roles/looker.admin) 角色

  • 如需查看数据沿袭图：Data Lineage Viewer (roles/datalineage.viewer)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

启用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成

Looker (Google Cloud Core) 实例默认启用 Knowledge Catalog。如需停用集成，请参阅本文档页面的停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成部分。

如果您的实例上停用了该集成，而您想启用它，请完成以下步骤：

控制台

  1. 启用 Dataplex API。如需查看正在提取的元数据，您必须在托管 Looker（Google Cloud 核心版）实例的 Google Cloud 项目中启用 Cloud Dataplex API (dataplex.googleapis.com)。

    启用 Dataplex API

  2. 在实例的实例页面的详细信息标签页上，点击修改。
  3. 展开 Knowledge Catalog 集成部分。
  4. 取消选中选择停用 Knowledge Catalog 集成复选框。
    • 注意：启用此设置后，系统会同时启用元数据提取和数据沿袭（如果已启用 Data Lineage API）。
  5. 点击保存。

gcloud

确保在托管 Looker (Google Cloud Core)实例的 Google Cloud 项目中已启用 Dataplex API。

使用带有 --catalog-integration-enabled 标志的 gcloud looker instances update 命令启用集成：

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

将 INSTANCE_NAME 替换为 Looker (Google Cloud Core) 实例的名称。

启用集成后，Looker 数据最多需要一天时间才能在 Knowledge Catalog 中显示。

搜索 Looker 资产

如需在 Knowledge Catalog 中查看 Looker (Google Cloud core) 数据，您必须先启用 Dataplex API。如需获得启用 API 所需的权限，您必须拥有 Service Usage Admin (roles/serviceusage.serviceUsageAdmin) IAM 角色。

启用 Dataplex API

使用 Google Cloud 控制台中的 Knowledge Catalog 搜索页面可搜索 Looker (Google Cloud core) 资产。

前往“搜索”

在过滤条件面板中，您可以使用项目、系统和类型别名部分过滤 Looker (Google Cloud core) 资产。在系统部分，您可以过滤 Looker。在类型别名中，您可以将搜索结果过滤为特定类型的资产。

如果您已将系统过滤条件设置为 Looker，则可以在类型别名部分中选择以下一项或多项，以过滤特定类型的 Looker 资产：

  • 代理
  • 信息中心
  • 信息中心元素
  • 探索
  • 实例
  • Look
  • LookML 项目
  • 模型
  • 查看
  • 其他

您还可以使用关键字或自然语言语法直接在搜索字段中输入搜索查询。例如，如需查看所有 Looker 资产，请输入 system=Looker。如需查看所有 Looker 信息中心，请输入 system=Looker AND type=dashboard。

您可以将以下值与 type 限定符搭配使用：

  • agent
  • dashboard
  • dashboard_element
  • explore
  • instance
  • look
  • lookml_project
  • model
  • view

您还可以使用 lookupEntryLinks 方法搜索与 Looker 相关的 BigQuery 条目。reference 条目链接表示从 BigQuery 表条目到其 Looker 视图条目的链接。

如需详细了解如何搜索资源，请参阅在 Knowledge Catalog 中搜索资源。 如需详细了解可在搜索字段中使用的表达式，请参阅 Knowledge Catalog 的搜索语法。

停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成

如需停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成，请完成以下步骤。

控制台

  1. 在实例的实例页面的详细信息标签页上，点击修改。
  2. 展开 Knowledge Catalog 集成部分。
  3. 选中选择停用 Knowledge Catalog 集成复选框。
    • 注意：停用此设置会同时停用元数据提取和数据沿袭（如果已启用 Data Lineage API）。
  4. 点击保存。

gcloud

使用带有 --no-catalog-integration-enabled 标志的 gcloud looker instances update 命令启用集成：

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

将 INSTANCE_NAME 替换为 Looker (Google Cloud Core) 实例的名称。

如果集成在启用后被停用，则 Knowledge Catalog 中已有的 Looker 元数据将保留在 Knowledge Catalog 中，但不会更新为新元数据。

VPC Service Controls

Looker (Google Cloud Core) 与 Knowledge Catalog 之间的集成支持 VPC Service Controls。

如果您的 Looker (Google Cloud Core)实例或 Knowledge Catalog 资源位于 VPC Service Controls 服务边界内，则必须确保 Dataplex API (dataplex.googleapis.com) 在边界内配置为受限服务。

价格

在 Knowledge Catalog 中存储 Looker (Google Cloud core) 技术元数据无需付费。对于 API 调用和额外的业务元数据丰富化，适用标准 Knowledge Catalog 价格。如需了解详情，请参阅 Knowledge Catalog 价格页面。

后续步骤