使用知识目录管理 Looker (Google Cloud Core) 资源

本页面介绍了如何使用 Knowledge Catalog 搜索和管理 Looker (Google Cloud core) 元数据资源。

Knowledge Catalog 是一个用于存储、管理和提供元数据访问权限的平台。它充当编目工具，可对 Looker（Google Cloud 核心版）中的生产 LookML、LookML 项目和信息中心元数据进行索引。此集成可提供数据资产及其关系（包括数据沿袭）的统一全面视图。

Knowledge Catalog 可捕获 Looker 中的多个实体级别，包括：

  • Looker 实例
  • 信息中心
  • 信息中心元素
  • Look
  • LookML 项目
  • 模型
  • 探索
  • 视图（包含维度和度量）

此集成如何运作

Looker 和 Knowledge Catalog 集成使用第一方连接器进行元数据提取。Looker（Google Cloud 核心）将 LookML 元数据发布到区域 Cloud Storage 代码库，以供 Knowledge Catalog 通过批量同步流程使用。

默认情况下，从 Looker（核心）Google Cloud 到 Knowledge Catalog 的数据传输是自动进行的，无需更改任何配置。Looker（核心）使用内部服务执行同步。Google Cloud 内部批量同步流程大约每 4 小时运行一次，Looker 中的数据大约每小时刷新一次到 Knowledge Catalog。

当您更新 LookML 模型并将其推送到生产环境时，系统会自动将关键元数据与 Knowledge Catalog 同步。此元数据包括视图和“探索”详细信息、字段定义和模型信息。同样，信息中心元数据（包括标题、所有权和使用情况统计信息）也会显示在目录中。

何时将 Knowledge Catalog 与 Looker 搭配使用

使用 Knowledge Catalog 发现和了解 Looker 元数据。 该目录可帮助完成以下活动：

  • 影响分析：使用数据沿袭直观呈现数据从 BigQuery 流向 Looker 信息中心的方式。
  • 发现：搜索组织中的信息中心、探索和视图。
  • 变更管理：在进行变更之前，请了解依赖关系。
  • 数据移动流水线：跟踪数据来源。

借助 Knowledge Catalog，您还可以通过将切面附加到 Looker 元数据条目来挑选元数据。通过将切面附加到 Looker 资产，您可以向资产添加业务元数据，并按该元数据搜索资产。

所需权限

如需获得使用知识目录和 Looker (Google Cloud Core) 集成所需的权限，请让管理员向您授予 Looker (Google Cloud Core) 实例所在项目的以下 IAM 角色：

  • 查看 Knowledge Catalog 资源：Dataplex Viewer (roles/dataplex.viewer)

  • 如需访问 Knowledge Catalog 中的 Looker (Google Cloud Core) 元数据，请使用 Looker Schema Viewer (roles/looker.schemaViewer)

    • Looker Schema Viewer 预定义角色包含 looker.schemas.view 权限，这是在 Knowledge Catalog 中访问 Looker (Google Cloud Core)元数据所需的权限。

  • 如需停用或启用 Knowledge Catalog 与 Looker (Google Cloud Core) 之间的集成，您需要拥有 Looker Admin (roles/looker.admin) 角色

  • 如需查看数据沿袭图，请使用 Data Lineage Viewer (roles/datalineage.viewer)

如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

启用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成

默认情况下，Looker (Google Cloud Core) 实例会启用 Knowledge Catalog。如需停用集成，请参阅此文档页面中的停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成部分。

如果您的实例上停用了集成，但您想启用它，请完成以下步骤：

控制台

  1. 启用 Dataplex API。如需查看正在提取的元数据，您必须在托管 Looker（Google Cloud 核心）实例的 Google Cloud 项目中启用 Cloud Dataplex API (dataplex.googleapis.com)。

    启用 Dataplex API

  2. 在相应实例的实例页面的详情标签页上，点击修改。
  3. 展开 Knowledge Catalog 集成部分。
  4. 取消选中选择停用 Knowledge Catalog 集成复选框。
    • 注意：启用此设置后，系统会同时启用元数据提取和数据沿袭（如果已启用 Data Lineage API）。
  5. 点击保存。

gcloud

请务必在托管 Looker (Google Cloud Core) 实例的 Google Cloud 项目中启用 Dataplex API。

使用带有 --catalog-integration-enabled 标志的 gcloud looker instances update 命令启用集成：

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

将 INSTANCE_NAME 替换为 Looker (Google Cloud Core) 实例的名称。

启用集成后，Looker 数据最多需要一天时间才能在 Knowledge Catalog 中提供。

搜索 Looker 资源

如需在知识目录中查看 Looker（核心版）Google Cloud 数据，您必须先启用 Dataplex API。如需获得启用 API 所需的权限，您必须拥有 Service Usage Admin (roles/serviceusage.serviceUsageAdmin) IAM 角色。

启用 Dataplex API

使用 Google Cloud 控制台中的 Knowledge Catalog 搜索页面搜索 Looker（核心版）Google Cloud 资产。

前往“搜索”

在过滤条件面板中，您可以使用项目、系统和类型别名部分过滤 Looker（Google Cloud 核心）资产。在系统部分，您可以过滤出 Looker。在类型别名中，您可以通过选择以下一种或多种类型别名，将搜索结果过滤为特定类型的 Looker 资产：

  • 信息中心
  • 信息中心元素
  • 探索
  • LookML 项目
  • 模型
  • 实例
  • 查看
  • 其他

您还可以使用搜索字段执行搜索查询。您可以执行关键字搜索或自然语言搜索。例如，如需通过关键字搜索查看所有 Looker 资产，请输入 system=Looker。如需查看所有 Looker 信息中心，请输入查询 system=Looker AND type=DASHBOARD。以下素材资源可用于通过 type 关键字进行搜索：

  • 信息中心
  • dashboard_element
  • 探索
  • 实例
  • Look
  • lookml_project
  • 模型
  • 查看

如需详细了解如何搜索资源，请参阅在 Knowledge Catalog 中搜索资源文档页面。如需详细了解可在搜索字段中使用的表达式，请参阅 Knowledge Catalog 的搜索语法文档页面。

停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成

如需停用 Knowledge Catalog 与 Looker (Google Cloud Core) 实例的集成，请完成以下步骤。

控制台

  1. 在相应实例的实例页面的详情标签页上，点击修改。
  2. 展开 Knowledge Catalog 集成部分。
  3. 选中选择停用 Knowledge Catalog 集成复选框。
    • 注意：停用此设置会同时停用元数据提取和数据沿袭（如果已启用 Data Lineage API）。
  4. 点击保存。

gcloud

使用带有 --no-catalog-integration-enabled 标志的 gcloud looker instances update 命令启用集成：

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

将 INSTANCE_NAME 替换为 Looker (Google Cloud Core) 实例的名称。

如果先启用集成，然后再停用，Knowledge Catalog 中已有的 Looker 元数据将保留在 Knowledge Catalog 中，但不会更新为新的元数据。

VPC Service Controls

Looker (Google Cloud Core) 与 Knowledge Catalog 之间的集成支持 VPC Service Controls。

如果您的 Looker (Google Cloud core) 实例或 Knowledge Catalog 资源位于 VPC Service Controls 服务边界内，您必须确保可访问元数据导出所需的服务。

  • 确保 Dataplex API (dataplex.googleapis.com) 在您的边界内配置为受限服务。
  • 该集成使用内部 Cloud Storage 存储分区来转移元数据。确保您的服务边界允许访问必要的 Cloud Storage 资源。如果您遇到与元数据导出相关的PERMISSION_DENIED错误，请与您的 Google Cloud 客户支持团队或相应支持代表联系。

价格

在 Knowledge Catalog 中存储 Looker（核心）技术元数据无需付费。Google Cloud 对于 API 调用和额外的业务元数据丰富化，适用标准 Knowledge Catalog 价格。如需了解详情，请参阅 Knowledge Catalog 价格页面。

限制

本部分列出了使用 Looker（核心版）和知识目录的限制：Google Cloud

  • Looker 中的元数据不会立即显示在目录中。批量同步流程以设定的时间间隔运行，数据刷新大约每小时进行一次。
  • 此集成没有公开的 API。
  • 如需了解数据沿袭限制，请参阅使用 Knowledge Catalog 跟踪数据沿袭页面。

后续步骤