数据库连接器简介

本文档介绍了如何使用 Knowledge Catalog（以前称为 Dataplex Universal Catalog）连接器将元数据从外部第三方数据源导入 Knowledge Catalog。

Knowledge Catalog 连接器利用 BigQuery Data Transfer Service 提供预构建的集成，这些集成会自动从源系统提取元数据，并将其映射到 Knowledge Catalog 条目组中的条目。

连接器会提取以下类型的元数据：

  • 技术元数据：数据库、架构、表和视图定义。
  • 运营元数据：资产（ 例如表、视图和例程）的创建和上次更新时间戳。
  • 业务元数据：资产所有者和注释。

配置连接器后，Knowledge Catalog 会按照您指定的时间表安排元数据导入运行，确保目录与源系统保持同步。

支持的数据源

您可以使用 Knowledge Catalog 连接器从以下来源导入元数据：

  • Oracle
  • MySQL

与数据治理合作伙伴的集成

您可以将 Knowledge Catalog 与其他企业数据编目和治理平台集成。这些集成有助于确保元数据在组织的数据环境中可被发现且保持一致，让您可以在 Knowledge Catalog 中丰富元数据，或在第三方工具中查看 Knowledge Catalog 元数据。

以下合作伙伴为 Knowledge Catalog 提供集成：

工作原理

Knowledge Catalog 连接器使用由 BigQuery Data Transfer Service 管理的转移作业配置连接到您的数据源，提取元数据，并将其注入您指定的 Knowledge Catalog 条目组。

每次运行元数据导入时，系统都会对该配置管理的目标条目组中的条目执行完全覆盖 。系统会从条目组中移除源中不再存在的元数据对象，并添加新对象。条目组中未通过连接器配置导入的对象不受影响。

您可以在控制台的 Knowledge Catalog 部分的 Google Cloud 连接器 页面中配置和管理这些配置。

术语

本文档中使用了以下术语：

  • 元数据导入配置：计划任务或 按需任务的设置，该任务使用 BigQuery Data Transfer Service 从来源提取元数据 并将其加载到 Knowledge Catalog。
  • 运行：元数据导入配置的单个执行实例。
  • 条目组：Knowledge Catalog 中包含元数据 条目的资源。配置连接器时，您需要指定一个条目组作为导入元数据的目标。
  • 条目：Knowledge Catalog 中代表数据资产的资源， 例如表或视图。

价格

使用连接器导入元数据时，Knowledge Catalog 或 BigQuery Data Transfer Service 不会收取额外费用。

其他 Knowledge Catalog 用途（例如元数据存储）需按标准收费。如需了解详情，请参阅 Knowledge Catalog 价格。

限制

  • 系统只会导入元数据，而不会导入源表或视图中的底层数据。如需转移底层数据，您可以使用 BigQuery Data Transfer Service。
  • 每次运行都会对目标条目组中由连接器管理的条目执行完全覆盖。不支持增量元数据更新。
  • 运行记录会保留 90 天。

后续步骤