借助 Knowledge Catalog(以前称为 Dataplex Universal Catalog),您可以自动从支持的 Google Cloud 数据源中注入并维护最新的元数据。如需在 Google Cloud 项目中使用 Knowledge Catalog,您必须启用 Dataplex API、Dataproc API 和 Dataproc Metastore API。
准备工作
创建一个 Google Cloud 项目并启用结算功能。由于启用 API 可能会产生费用,因此您的组织可能会限制哪些人可以启用服务。
如需启用和停用 Dataplex API,您需要拥有 Owner (
roles/owner)、Editor (roles/editor) 或 Service Usage Admin (roles/serviceusage.serviceUsageAdmin) 角色。如需了解详情,请参阅使用 IAM 管理访问权限和启用和停用服务。
启用 Knowledge Catalog
您可以使用现有的 Knowledge Catalog 项目,也可以创建新项目。建议您创建一个新项目。如果您使用的是新 Google Cloud 项目或已启用 BigQuery API 的项目,则 Dataplex API 默认处于启用状态。不过,您仍需启用 Dataproc API 和 Dataproc Metastore API。
为了使湖创建的资源彼此分离,并与项目中的其他资源分离,请为每个湖实例创建一个项目。
如需创建项目并启用 Knowledge Catalog,请按照以下步骤操作:
- 在 Google Cloud 控制台中,选择或创建一个项目。
- 确保您的项目已启用结算功能。
-
启用 Dataplex、Managed Service for Apache Spark 和 Dataproc Metastore API(如果尚未启用)。
启用 API 所需的角色
如需启用 API,您需要拥有
serviceusage.services.enable权限。如果您是项目创建者,则可能已通过 Owner 角色 (roles/owner) 获得此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。
停用 Knowledge Catalog
如果您在同时使用 BigQuery 的项目中使用 Knowledge Catalog,请注意停用 Knowledge Catalog 时对 BigQuery 行为的影响。
为避免产生额外费用,请先完成以下步骤,然后再停用 Knowledge Catalog:
在 Google Cloud 控制台中,删除项目中的每个湖实例。 如需删除数据湖,必须先删除各个资产和区域。如需了解详情,请参阅
projects.locations.lakes.delete。在 Google Cloud 控制台中,删除项目中的所有自定义条目组。删除条目组会移除属于该条目组的所有条目。如需了解详情,请参阅删除条目组。
选择要在其中停用 Dataplex API 的项目。
前往已启用的 API 和服务页面。
点击 Cloud Dataplex API。
点击停用 API。 在系统提示时确认。
如果您还启用了 Data Lineage API,请重复上述步骤将其停用。停用 Dataplex API 不会停用 Data Lineage API,也不会停止收取高级处理费用。如需了解详情,请参阅关闭数据沿袭。
后续步骤
- 了解如何搜索资源。
- 了解如何衡量数据质量。
- 了解 Knowledge Catalog 中的元数据。
- 按照快速入门指南跟踪 BigQuery 表的数据沿袭进行操作。
- 尝试 Knowledge Catalog 应用场景。