管理连接器作业

本文档介绍了如何查看、更新和删除用于元数据导入的 Knowledge Catalog（以前称为 Dataplex Universal Catalog）连接器作业。

准备工作

如需管理连接器作业，您需要拥有相应的 IAM 角色。如需了解详情，请参阅 IAM 角色。

  • 如需查看作业和运行历史记录，请执行以下操作：
    • BigQuery User (roles/bigquery.user)
    • Dataplex Viewer (roles/dataplex.viewer)
  • 如需修改、删除或手动触发作业，请执行以下操作：
    • BigQuery Admin (roles/bigquery.admin)
    • Dataplex Administrator (roles/dataplex.admin) 或 Dataplex Editor (roles/dataplex.editor)

您需要启用 BigQuery Data Transfer Service。

此外，您还必须向 BigQuery Data Transfer Service 服务代理 (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) 授予 dataplex.entryGroups.import 权限或 Dataplex Entry Group Importer (roles/dataplex.entryGroupImporter) 角色。可以在项目级层或条目组级层授予此角色。

查看连接器作业

  1. 在 Google Cloud 控制台中，前往 Knowledge Catalog 页面。

    前往 Knowledge Catalog

  2. 在导航菜单中的管理部分，点击连接器。 连接器页面会列出项目中的所有元数据导入作业。

  3. 如需查看特定作业的详细信息、运行历史记录或配置，请点击列表中的相应显示名称。

查看作业运行历史记录和日志

对于任何连接器作业，您都可以查看其运行历史记录，包括成功和失败的运行。系统会自动删除存在时长超过 90 天的作业运行。

  1. 在连接器页面上，点击要查看的作业的显示名称。
  2. 点击运行历史记录标签页。此标签页显示最近的作业运行情况。
  3. 如需查看特定运行的日志，请在列表中找到相应运行，然后点击查看详细信息。

日志记录和监控

Knowledge Catalog 元数据连接器会将日志和指标导出到 Cloud Monitoring 和 Cloud Logging，以便向您的导入配置提供可观测性。您可以使用 Monitoring 设置信息中心，以监控元数据导入配置、评估运行性能以及查看错误消息以排查运行失败问题。您可以使用 Logging 查看与运行或配置相关的日志。

更新连接器作业

您可以修改现有作业的配置，包括其时间表、目标条目组、通知设置和要导入的源对象。

  1. 在连接器页面上，点击要更新的作业的显示名称。
  2. 点击修改。
  3. 根据需要修改作业配置。
  4. 点击保存。

停用或启用连接器作业

停用作业后，系统会更新其名称，并添加 disabled 状态，且不会安排新的作业运行。任何正在进行的运行都会完成。 停用作业不会移除已导入 Knowledge Catalog 的元数据。

  1. 在连接器页面上，找到要停用或启用的作业。
  2. 点击操作，然后选择停用或启用。

删除连接器作业

删除作业后，系统不会安排新的运行，并且会停止所有正在进行的运行。删除作业不会移除已导入 Knowledge Catalog 的元数据。

  1. 在连接器页面上，找到要删除的作业。
  2. 点击操作，然后选择删除。
  3. 如需确认，请输入 delete，然后点击删除。

手动触发作业

您可以启动超出常规时间表的作业运行。这种广告有时称为“回填”广告。

  1. 在连接器页面上，点击要运行的作业的显示名称。

  2. 点击立即运行转移作业，然后选择运行一次性转移作业。