排查元数据更改 Feed 问题

本文档可帮助您排查并解决 Dataplex Universal Catalog 元数据更改 Feed 的常见问题。

元数据更改 Feed 创建错误

本部分介绍了如何解决在创建元数据更改 Feed 时可能遇到的错误。

权限遭拒错误

您在尝试创建元数据更改 Feed 时收到 PERMISSION_DENIED 错误。

出现此问题的原因可能是您或 Dataplex Universal Catalog 服务账号缺少必需的权限。

如需解决此问题,请查看以下要求:

  • 确保您拥有 dataplex.metadataFeeds.create 权限。

  • 确保您对 Feed 的范围(组织、项目或条目组)拥有 dataplex.entryGroups.export 权限。

  • 确保 Dataplex Universal Catalog 服务账号 (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) 拥有目标 Pub/Sub 主题的 roles/pubsub.publisher 角色。

VPC Service Controls 错误

您在创建 Feed 时收到 PERMISSION_DENIED 或 VPC Service Controls 错误。

如需解决此问题,请检查元数据更改 Feed 及其监控的资源是否属于同一 VPC Service Controls 边界:

  • 如果 Feed 的范围是组织,则仅监控同一边界内的项目。

  • 如果 Feed 的范围是项目级或条目组级,请确保所有指定项目或条目组与您创建 Feed 的项目位于同一边界内。

通知传递问题

本部分介绍了如何解决通知传递方面的问题。

未收到通知

您未在 Pub/Sub 主题中收到通知。这可能是由多种因素导致的:

  • 权限缺失:Dataplex Universal Catalog 服务账号失去了对相应主题的 roles/pubsub.publisher 角色。

  • 启用延迟时间:新创建或更新的 Feed 最多可能需要 10 分钟才能启用。

  • 主题已删除:如果目标 Pub/Sub 主题被删除,Dataplex Universal Catalog 会停止发布。

  • 范围或过滤条件不匹配:更改可能与配置的范围或过滤条件不匹配。

如需解决此问题,请检查以下各项:

  • 验证 Dataplex Universal Catalog 服务账号是否对相应主题具有 roles/pubsub.publisher 角色。

  • 创建或更新 Feed 后,请至少等待 10 分钟。

  • 检查 Pub/Sub 主题是否存在。如果该文件已被删除,您必须重新创建它。

  • 查看您的 Feed 配置,确保范围和过滤条件与您希望收到的元数据更改相符。

重复通知

您会收到重复的通知消息。Dataplex Universal Catalog 可确保“至少一次”传送,这意味着可能会出现重复的消息,尤其是在重试期间。

配置订阅者应用以处理可能出现的重复项。您可以使用 messageId 或更改时间戳来识别消息并去除重复消息。

内容问题

本部分介绍了如何解决与元数据更改 Feed 通知内容相关的问题。

载荷中缺少完整元数据

通知消息仅包含资源名称和更改类型,但不包含完整的元数据或具体更改。

这是因为,从设计上讲,元数据更改 Feed 通知提供的是“更改签名”(更改的内容),而不是完整载荷。这样可以保持消息轻量化,并避免达到载荷大小上限。

使用通知中提供的资源名称调用 Dataplex Universal Catalog API(例如 GetEntry),并检索资源的当前状态。