Resolver problemas com feeds de mudanças de metadados

Este documento ajuda a resolver problemas comuns com os feeds de mudanças de metadados do Dataplex Universal Catalog.

Erros na criação de feeds de mudanças nos metadados

Esta seção descreve como resolver erros que podem ocorrer ao criar feeds de mudanças de metadados.

Erros de permissão negada

Você recebe um erro PERMISSION_DENIED ao tentar criar um feed de mudança de metadados.

O problema ocorre porque você ou a conta de serviço do Dataplex Universal Catalog podem não ter as permissões necessárias.

Para resolver esse problema, analise estes requisitos:

  • Verifique se você tem a permissão dataplex.metadataFeeds.create.

  • Verifique se você tem a permissão dataplex.entryGroups.export no escopo do feed (organização, projeto ou grupo de entradas).

  • Verifique se a conta de serviço do Dataplex Universal Catalog (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) tem o papel roles/pubsub.publisher no tópico de destino do Pub/Sub.

Erros do VPC Service Controls

Você recebe um erro PERMISSION_DENIED ou do VPC Service Controls ao criar um feed.

Para resolver o problema, verifique se o feed de mudanças de metadados e os recursos que ele monitora pertencem ao mesmo perímetro do VPC Service Controls:

  • Se o feed tiver escopo de organização, apenas os projetos no mesmo perímetro serão monitorados.

  • Se o feed tiver escopo no projeto ou no grupo de entradas, verifique se todos os projetos ou grupos de entradas especificados estão no mesmo perímetro do projeto em que você está criando o feed.

Problemas na exibição de notificações

Nesta seção, descrevemos como resolver problemas com a entrega de notificações.

Notificações não recebidas

Você não está recebendo notificações no seu tópico do Pub/Sub. Isso pode acontecer por vários motivos:

  • Permissões ausentes: a conta de serviço do Dataplex Universal Catalog perdeu a função roles/pubsub.publisher no tópico.

  • Atraso na ativação: um feed recém-criado ou atualizado pode levar até 10 minutos para ser ativado.

  • Tópico excluído: se o tópico de destino do Pub/Sub for excluído, o Dataplex Universal Catalog vai parar de publicar.

  • Incompatibilidade de escopo ou filtro: as mudanças podem não corresponder ao escopo ou aos filtros configurados.

Para resolver o problema, verifique o seguinte:

  • Verifique se a conta de serviço do Dataplex Universal Catalog tem o papel roles/pubsub.publisher no tópico.

  • Aguarde pelo menos 10 minutos após criar ou atualizar um feed.

  • Verifique se o tópico do Pub/Sub existe. Se ele foi excluído, você precisa recriá-lo.

  • Revise a configuração do feed para garantir que o escopo e os filtros correspondam às mudanças de metadados que você espera receber.

Notificações duplicadas

Você recebe mensagens de notificação duplicadas. O Dataplex Universal Catalog garante a entrega "pelo menos uma vez", o que significa que mensagens duplicadas podem ocorrer, especialmente durante novas tentativas.

Configure o aplicativo de assinante para processar possíveis duplicidades. É possível usar o messageId ou o carimbo de data/hora da mudança para identificar e remover mensagens duplicadas.

Problemas de conteúdo

Esta seção descreve como resolver problemas com o conteúdo das notificações de feed de mudança de metadados.

Metadados completos ausentes no payload

A mensagem de notificação contém apenas o nome do recurso e o tipo de mudança, mas não os metadados completos ou as mudanças específicas.

Isso acontece porque, por design, as notificações de feed de mudanças de metadados fornecem "assinaturas de mudança" (o que mudou) em vez da carga útil completa. Isso mantém as mensagens leves e evita limites de tamanho de payload.

Use o nome do recurso fornecido na notificação para chamar a API Dataplex Universal Catalog (por exemplo, GetEntry) e extrair o estado atual do recurso.