Fehlerbehebung bei Metadaten-Änderungsfeeds

In diesem Dokument erfahren Sie, wie Sie häufige Probleme mit Dataplex Universal Catalog-Metadatenänderungsfeeds beheben können.

Fehler beim Erstellen von Feeds für Metadatenänderungen

In diesem Abschnitt wird beschrieben, wie Sie Fehler beheben, die beim Erstellen von Feeds für Metadatenänderungen auftreten können.

Fehler „Berechtigung verweigert“

Beim Erstellen eines Feeds für Metadatenänderungen wird der Fehler PERMISSION_DENIED angezeigt.

Das Problem tritt auf, weil Ihnen oder dem Dienstkonto des Dataplex Universal Catalog möglicherweise die erforderlichen Berechtigungen fehlen.

Prüfen Sie, ob die folgenden Anforderungen erfüllt sind, um das Problem zu beheben:

  • Prüfen Sie, ob Sie die Berechtigung dataplex.metadataFeeds.create haben.

  • Sie benötigen die Berechtigung dataplex.entryGroups.export für den Bereich des Feeds (Organisation, Projekt oder Eintragsgruppe).

  • Achten Sie darauf, dass das Dataplex Universal Catalog-Dienstkonto (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) die Rolle roles/pubsub.publisher für das Ziel-Pub/Sub-Thema hat.

VPC Service Controls-Fehler

Beim Erstellen eines Feeds wird ein PERMISSION_DENIED- oder VPC Service Controls-Fehler angezeigt.

Prüfen Sie, ob der Metadaten-Änderungsfeed und die von ihm überwachten Ressourcen zum selben VPC Service Controls-Perimeter gehören, um das Problem zu beheben:

  • Wenn der Feed auf Organisationsebene festgelegt ist, werden nur Projekte innerhalb desselben Perimeters überwacht.

  • Wenn der Feed projektbezogen oder eintragsgruppenbezogen ist, müssen sich alle angegebenen Projekte oder Eintragsgruppen im selben Perimeter wie das Projekt befinden, in dem Sie den Feed erstellen.

Probleme bei der Zustellung von Benachrichtigungen

In diesem Abschnitt wird beschrieben, wie Sie Probleme mit der Zustellung von Benachrichtigungen beheben.

Benachrichtigungen werden nicht empfangen

Sie erhalten keine Benachrichtigungen in Ihrem Pub/Sub-Thema. Das kann verschiedene Gründe haben:

  • Fehlende Berechtigungen: Das Dataplex Universal Catalog-Dienstkonto hat die Rolle roles/pubsub.publisher für das Thema verloren.

  • Aktivierungsverzögerung: Es kann bis zu 10 Minuten dauern, bis ein neu erstellter oder aktualisierter Feed aktiv wird.

  • Thema gelöscht: Wenn das Ziel-Pub/Sub-Thema gelöscht wird, beendet Dataplex Universal Catalog die Veröffentlichung.

  • Umfang oder Filter stimmen nicht überein: Die Änderungen stimmen möglicherweise nicht mit dem konfigurierten Umfang oder den Filtern überein.

Prüfen Sie Folgendes, um das Problem zu beheben:

  • Prüfen Sie, ob das Dataplex Universal Catalog-Dienstkonto die Rolle roles/pubsub.publisher für das Thema hat.

  • Warten Sie nach dem Erstellen oder Aktualisieren eines Feeds mindestens 10 Minuten.

  • Prüfen Sie, ob das Pub/Sub-Thema vorhanden ist. Wenn sie gelöscht wurde, müssen Sie sie neu erstellen.

  • Prüfen Sie die Feedkonfiguration, um sicherzustellen, dass der Umfang und die Filter mit den erwarteten Änderungen der Metadaten übereinstimmen.

Doppelte Benachrichtigungen

Sie erhalten doppelte Benachrichtigungen. Dataplex Universal Catalog garantiert die „mindestens einmalige“ Zustellung. Das bedeutet, dass doppelte Nachrichten auftreten können, insbesondere bei Wiederholungsversuchen.

Konfigurieren Sie Ihre Abonnentenanwendung so, dass sie potenzielle Duplikate verarbeiten kann. Sie können das Feld messageId oder den Änderungszeitstempel verwenden, um Nachrichten zu identifizieren und zu deduplizieren.

Probleme mit Inhalten

In diesem Abschnitt wird beschrieben, wie Sie Probleme mit dem Inhalt von Benachrichtigungen für Metadatenänderungsfeeds beheben.

Vollständige Metadaten in der Nutzlast fehlen

Die Benachrichtigung enthält nur den Ressourcennamen und den Änderungstyp, aber nicht die vollständigen Metadaten oder die spezifischen Änderungen.

Das liegt daran, dass Benachrichtigungen über Metadatenänderungen standardmäßig „Änderungssignaturen“ (was sich geändert hat) und nicht die vollständige Nutzlast enthalten. So bleiben Nachrichten schlank und Nutzlastgrößenlimits werden vermieden.

Rufen Sie mit dem in der Benachrichtigung angegebenen Ressourcennamen die Dataplex Universal Catalog API auf (z. B. GetEntry), um den aktuellen Status der Ressource abzurufen.