Feeds für Metadatenänderungen

Mit Metadaten-Änderungsfeeds von Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie Metadatenänderungen an Einträgen und Aspekten in Ihrer Organisation, Ihren Projekten oder Eintragsgruppen nahezu in Echtzeit verfolgen und ereignisgesteuerte Workflows erstellen. Informationen zum Erstellen und Verwalten dieser Feeds finden Sie unter Benachrichtigungen mit Feeds zu Metadatenänderungen erhalten.

Funktionsweise von Feeds für Metadatenänderungen

In Knowledge Catalog stellt ein Eintrag ein Daten-Asset dar, z. B. eine BigQuery-Tabelle. Ein Aspekt ist eine Gruppe von zugehörigen Metadatenfeldern, die einem Eintrag zugeordnet sind und ihn beschreiben. Wenn ein Eintrag oder Aspekt erstellt, aktualisiert oder gelöscht wird, veröffentlicht Knowledge Catalog eine Benachrichtigung in einem von Ihnen angegebenen Pub/Sub-Thema. Diese Benachrichtigungen, auch als Metadaten-Änderungsfeed bezeichnet, enthalten Informationen zur Änderung. Dazu gehören der Zeitpunkt der Änderung, die geänderte Ressource und die Art der Änderung. Weitere Informationen zu Einträgen und Aspekten finden Sie unter Metadatenverwaltung in Knowledge Catalog.

Das folgende Architekturdiagramm zeigt, wie Knowledge Catalog Metadatenänderungen (Erstellen, Aktualisieren, Löschen) erfasst und an Pub/Sub für nachgelagerte ereignisgesteuerte Workflows weiterleitet.

Dataplex-Metadatenänderungen, die in Pub/Sub veröffentlicht und von nachgelagerten Abonnenten-Workflows genutzt werden.
Abbildung 1. Übersicht über Feeds mit Metadatenänderungen

Wenn Sie festlegen möchten, welche Änderungen Benachrichtigungen generieren, können Sie einen Feed für Metadatenänderungen konfigurieren, um bestimmte Ressourcen zu überwachen. Dazu geben Sie einen Bereich an, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintraggruppen. Mit dem Bereich können Sie festlegen, welche Ressourcen überwacht werden sollen. Mit Filtern können Sie weiter verfeinern, wann Knowledge Catalog Benachrichtigungen sendet. Beispielsweise möchten Sie möglicherweise nur dann Benachrichtigungen erhalten, wenn Tabellen vom Typ bigquery-table aktualisiert werden, aber nicht, wenn sie erstellt oder gelöscht werden. Dazu können Sie einen oder mehrere Filter auf Ihren Metadaten-Änderungsfeed anwenden, basierend auf Eintragstyp, Aspekttyp oder Änderungstyp (CREATE, UPDATE oder DELETE).

Ein Onlinehändler verwendet BigQuery beispielsweise, um den Produktbestand in einem dedizierten Projekt zu verwalten. Wenn sie nur Schemaänderungen in ihren Inventartabellen überwachen möchten, erstellen sie einen Metadaten-Änderungsfeed mit dem Projekt als Bereich und wenden Filter für entry_type=bigquery-table und change_type=UPDATE an. Wenn das Schema einer kritischen Tabelle wie product_stock aktualisiert wird, wird durch diese Änderung eine UPDATE-Benachrichtigung generiert, die dem Filter des Metadatenänderungsfeeds entspricht. Der Änderungsfeed für Metadaten sendet dann eine Benachrichtigung an ein Pub/Sub-Thema. Ein automatisierter Workflow, der dieses Pub/Sub-Thema abonniert hat, kann nachgelagerte Berichterstellungspipelines sofort pausieren und das Inventarverwaltungsteam benachrichtigen, um Entscheidungen auf der Grundlage inkonsistenter Daten zu verhindern.

Anwendungsfälle für den Änderungsfeed für Metadaten

Sie können Metadaten-Änderungsfeeds für verschiedene Zwecke verwenden, darunter:

  • Metadatensynchronisierung: Metadatenänderungen im Knowledge Catalog werden kontinuierlich mit einem externen oder Drittanbieter-Data Catalog oder Suchindex synchronisiert.
  • Richtlinienerzwingung: Sicherheitsrichtlinien werden automatisch angewendet oder aktualisiert, wenn sich ein Datenklassifizierungsaspekt für einen Eintrag ändert.
  • Automatisierung der Datenqualität: Einen Datenqualitätsscan auslösen oder den Dateninhaber benachrichtigen, wenn sich das Schema einer Tabelle ändert.
  • ETL/ELT-Trigger: Starten Sie einen Datentransformationsjob, wenn ein neuer Tabelleneintrag erstellt oder aktualisiert wird.
  • Prüfung: Alle Metadatenänderungen werden zu Compliance-Zwecken in einer Prüftabelle protokolliert.

Wichtige Konzepte und Konfiguration

Ein Metadaten-Änderungsfeed ist eine Knowledge Catalog-Ressource, die Metadatenänderungen (Erstellen, Aktualisieren, Löschen) für Einträge und Aspekte überwacht und Benachrichtigungen an ein Pub/Sub-Thema sendet. In der API wird diese Ressource als metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID) bezeichnet.

Sie konfigurieren einen Änderungsfeed für Metadaten, indem Sie seinen Umfang, seine Filter und sein Ziel definieren. Wenn eine Metadatenänderung auftritt, die dem Umfang und den Filtern des Metadatenänderungsfeeds entspricht, veröffentlicht Knowledge Catalog eine Benachrichtigung im Pub/Sub-Zielthema.

Konfiguration des Feeds für Metadatenänderungen

Sie können einen Änderungsfeed für Metadaten konfigurieren, indem Sie Folgendes definieren:

  • Umfang: die Gruppe von Ressourcen, die auf Änderungen überwacht werden sollen, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragungsgruppen. In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Ressourcennamenformat für eine Eintraggruppe: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filter: Kriterien, nach denen gefiltert wird, welche Änderungen Benachrichtigungen generieren, basierend auf Eintragstyp, Aspekttyp oder Änderungstyp (CREATE, UPDATE oder DELETE). In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für einen Eintragstyp: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Wenn Sie keine Filter angeben, werden für alle Änderungstypen (CREATE, UPDATE und DELETE) im Bereich des Feeds Benachrichtigungen generiert.

  • Ziel: Das Pub/Sub-Thema, in dem Knowledge Catalog Benachrichtigungen veröffentlicht. In der API geben Sie den Namen des Themas an. Das folgende Beispiel zeigt das Ressourcennamenformat für ein Pub/Sub-Thema: projects/PROJECT_ID/topics/TOPIC_ID.

Das folgende Beispiel zeigt einen Metadaten-Änderungsfeed, der so konfiguriert ist, dass die Projekte PROJECT_ID_1 und PROJECT_ID_2 auf CREATE-Ereignisse überwacht werden und Benachrichtigungen an TOPIC_ID gesendet werden:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filters": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Format der Benachrichtigung

Wenn eine Metadatenänderung eine Benachrichtigung auslöst, veröffentlicht Knowledge Catalog eine Nachricht im angegebenen Pub/Sub-Thema. Die Details des Änderungsereignisses werden in einer Pub/Sub-Nachricht erfasst. Die Nachricht besteht aus Attributen zum Filtern und einer Datennutzlast mit Details zur Änderung.

Weitere Informationen zum Verarbeiten dieser Nachrichten finden Sie unter Benachrichtigungen verarbeiten.

Attribute

Die Attribute ermöglichen das Filtern von Nachrichten innerhalb des Themas. Sie können Nachrichten in einem Abo mithilfe von Pub/Sub-Abofiltern filtern.

Die folgenden Felder sind in den Attributen enthalten:

  • timestamp: Der Zeitstempel, der angibt, wann die Änderung vorgenommen wurde.
  • entry_name: Der Ressourcenname des Eintrags im Format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: Der Ressourcenname des Metadaten-Änderungsfeeds im Format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Der Ressourcenname des Eintragstyps im Format projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Weitere Informationen finden Sie unter Eintragstypen.
  • entry_change_type: Die Art der Änderung: CREATED, UPDATED oder DELETED.

Das folgende Beispiel zeigt die Attribute für ein Ereignis zum Erstellen eines Eintrags:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Datennutzlast

Die Datennutzlast der Pub/Sub-Nachricht ist ein JSON-String, der Details zur Änderung enthält.

Hier ein Beispiel für eine Datennutzlast:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

VPC Service Controls – Hinweise

Feeds mit Metadatenänderungen sind mit VPC Service Controls (VPC-SC) kompatibel.

  • Wenn ein Metadaten-Änderungsfeed auf Organisationsebene beschränkt ist, generieren nur Projekte innerhalb des VPC Service Controls-Perimeters des Metadaten-Änderungsfeeds Benachrichtigungen.

  • Wenn ein Metadatenänderungsfeed auf ein Projekt oder eine Eintragsgruppe beschränkt ist, müssen sich alle angegebenen Projekte oder Eintragsgruppen im selben VPC Service Controls-Perimeter wie der Metadatenänderungsfeed befinden. Andernfalls schlägt die Erstellung des Metadatenänderungsfeeds fehl.

Kontingente und Limits

Informationen zu Kontingenten für Metadaten-Änderungsfeeds finden Sie unter Kontingente und Limits für Knowledge Catalog.

Beachten Sie die folgenden Einschränkungen für Metadaten-Änderungsfeeds:

  • Bereitstellung: Feeds mit Metadatenänderungen liefern Benachrichtigungen mindestens einmal. Sie müssen potenzielle doppelte Nachrichten in Ihrem Abonnenten verarbeiten.

  • Reihenfolge: Knowledge Catalog garantiert nicht die Reihenfolge der Nachrichtenzustellung.

  • Latenz: Benachrichtigungen über Änderungen am Metadaten-Änderungsfeed erfolgen nahezu in Echtzeit.

  • Aktivierungsverzögerung: Es kann bis zu 10 Minuten dauern, bis eine neu erstellte oder aktualisierte Konfiguration des Metadaten-Änderungsfeeds aufgrund von Caching im Backend aktiv wird.

  • Nutzlast: Die erste Benachrichtigung enthält nur Änderungssignaturen. Beispiele: Eintragsname, Eintragstyp, Änderungstyp und eine Liste der geänderten Aspekttypen oder Schlüssel. Die tatsächlich geänderten Daten (die Aspektnutzlast) sind nicht enthalten. Sie müssen die Dataplex API (GetEntry) aufrufen, um den aktuellen Status des Eintrags oder Aspekts bei Bedarf abzurufen.

  • Allgemeine Speicher-Aspekte: Änderungsfeeds für Metadaten unterstützen keine allgemeinen Speicher-Aspekte.

Preise

Knowledge Catalog bietet Feeds für Metadatenänderungen ohne zusätzliche Kosten. Es fallen jedoch Kosten für die verwendeten Ressourcen an, z. B. für die Pub/Sub-Nachrichtenzustellung, den Speicher und den ausgehenden Datentraffic. Weitere Informationen finden Sie unter Preise für Cloud Pub/Sub.

Nächste Schritte