Seit dem 10. April 2026 heißt Dataplex Universal Catalog jetzt Knowledge Catalog. Die Namen der API, der Clientbibliothek, der CLI und von IAM bleiben unverändert. Weitere Informationen finden Sie unter Google Cloud Knowledge Catalog.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Feeds für Metadatenänderungen

Dieses Dokument bietet eine Übersicht über Metadatenänderungsfeeds in Knowledge Catalog (ehemals Dataplex Universal Catalog). Mit diesen Metadatenänderungsfeeds können Sie Metadatenänderungen in Ihrer Knowledge Catalog-Instanz nahezu in Echtzeit verfolgen und ereignisgesteuerte Workflows auf Grundlage dieser Änderungen erstellen.

Automatisierte Überwachung von Metadatenänderungen

In Knowledge Catalog stellt ein Eintrag ein Daten-Asset dar, z. B. eine BigQuery-Tabelle. Ein Aspekt ist eine Gruppe verwandter Metadatenfelder, die an einen Eintrag angehängt sind und ihn beschreiben. Wenn ein Eintrag oder Aspekt erstellt, aktualisiert oder gelöscht wird, veröffentlicht Knowledge Catalog eine Benachrichtigung in einem von Ihnen angegebenen Pub/Sub-Thema. Diese Benachrichtigungen, auch Metadatenänderungsfeed genannt, enthalten Informationen zur Änderung. Dazu gehören der Zeitpunkt der Änderung, die geänderte Ressource und die Art der Änderung. Weitere Informationen zu Einträgen und Aspekten finden Sie unter Informationen zur Metadatenverwaltung in Knowledge Catalog.

Das folgende Architekturdiagramm zeigt, wie Knowledge Catalog Metadatenänderungen (Erstellen, Aktualisieren, Löschen) erfasst und an Pub/Sub für nachgelagerte ereignisgesteuerte Workflows weiterleitet.

Diagramm, das zeigt, wie Dataplex-Metadatenänderungen in Pub/Sub veröffentlicht und von Abonnenten genutzt werden. — **Abbildung 1.** Übersicht über Metadatenänderungsfeeds

Um zu steuern, welche Änderungen Benachrichtigungen generieren, können Sie einen Metadatenänderungsfeed so konfigurieren, dass bestimmte Ressourcen überwacht werden. Dazu geben Sie einen Bereich an, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragskategorien. Mit dem Bereich können Sie definieren, welche Ressourcen überwacht werden sollen. Mit Filtern können Sie weiter eingrenzen, wann Knowledge Catalog Benachrichtigungen sendet. Beispielsweise möchten Sie möglicherweise nur Benachrichtigungen erhalten, wenn Tabellen vom Typ bigquery-table aktualisiert werden, nicht aber, wenn sie erstellt oder gelöscht werden. Dazu können Sie einen oder mehrere Filter auf Ihren Metadatenänderungsfeed anwenden, basierend auf dem Eintragstyp, dem Aspekttyp oder dem Änderungstyp (CREATE, UPDATE oder DELETE).

Ein Online-Einzelhandelsunternehmen verwendet beispielsweise BigQuery, um den Produktbestand in einem bestimmten Projekt zu verwalten. Um nur Schemaänderungen in den Bestandstabellen zu überwachen, erstellen sie einen Metadatenänderungsfeed mit dem Projekt als Bereich und wenden Filter für entry_type=bigquery-table und change_type=UPDATE an. Wenn das Schema einer wichtigen Tabelle wie product_stock aktualisiert wird, generiert diese Änderung eine UPDATE-Benachrichtigung, die mit dem Filter des Metadatenänderungsfeeds übereinstimmt. Der Metadatenänderungsfeed sendet dann eine Benachrichtigung an ein Pub/Sub-Thema. Ein automatisierter Workflow, der dieses Pub/Sub-Thema abonniert hat, kann nachgelagerte Berichtspipelines sofort pausieren und das Bestandsverwaltungsteam benachrichtigen, um Entscheidungen auf Grundlage inkonsistenter Daten zu vermeiden.

Anwendungsfälle

Sie können Metadatenänderungsfeeds für verschiedene Zwecke verwenden, z. B.:

Metadatensynchronisierung:Metadatenänderungen in Knowledge Catalog kontinuierlich mit einem externen oder Drittanbieter-Datenkatalog oder Suchindex synchronisieren.
Richtlinienerzwingung:Sicherheitsrichtlinien automatisch anwenden oder aktualisieren, wenn sich ein Aspekt zur Datenklassifizierung für einen Eintrag ändert.
Automatisierung der Datenqualität:Eine Datenqualitätsprüfung auslösen oder den Dateninhaber benachrichtigen, wenn sich das Schema einer Tabelle ändert.
ETL/ELT-Auslösung:Einen Datentransformationsjob starten, wenn ein neuer Tabelleneintrag erstellt oder aktualisiert wird.
Auditierung:Alle Metadatenänderungen zu Compliance-Zwecken in einer Audittabelle protokollieren.

Terminologie

Ein Metadatenänderungsfeed ist eine Knowledge Catalog-Ressource, die Metadatenänderungen (Erstellen, Aktualisieren, Löschen) für Einträge und Aspekte überwacht und Benachrichtigungen an ein Pub/Sub-Thema sendet. In der API wird diese Ressource als metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID) bezeichnet.

Sie konfigurieren einen Metadatenänderungsfeed, indem Sie seinen Bereich, seine Filter und sein Ziel definieren. Wenn eine Metadatenänderung auftritt, die dem Bereich und den Filtern des Metadatenänderungsfeeds entspricht, veröffentlicht Knowledge Catalog eine Benachrichtigung im Ziel-Pub/Sub-Thema.

Konfiguration von Metadatenänderungsfeeds

Sie können einen Metadatenänderungsfeed konfigurieren, indem Sie Folgendes definieren:

Bereich: Die Gruppe von Ressourcen, die auf Änderungen überwacht werden sollen, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragskategorien. In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für eine Eintragskategorie: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.
Filter: Kriterien zum Filtern, welche Änderungen Benachrichtigungen generieren, basierend auf dem Eintragstyp, dem Aspekttyp oder dem Änderungstyp (CREATE, UPDATE, oder DELETE). In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für einen Eintragstyp: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Wenn Sie keine Filter angeben, generieren alle Änderungstypen (CREATE, UPDATE und DELETE) im Bereich des Feeds Benachrichtigungen.
Ziel: Das Pub/Sub-Thema, in dem Knowledge Catalog Benachrichtigungen veröffentlicht. In der API geben Sie den Namen des Themas an. Das folgende Beispiel zeigt das Format des Ressourcennamens für ein Pub/Sub-Thema: projects/PROJECT_ID/topics/TOPIC_ID.

Das folgende Beispiel zeigt einen Metadatenänderungsfeed, der so konfiguriert ist, dass die Projekte PROJECT_ID_1 und PROJECT_ID_2 auf CREATE-Ereignisse überwacht werden und Benachrichtigungen an TOPIC_ID gesendet werden:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Eine Anleitung zum Erstellen und Verwalten von Metadatenänderungsfeeds finden Sie unter Benachrichtigungen mit Metadatenänderungsfeeds erhalten.

Format der Benachrichtigung

Wenn eine Metadatenänderung eine Benachrichtigung auslöst, veröffentlicht Knowledge Catalog eine Nachricht im angegebenen Pub/Sub-Thema. Die Details des Änderungsereignisses werden in einer Pub/Sub Nachricht erfasst. Die Nachricht besteht aus Attributen zum Filtern und einer Daten-Nutzlast mit Details zur Änderung.

Weitere Informationen zum Aufnehmen dieser Nachrichten finden Sie unter Benachrichtigungen aufnehmen.

Attribute

Mit den Attributen können Nachrichten im Thema gefiltert werden. Sie können Nachrichten im Abo mit Pub/Sub-Abofiltern filtern.

Die folgenden Felder sind in den Attributen enthalten:

timestamp: Der Zeitstempel, wann die Änderung erfolgt ist.
entry_name: Der Ressourcenname des Eintrags im Format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
feed_name: Der Ressourcenname des Metadatenänderungsfeeds im Format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
entry_type: Der Ressourcenname des Eintragstyps im Format projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Weitere Informationen finden Sie unter Eintragstypen.
entry_change_type: Der Typ der Änderung: CREATED, UPDATED oder DELETED.

Das folgende Beispiel zeigt die Attribute für ein Ereignis zum Erstellen eines Eintrags:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Daten-Payload

Die Daten-Nutzlast der Pub/Sub-Nachricht ist ein JSON-String, der Details zur Änderung enthält.

Hier ein Beispiel für eine Daten-Nutzlast:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Hinweise zu VPC Service Controls

Metadatenänderungsfeeds sind mit VPC Service Controls (VPC-SC) kompatibel.

Wenn ein Metadatenänderungsfeed auf Organisationsebene festgelegt ist, werden nur Projekte innerhalb des VPC Service Controls-Perimeters des Metadatenänderungsfeeds Benachrichtigungen generieren.
Wenn ein Metadatenänderungsfeed auf Projekt- oder Eintragskategorienebene festgelegt ist, müssen sich alle angegebenen Projekte oder Eintragskategorien im selben VPC Service Controls-Perimeter wie der Metadatenänderungsfeed befinden. Andernfalls schlägt die Erstellung des Metadatenänderungsfeeds fehl.

Kontingente und Limits

Informationen zu Kontingenten für Metadatenänderungsfeeds finden Sie unter Kontingente.

Beachten Sie die folgenden Einschränkungen für Metadatenänderungsfeeds:

Zustellung:Metadatenänderungsfeeds liefern Benachrichtigungen mindestens einmal. Sie müssen potenzielle doppelte Nachrichten in Ihrem Abonnenten verarbeiten.
Reihenfolge:Knowledge Catalog garantiert nicht die Reihenfolge der Nachrichtenübermittlung.
Latenz:Benachrichtigungen von Metadatenänderungsfeeds erfolgen nahezu in Echtzeit.
Aktivierungsverzögerung:Es kann bis zu 10 Minuten dauern, bis eine neu erstellte oder aktualisierte Konfiguration des Metadatenänderungsfeeds aufgrund des Caching im Backend aktiv wird.
Payload:Die erste Benachrichtigung enthält nur Änderungssignaturen. Dazu gehören beispielsweise der Eintragsname, der Eintragstyp, der Änderungstyp und eine Liste der geänderten Aspekttypen oder ‑schlüssel. Die tatsächlichen geänderten Daten (die Aspekt-Payload) sind nicht enthalten. Sie müssen die Dataplex API (GetEntry) aufrufen, um den aktuellen Status des Eintrags oder Aspekts abzurufen.
Allgemeine Speicherungsaspekte:Metadatenänderungsfeeds unterstützen keine allgemeinen Speicherungsaspekte.

Preise

Für Metadatenänderungsfeeds in Knowledge Catalog fallen keine direkten Gebühren an. Es fallen jedoch Kosten für die verwendeten Ressourcen an, z. B. für die Zustellung von Pub/Sub-Nachrichten, die Speicherung und den ausgehenden Traffic. Informationen dazu finden Sie unter Pub/Sub Preise.

Feeds für Metadatenänderungen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.