Seit dem 10. April 2026 heißt Dataplex Universal Catalog jetzt Knowledge Catalog. Die Namen der API, der Clientbibliothek, der CLI und von IAM bleiben unverändert. Weitere Informationen finden Sie unter Google Cloud Knowledge Catalog.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Feeds für Metadatenänderungen

Dieses Dokument bietet eine Übersicht über Metadatenänderungsfeeds in Knowledge Catalog (ehemals Dataplex Universal Catalog). Mit diesen Metadatenänderungsfeeds können Sie Metadatenänderungen in Ihrer Knowledge Catalog-Instanz nahezu in Echtzeit verfolgen und ereignisgesteuerte Workflows auf Grundlage dieser Änderungen erstellen.

Automatisierte Überwachung von Metadatenänderungen

In Knowledge Catalog stellt ein Eintrag ein Daten-Asset dar, z. B. eine BigQuery-Tabelle. Ein Aspekt ist eine Reihe von zugehörigen Metadatenfeldern, die an einen Eintrag angehängt sind und ihn beschreiben. Wenn ein Eintrag oder Aspekt erstellt, aktualisiert oder gelöscht wird, veröffentlicht Knowledge Catalog eine Benachrichtigung in einem von Ihnen angegebenen Pub/Sub-Thema. Diese Benachrichtigungen, auch Metadatenänderungsfeed genannt, enthalten Informationen zur Änderung. Dazu gehören der Zeitpunkt der Änderung, die geänderte Ressource und die Art der Änderung. Weitere Informationen zu Einträgen und Aspekten finden Sie unter Informationen zur Metadatenverwaltung in Knowledge Catalog.

Das folgende Architekturdiagramm zeigt, wie Knowledge Catalog Metadatenänderungen (Erstellen, Aktualisieren, Löschen) erfasst und an Pub/Sub für nachgelagerte ereignisgesteuerte Workflows weiterleitet.

Diagramm, das zeigt, wie Dataplex-Metadatenänderungen in Pub/Sub veröffentlicht und von Abonnenten genutzt werden. — **Abbildung 1.** Übersicht über Metadatenänderungsfeeds

Um zu steuern, welche Änderungen Benachrichtigungen generieren, können Sie einen Metadatenänderungsfeed so konfigurieren, dass bestimmte Ressourcen überwacht werden. Dazu geben Sie einen Bereich an, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragsgruppen. Mit dem Bereich können Sie definieren, welche Ressourcen überwacht werden sollen. Mit Filtern können Sie weiter eingrenzen, wann Knowledge Catalog Benachrichtigungen sendet. Beispielsweise möchten Sie möglicherweise nur Benachrichtigungen erhalten, wenn Tabellen vom Typ bigquery-table aktualisiert werden, nicht aber, wenn sie erstellt oder gelöscht werden. Dazu können Sie einen oder mehrere Filter auf Ihren Metadatenänderungsfeed anwenden, basierend auf dem Eintragstyp, dem Aspekttyp oder dem Änderungstyp (CREATE, UPDATE oder DELETE).

Ein Online-Einzelhandelsunternehmen verwendet beispielsweise BigQuery, um den Produktbestand in einem bestimmten Projekt zu verwalten. Um nur Schemaänderungen in den Bestandstabellen zu überwachen, erstellen sie einen Metadatenänderungsfeed mit dem Projekt als Bereich und wenden Filter für entry_type=bigquery-table und change_type=UPDATE an. Wenn das Schema einer wichtigen Tabelle wie product_stock aktualisiert wird, generiert diese Änderung eine UPDATE-Benachrichtigung, die mit dem Filter des Metadatenänderungsfeeds übereinstimmt. Der Metadatenänderungsfeed sendet dann eine Benachrichtigung an ein Pub/Sub-Thema. Ein automatisierter Workflow, der dieses Pub/Sub-Thema abonniert hat, kann nachgelagerte Berichtspipelines sofort pausieren und das Bestandsverwaltungsteam benachrichtigen, um Entscheidungen auf Grundlage inkonsistenter Daten zu vermeiden.

Anwendungsfälle

Sie können Metadatenänderungsfeeds für verschiedene Zwecke verwenden, z. B.:

Metadatensynchronisierung:Metadatenänderungen in Knowledge Catalog kontinuierlich mit einem externen oder Drittanbieter-Datenkatalog oder Suchindex synchronisieren.
Richtlinienerzwingung:Sicherheitsrichtlinien automatisch anwenden oder aktualisieren, wenn sich ein Aspekt der Datenklassifizierung für einen Eintrag ändert.
Automatisierung der Datenqualität:Eine Datenqualitätsprüfung auslösen oder den Dateninhaber benachrichtigen, wenn sich das Schema einer Tabelle ändert.
ETL/ELT-Auslösung:Einen Datentransformationsjob starten, wenn ein neuer Tabelleneintrag erstellt oder aktualisiert wird.
Auditierung:Alle Metadatenänderungen zu Compliance-Zwecken in einer Audittabelle protokollieren.

Terminologie

Ein Metadatenänderungsfeed ist eine Knowledge Catalog-Ressource, die Metadatenänderungen (Erstellen, Aktualisieren, Löschen) für Einträge und Aspekte überwacht und Benachrichtigungen an ein Pub/Sub-Thema sendet. In der API wird diese Ressource als metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID) bezeichnet.

Sie konfigurieren einen Metadatenänderungsfeed, indem Sie seinen Bereich, seine Filter und sein Ziel definieren. Wenn eine Metadatenänderung auftritt, die mit dem Bereich und den Filtern des Metadatenänderungsfeeds übereinstimmt, veröffentlicht Knowledge Catalog eine Benachrichtigung im Ziel-Pub/Sub-Thema.

Konfiguration von Metadatenänderungsfeeds

Sie können einen Metadatenänderungsfeed konfigurieren, indem Sie Folgendes definieren:

Bereich: Die Gruppe von Ressourcen, die auf Änderungen überwacht werden sollen, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragsgruppen. In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für eine Eintragsgruppe: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.
Filter: Kriterien zum Filtern, welche Änderungen Benachrichtigungen generieren, basierend auf dem Eintragstyp, dem Aspekttyp oder dem Änderungstyp (CREATE, UPDATE, oder DELETE). In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für einen Eintragstyp: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Wenn Sie keine Filter angeben, generieren alle Änderungstypen (CREATE, UPDATE und DELETE) im Bereich des Feeds Benachrichtigungen.
Ziel: Das Pub/Sub-Thema, in dem Knowledge Catalog Benachrichtigungen veröffentlicht. In der API geben Sie den Namen des Themas an. Das folgende Beispiel zeigt das Format des Ressourcennamens für ein Pub/Sub-Thema: projects/PROJECT_ID/topics/TOPIC_ID.

Das folgende Beispiel zeigt einen Metadatenänderungsfeed, der so konfiguriert ist, dass die Projekte PROJECT_ID_1 und PROJECT_ID_2 auf CREATE-Ereignisse überwacht werden und Benachrichtigungen an TOPIC_ID gesendet werden:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Eine Anleitung zum Erstellen und Verwalten von Metadatenänderungsfeeds finden Sie unter Benachrichtigungen mit Metadatenänderungsfeeds erhalten.

Format der Benachrichtigung

Wenn eine Metadatenänderung eine Benachrichtigung auslöst, veröffentlicht Knowledge Catalog eine Nachricht im angegebenen Pub/Sub-Thema. Die Details des Änderungsereignisses werden in einer Pub/Sub Nachricht erfasst. Die Nachricht besteht aus Attributen zum Filtern und einer Daten-Payload mit Details zur Änderung.

Weitere Informationen zum Verwenden dieser Nachrichten finden Sie unter Benachrichtigungen verwenden.

Attribute

Mit den Attributen können Nachrichten im Thema gefiltert werden. Sie können Nachrichten im Abo mit Pub/Sub-Abofiltern filtern.

Die folgenden Felder sind in den Attributen enthalten:

timestamp: Der Zeitstempel, wann die Änderung erfolgt ist.
entry_name: Der Ressourcenname des Eintrags im Format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
entry_fqn: Der vollständig qualifizierte Name des Eintrags.
feed_name: Der Ressourcenname des Metadatenänderungsfeeds im Format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
entry_type: Der Ressourcenname des Eintragstyps im Format projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Weitere Informationen finden Sie unter Eintragstypen.
entry_change_type: Der Typ der Änderung: CREATED, UPDATED oder DELETED.

Das folgende Beispiel zeigt die Attribute für ein Ereignis zum Erstellen eines Eintrags:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Daten-Payload

Die Daten-Payload der Pub/Sub-Nachricht ist ein JSON-String, der Details zur Änderung enthält.

Hier ein Beispiel für eine Daten-Payload:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Hinweise zu VPC Service Controls

Metadatenänderungsfeeds sind mit VPC Service Controls (VPC-SC) kompatibel.

Wenn ein Metadatenänderungsfeed auf Organisationsebene festgelegt ist, generieren nur Projekte innerhalb des VPC Service Controls-Perimeters des Metadatenänderungsfeeds Benachrichtigungen.
Wenn ein Metadatenänderungsfeed auf Projekt- oder Eintragsgruppenebene festgelegt ist, müssen sich alle angegebenen Projekte oder Eintragsgruppen im selben VPC Service Controls-Perimeter wie der Metadatenänderungsfeed befinden. Andernfalls schlägt die Erstellung des Metadatenänderungsfeeds fehl.

Kontingente und Limits

Informationen zu Kontingenten für Metadatenänderungsfeeds finden Sie unter Kontingente.

Beachten Sie die folgenden Einschränkungen für Metadatenänderungsfeeds:

Zustellung:Metadatenänderungsfeeds liefern Benachrichtigungen mindestens einmal. Sie müssen potenzielle doppelte Nachrichten in Ihrem Abonnenten verarbeiten.
Reihenfolge:Knowledge Catalog garantiert nicht die Reihenfolge der Nachrichtenübermittlung.
Latenz:Benachrichtigungen zu Metadatenänderungsfeeds werden nahezu in Echtzeit gesendet.
Aktivierungsverzögerung:Es kann bis zu 10 Minuten dauern, bis eine neu erstellte oder aktualisierte Konfiguration des Metadatenänderungsfeeds aktiv wird. Das liegt am Caching im Backend.
Payload:Die erste Benachrichtigung enthält nur Änderungssignaturen. Dazu gehören beispielsweise der Eintragsname, der Eintragstyp, der Änderungstyp und eine Liste der geänderten Aspekttypen oder ‑schlüssel. Die tatsächlichen geänderten Daten (die Aspekt-Payload) sind nicht enthalten. Sie müssen die Dataplex API (GetEntry) aufrufen, um den aktuellen Status des Eintrags oder Aspekts abzurufen.
Allgemeine Speicheraspekte:Metadatenänderungsfeeds unterstützen keine allgemeinen Speicheraspekte.

Preise

Für Metadatenänderungsfeeds in Knowledge Catalog fallen keine direkten Gebühren an. Es fallen jedoch Kosten für die verwendeten Ressourcen an, z. B. für die Pub/Sub-Nachrichtenzustellung, den Speicher und den Datenausgang. Weitere Informationen finden Sie unter Pub/Sub Preise.

Feeds für Metadatenänderungen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.