Feeds für Metadatenänderungen

Dieses Dokument bietet einen Überblick über Dataplex Universal Catalog-Metadatenänderungsfeeds. Mit diesen Feeds für Metadatenänderungen können Sie Metadatenänderungen in Ihrer Dataplex Universal Catalog-Instanz nahezu in Echtzeit verfolgen und ereignisgesteuerte Workflows auf Grundlage dieser Änderungen erstellen.

Automatisierte Überwachung von Metadatenänderungen

Im Dataplex Universal Catalog stellt ein Eintrag ein Daten-Asset wie eine BigQuery-Tabelle dar. Ein Aspekt ist eine Gruppe von zugehörigen Metadatenfeldern, die einem Eintrag angehängt sind und ihn beschreiben. Wenn ein Eintrag oder Aspekt erstellt, aktualisiert oder gelöscht wird, veröffentlicht Dataplex Universal Catalog eine Benachrichtigungsnachricht in einem von Ihnen angegebenen Pub/Sub-Thema. Diese Benachrichtigungen, auch als Feed für Metadatenänderungen bezeichnet, enthalten Informationen zur Änderung. Dazu gehören Informationen dazu, wann die Änderung erfolgt ist, welche Ressource geändert wurde und welche Art von Änderung vorgenommen wurde. Weitere Informationen zu Einträgen und Aspekten finden Sie unter Metadatenverwaltung im Dataplex Universal Catalog.

Das folgende Architekturdiagramm zeigt, wie Dataplex Universal Catalog Metadatenänderungen (Erstellen, Aktualisieren, Löschen) erfasst und für nachgelagerte ereignisgesteuerte Workflows an Pub/Sub weiterleitet.

Diagramm, das zeigt, wie Dataplex-Metadatenänderungen in Pub/Sub veröffentlicht und von Abonnenten genutzt werden.
Abbildung 1. Übersicht über Feeds für Metadatenänderungen

Wenn Sie festlegen möchten, bei welchen Änderungen Benachrichtigungen generiert werden, können Sie einen Feed für Metadatenänderungen konfigurieren, um bestimmte Ressourcen zu überwachen. Dazu geben Sie einen Bereich an, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragungsgruppen. Mit dem Bereich können Sie definieren, welche Ressourcen überwacht werden sollen. Mit Filtern können Sie weiter eingrenzen, wann Dataplex Universal Catalog Benachrichtigungen sendet. Sie möchten beispielsweise nur benachrichtigt werden, wenn Tabellen vom Typ bigquery-table aktualisiert werden, nicht aber, wenn sie erstellt oder gelöscht werden. Dazu können Sie einen oder mehrere Filter auf Ihren Metadaten-Änderungsfeed anwenden, basierend auf dem Eintrags-, Aspekt- oder Änderungstyp (CREATE, UPDATE oder DELETE).

Ein Online-Einzelhandelsunternehmen verwendet BigQuery beispielsweise, um den Produktbestand in einem dedizierten Projekt zu verwalten. Um nur Schemaänderungen in ihren Inventartabellen zu beobachten, erstellen sie einen Feed für Metadatenänderungen mit dem Projekt als Bereich und wenden Filter für entry_type=bigquery-table und change_type=UPDATE an. Wenn das Schema einer wichtigen Tabelle wie product_stock aktualisiert wird, wird durch diese Änderung eine UPDATE-Benachrichtigung generiert, die dem Filter des Feeds für Metadatenänderungen entspricht. Der Feed für Metadatenänderungen sendet dann eine Benachrichtigung an ein Pub/Sub-Thema. Ein automatisierter Workflow, der dieses Pub/Sub-Thema abonniert hat, kann nachgelagerte Reporting-Pipelines sofort pausieren und das Inventarverwaltungsteam benachrichtigen, um Entscheidungen auf der Grundlage inkonsistenter Daten zu verhindern.

Anwendungsfälle

Sie können Metadaten-Änderungsfeeds für verschiedene Zwecke verwenden, z. B.:

  • Metadatensynchronisierung:Änderungen an Dataplex Universal Catalog-Metadaten werden kontinuierlich mit einem externen oder Drittanbieter-Data Catalog oder Suchindex synchronisiert.
  • Richtliniendurchsetzung:Sicherheitsrichtlinien automatisch anwenden oder aktualisieren, wenn sich ein Aspekt der Datenklassifizierung für einen Eintrag ändert.
  • Automatisierung der Datenqualität:Lösen Sie einen Datenqualitätsscan aus oder benachrichtigen Sie den Dateninhaber, wenn sich das Schema einer Tabelle ändert.
  • ETL-/ELT-Auslösung:Starten Sie einen Datentransformationsjob, wenn ein neuer Tabelleneintrag erstellt oder aktualisiert wird.
  • Auditierung:Alle Metadatenänderungen werden in einer Audittabelle protokolliert, um die Compliance zu gewährleisten.

Terminologie

Ein Feed für Metadatenänderungen ist eine Dataplex Universal Catalog-Ressource, die Metadatenänderungen (Erstellen, Aktualisieren, Löschen) für Einträge und Aspekte überwacht und Benachrichtigungen an ein Pub/Sub-Thema sendet. In der API wird diese Ressource als metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID) bezeichnet.

Sie konfigurieren einen Metadaten-Änderungsfeed, indem Sie seinen Umfang, seine Filter und sein Ziel definieren. Wenn eine Metadatenänderung erfolgt, die dem Bereich und den Filtern des Metadatenänderungsfeeds entspricht, veröffentlicht Dataplex Universal Catalog eine Benachrichtigungsnachricht im Ziel-Pub/Sub-Thema.

Konfiguration des Änderungsfeeds für Metadaten

Sie können einen Feed für Metadatenänderungen konfigurieren, indem Sie Folgendes definieren:

  • Bereich: Die Gruppe von Ressourcen, die auf Änderungen überwacht werden sollen, z. B. Ihre gesamte Organisation, bestimmte Projekte oder bestimmte Eintragsgruppen. In der API geben Sie den Ressourcennamen an. Das folgende Beispiel zeigt das Format des Ressourcennamens für eine Eintragsgruppe: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filter: Kriterien zum Filtern, welche Änderungen Benachrichtigungen basierend auf dem Eintragstyp, dem Aspekttyp oder dem Änderungstyp (CREATE, UPDATE oder DELETE) generieren. In der API geben Sie den Ressourcennamen an. Im folgenden Beispiel sehen Sie das Ressourcennameformat für einen Eintragstyp: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Wenn Sie keine Filter angeben, werden für alle Änderungstypen (CREATE, UPDATE und DELETE) im Feed Benachrichtigungen generiert.

  • Ziel: Das Pub/Sub-Thema, in dem Dataplex Universal Catalog Benachrichtigungsnachrichten veröffentlicht. In der API geben Sie den Namen des Themas an. Das folgende Beispiel zeigt das Format des Ressourcennamens für ein Pub/Sub-Thema: projects/PROJECT_ID/topics/TOPIC_ID.

Im folgenden Beispiel wird ein Feed für Metadatenänderungen gezeigt, der so konfiguriert ist, dass er die Projekte PROJECT_ID_1 und PROJECT_ID_2 auf CREATE-Ereignisse überwacht und Benachrichtigungen an TOPIC_ID sendet:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Eine Anleitung zum Erstellen und Verwalten von Feeds für Metadatenänderungen finden Sie unter Benachrichtigungen mit Feeds für Metadatenänderungen erhalten.

Format der Benachrichtigung

Wenn eine Metadatenänderung eine Benachrichtigung auslöst, veröffentlicht Dataplex Universal Catalog eine Nachricht im angegebenen Pub/Sub-Thema. Die Änderungsereignisdetails werden in einer Pub/Sub-Nachricht erfasst. Die Nachricht besteht aus Attributen zum Filtern und einer Datennutzlast mit Details zur Änderung.

Weitere Informationen zum Empfangen dieser Nachrichten finden Sie unter Benachrichtigungsnachrichten empfangen.

Attribute

Mit den Attributen können Nachrichten innerhalb des Themas gefiltert werden. Sie können Nachrichten für Abos mit Pub/Sub-Abo-Filtern filtern.

Die folgenden Felder sind in den Attributen enthalten:

  • timestamp: Der Zeitstempel, der angibt, wann die Änderung erfolgt ist.
  • entry_name: Der Ressourcenname des Eintrags im Format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • entry_fqn: Der vollständig qualifizierte Name des Eintrags.
  • feed_name: Der Ressourcenname des Metadaten-Änderungsfeeds im Format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Der Ressourcenname des Eintrags, z. B. projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Weitere Informationen finden Sie unter Eintragstypen.
  • entry_change_type: Der Typ der Änderung: CREATED, UPDATED oder DELETED.

Das folgende Beispiel zeigt die Attribute für ein Ereignis zum Erstellen eines Eintrags:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Datennutzlast

Die Daten-Payload der Pub/Sub-Nachricht ist ein JSON-String, der Details zur Änderung enthält.

Das folgende Beispiel zeigt eine Datennutzlast:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

VPC Service Controls – Überlegungen

Metadaten-Änderungsfeeds sind mit VPC Service Controls (VPC-SC) kompatibel.

  • Wenn ein Feed für Metadatenänderungen auf Organisationsebene festgelegt ist, werden nur für Projekte innerhalb des VPC Service Controls-Perimeters des Feeds für Metadatenänderungen Benachrichtigungen generiert.

  • Wenn ein Metadaten-Änderungsfeed auf Projekt- oder Eintragsgruppenebene festgelegt ist, müssen sich alle angegebenen Projekte oder Eintragsgruppen im selben VPC Service Controls-Perimeter wie der Metadaten-Änderungsfeed befinden. Andernfalls schlägt die Erstellung des Metadaten-Änderungsfeeds fehl.

Kontingente und Limits

Informationen zu Kontingenten für Feeds für Metadatenänderungen finden Sie unter Kontingente.

Beachten Sie die folgenden Einschränkungen für Feeds mit Metadatenänderungen:

  • Übermittlung:Metadaten-Änderungsfeeds liefern Benachrichtigungen mindestens einmal. Sie müssen potenzielle doppelte Nachrichten in Ihrem Abonnenten verarbeiten.

  • Reihenfolge:Dataplex Universal Catalog bietet keine Gewähr für die Reihenfolge der Nachrichtenübermittlung.

  • Latenz:Die Benachrichtigungen werden zwar nahezu in Echtzeit gesendet, die angestrebte Latenz beträgt jedoch 3 bis 10 Minuten.

  • Aktivierungsverzögerung:Es kann bis zu 10 Minuten dauern, bis eine neu erstellte oder aktualisierte Konfiguration für den Metadatenänderungsfeed aufgrund von Caching im Backend aktiv wird.

  • Nutzlast:Die ursprüngliche Benachrichtigungsnachricht enthält nur Änderungssignaturen. Beispiele sind der Eintragsname, der Eintragstyp, der Änderungstyp und eine Liste der geänderten Aspekttypen oder ‑schlüssel. Die tatsächlichen geänderten Daten (die Aspektnutzlast) sind nicht enthalten. Sie müssen die Dataplex Universal Catalog API (GetEntry) aufrufen, um bei Bedarf den aktuellen Status des Eintrags oder Aspekts abzurufen.

Preise

Für Dataplex Universal Catalog-Metadatenänderungsfeeds fallen keine direkten Gebühren an. Es fallen jedoch Kosten für die verwendeten Ressourcen an, z. B. für die Pub/Sub-Nachrichtenzustellung, den Speicher und den Daten-Egress. Weitere Informationen finden Sie unter Pub/Sub-Preise.

Nächste Schritte