Informazioni sui feed di modifica dei metadati

Questo documento fornisce una panoramica dei feed di modifica dei metadati di Dataplex Universal Catalog. Questi feed di modifiche ai metadati ti consentono di monitorare le modifiche ai metadati nella tua istanza di Dataplex Universal Catalog quasi in tempo reale e creare flussi di lavoro basati sugli eventi in base a queste modifiche.

Monitoraggio automatizzato delle modifiche ai metadati

In Dataplex Universal Catalog, una voce rappresenta un asset di dati, ad esempio una tabella BigQuery, e un aspetto è un insieme di campi di metadati correlati allegati a una voce che la descrivono. Quando una voce o un aspetto viene creato, aggiornato o eliminato, Dataplex Universal Catalog pubblica un messaggio di notifica in un argomento Pub/Sub specificato. Queste notifiche, chiamate anche feed delle modifiche ai metadati, contengono informazioni sulla modifica. Ciò include quando è stata apportata la modifica, quale risorsa è stata modificata e il tipo di modifica. Per saperne di più su voci e aspetti, consulta Informazioni sulla gestione dei metadati in Dataplex Universal Catalog.

Il seguente diagramma dell'architettura mostra come Dataplex Universal Catalog acquisisce le modifiche ai metadati (creazione, aggiornamento, eliminazione) e le invia a Pub/Sub per i flussi di lavoro downstream basati su eventi.

Diagramma che mostra come le modifiche ai metadati Dataplex vengono pubblicate in Pub/Sub e utilizzate dai sottoscrittori.
Figura 1. Panoramica dei feed di modifica dei metadati

Per controllare quali modifiche generano notifiche, puoi configurare un feed delle modifiche ai metadati per monitorare risorse specifiche. Per farlo, specifica un ambito, ad esempio l'intera organizzazione, progetti specifici o gruppi di voci specifici. L'ambito consente di definire quali risorse monitorare, mentre i filtri possono essere utilizzati per perfezionare ulteriormente quando Dataplex Universal Catalog invia le notifiche. Ad esempio, potresti voler ricevere notifiche solo quando vengono aggiornate le tabelle di tipo bigquery-table, ma non quando vengono create o eliminate. Per farlo, puoi applicare uno o più filtri al feed delle modifiche ai metadati in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE o DELETE).

Ad esempio, un'azienda di vendita al dettaglio online utilizza BigQuery per gestire l'inventario dei prodotti in un progetto dedicato. Per monitorare solo le modifiche allo schema nelle tabelle di inventario, creano un feed di modifiche ai metadati con il progetto come ambito e applicano filtri per entry_type=bigquery-table e change_type=UPDATE. Se lo schema di una tabella critica, ad esempio product_stock, viene aggiornato, questa modifica genera una notifica UPDATE che corrisponde al filtro del feed di modifiche ai metadati. Il feed delle modifiche ai metadati invia quindi una notifica a un argomento Pub/Sub. Un flusso di lavoro automatizzato iscritto a questo argomento Pub/Sub può mettere immediatamente in pausa le pipeline di generazione di report downstream e avvisare il team di gestione dell'inventario per evitare decisioni basate su dati incoerenti.

Casi d'uso

Puoi utilizzare i feed delle modifiche ai metadati per vari scopi, tra cui:

  • Sincronizzazione dei metadati:sincronizza continuamente le modifiche ai metadati di Dataplex Universal Catalog con un catalogo di dati o un indice di ricerca esterno o di terze parti.
  • Applicazione delle norme:applica o aggiorna automaticamente le norme di sicurezza quando un aspetto della classificazione dei dati cambia in una voce.
  • Automazione della qualità dei dati:attiva una scansione della qualità dei dati o avvisa il proprietario dei dati quando lo schema di una tabella cambia.
  • Attivazione ETL/ELT: avvia un job di trasformazione dei dati quando viene creato o aggiornato un nuovo inserimento di tabella.
  • Audit:registra tutte le modifiche ai metadati in una tabella di controllo per scopi di conformità.

Terminologia

Un feed delle modifiche ai metadati è una risorsa Dataplex Universal Catalog che monitora le modifiche ai metadati (creazione, aggiornamento, eliminazione) per voci e aspetti e invia notifiche a un argomento Pub/Sub. Nell'API, questa risorsa è chiamata metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Per configurare un feed di modifiche ai metadati, devi definirne l'ambito, i filtri e la destinazione. Quando si verifica una modifica dei metadati che corrisponde all'ambito e ai filtri del feed delle modifiche dei metadati, Dataplex Universal Catalog pubblica un messaggio di notifica nell'argomento Pub/Sub di destinazione.

Configurazione del feed delle modifiche ai metadati

Puoi configurare un feed delle modifiche ai metadati definendo quanto segue:

  • Ambito: l'insieme di risorse da monitorare per rilevare modifiche, ad esempio l'intera organizzazione, progetti specifici o gruppi di voci specifici. Nell'API, specifica il nome della risorsa. L'esempio seguente mostra il formato del nome della risorsa per un gruppo di voci: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtri: criteri per filtrare le modifiche che generano notifiche in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE o DELETE). Nell'API, devi specificare il nome della risorsa. Il seguente esempio mostra il formato del nome della risorsa per un tipo di voce: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Se non specifichi filtri, tutti i tipi di modifiche (CREATE, UPDATE e DELETE) nell'ambito del feed generano notifiche.

  • Destinazione: l'argomento Pub/Sub in cui Dataplex Universal Catalog pubblica i messaggi di notifica. Nell'API, specifica il nome dell'argomento. L'esempio seguente mostra il formato del nome della risorsa per un argomento Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

L'esempio seguente mostra un feed delle modifiche ai metadati configurato per monitorare i progetti PROJECT_ID_1 e PROJECT_ID_2 per gli eventi CREATE, inviando notifiche a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Per istruzioni su come creare e gestire i feed delle modifiche ai metadati, consulta Ricevere notifiche con i feed delle modifiche ai metadati.

Formato del messaggio di notifica

Quando una modifica dei metadati attiva una notifica, Dataplex Universal Catalog pubblica un messaggio nell'argomento Pub/Sub specificato. Il dettaglio dell'evento di modifica viene acquisito in un messaggio Pub/Sub. Il messaggio è composto da attributi per il filtraggio e da un payload di dati con i dettagli della modifica.

Per ulteriori informazioni sul consumo di questi messaggi, consulta Consuma messaggi di notifica.

Attributi

Gli attributi consentono di filtrare i messaggi all'interno dell'argomento. Puoi filtrare i messaggi nella sottoscrizione utilizzando i filtri delle sottoscrizioni Pub/Sub.

Nei seguenti campi sono forniti gli attributi:

  • timestamp: il timestamp della data in cui è stata apportata la modifica.
  • entry_name: il nome della risorsa della voce, nel formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • entry_fqn: il nome completo della voce.
  • feed_name: il nome della risorsa del feed delle modifiche ai metadati, nel formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: il nome della risorsa del tipo di voce, nel formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Per saperne di più, consulta Tipi di voci.
  • entry_change_type: il tipo di modifica: CREATED, UPDATED o DELETED.

L'esempio seguente mostra gli attributi per un evento di creazione di una voce:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Payload di dati

Il payload di dati del messaggio Pub/Sub è una stringa JSON che contiene i dettagli della modifica.

Di seguito è riportato un esempio di payload di dati:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Considerazioni sui Controlli di servizio VPC

I feed di modifiche ai metadati sono conformi ai Controlli di servizio VPC (VPC-SC).

  • Se un feed delle modifiche ai metadati è limitato all'organizzazione, solo i progetti all'interno del perimetro dei Controlli di servizio VPC del feed delle modifiche ai metadati generano notifiche.

  • Se un feed delle modifiche ai metadati è limitato a un progetto o a un gruppo di voci, tutti i progetti o i gruppi di voci specificati devono risiedere nello stesso perimetro di Controlli di servizio VPC del feed delle modifiche ai metadati. In caso contrario, la creazione del feed delle modifiche ai metadati non va a buon fine.

Quote e limitazioni

Per informazioni sulle quote relative ai feed di modifiche ai metadati, consulta Quote.

Esamina le seguenti limitazioni per i feed di modifica dei metadati:

  • Consegna:i feed di modifica dei metadati inviano notifiche almeno una volta. Devi gestire i potenziali messaggi duplicati nel tuo abbonato.

  • Ordine:Dataplex Universal Catalog non garantisce l'ordine di recapito dei messaggi.

  • Latenza:anche se quasi in tempo reale, la latenza target è compresa tra 3 e 10 minuti per le notifiche.

  • Ritardo di attivazione:una configurazione del feed delle modifiche ai metadati appena creata o aggiornata può richiedere fino a 10 minuti per diventare attiva a causa della memorizzazione nella cache nel backend.

  • Payload:il messaggio di notifica iniziale contiene solo le firme delle modifiche. Ad esempio, nome della voce, tipo di voce, tipo di modifica e un elenco di tipi o chiavi di aspetti modificati e non contiene i dati modificati effettivi (il payload dell'aspetto). Se necessario, devi chiamare l'API Dataplex Universal Catalog (GetEntry) per recuperare lo stato attuale della voce o dell'aspetto.

Prezzi

Non sono previsti addebiti diretti per i feed di modifica dei metadati di Dataplex Universal Catalog. Tuttavia, ti vengono addebitati i costi per le risorse utilizzate, ad esempio la pubblicazionePub/Subla distribuzione dei messaggi, l'archiviazione e l'esportazione dei dati. Consulta i prezzi di Pub/Sub.

Passaggi successivi