Informazioni sui feed di modifica dei metadati

Questo documento fornisce una panoramica dei feed di modifiche dei metadati di Knowledge Catalog (in precedenza Dataplex Universal Catalog). Questi feed di modifiche dei metadati ti consentono di monitorare le modifiche dei metadati nella tua istanza di Knowledge Catalog quasi in tempo reale e di creare flussi di lavoro basati su eventi in base a queste modifiche.

Monitoraggio automatico delle modifiche dei metadati

In Knowledge Catalog, una voce rappresenta un asset di dati, ad esempio una tabella BigQuery, e un aspetto è un insieme di campi di metadati correlati collegati a una voce che la descrive. Quando una voce o un aspetto viene creato, aggiornato o eliminato, Knowledge Catalog pubblica un messaggio di notifica in un argomento Pub/Sub che specifichi. Queste notifiche, chiamate anche feed di modifiche dei metadati, contengono informazioni sulla modifica. Sono inclusi il momento in cui è avvenuta la modifica, la risorsa modificata e il tipo di modifica. Per saperne di più su voci e aspetti, consulta Informazioni sulla gestione dei metadati in Knowledge Catalog.

Il seguente diagramma dell'architettura mostra come Knowledge Catalog acquisisce le modifiche dei metadati (creazione, aggiornamento, eliminazione) e le invia a Pub/Sub per i flussi di lavoro basati su eventi downstream.

Diagramma che mostra come le modifiche ai metadati di Dataplex vengono pubblicate in Pub/Sub e utilizzate dagli abbonati.
Figura 1. Panoramica dei feed di modifiche dei metadati

Per controllare quali modifiche generano notifiche, puoi configurare un feed di modifiche dei metadati per monitorare risorse specifiche. Per farlo, specifica un ambito, ad esempio l'intera organizzazione, progetti specifici o gruppi di voci specifici. Mentre l'ambito ti consente di definire quali risorse monitorare, puoi utilizzare i filtri per perfezionare ulteriormente quando Knowledge Catalog invia le notifiche. Ad esempio, potresti voler ricevere notifiche solo quando le tabelle di tipo bigquery-table vengono aggiornate, ma non quando vengono create o eliminate. Per farlo, puoi applicare uno o più filtri al feed di modifiche dei metadati in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE o DELETE).

Ad esempio, un'azienda di vendita al dettaglio online utilizza BigQuery per gestire l'inventario dei prodotti in un progetto dedicato. Per monitorare solo le modifiche dello schema nelle tabelle di inventario, crea un feed di modifiche dei metadati con il progetto come ambito e applica i filtri per entry_type=bigquery-table e change_type=UPDATE. Se lo schema di una tabella critica, ad esempio product_stock, viene aggiornato, questa modifica genera una notifica UPDATE che corrisponde al filtro del feed di modifiche dei metadati. Il feed di modifiche dei metadati invia quindi una notifica a un argomento Pub/Sub. Un flusso di lavoro automatizzato abbonato a questo argomento Pub/Sub può mettere immediatamente in pausa le pipeline di reporting downstream e avvisare il team di gestione dell'inventario per evitare decisioni basate su dati incoerenti.

Casi d'uso

Puoi utilizzare i feed di modifiche dei metadati per vari scopi, tra cui:

  • Sincronizzazione dei metadati: sincronizza continuamente le modifiche dei metadati di Knowledge Catalog con un catalogo di dati o un indice di ricerca esterni o di terze parti.
  • Applicazione delle norme: applica o aggiorna automaticamente le norme di sicurezza quando un aspetto di classificazione dei dati cambia in una voce.
  • Automazione della qualità dei dati: attiva una scansione della qualità dei dati o avvisa il proprietario dei dati quando lo schema di una tabella cambia.
  • Attivazione di ETL/ELT: avvia un job di trasformazione dei dati quando viene creata o aggiornata una nuova voce di tabella.
  • Controllo: registra tutte le modifiche dei metadati in una tabella di controllo per scopi di conformità.

Terminologia

Un feed di modifiche dei metadati è una risorsa di Knowledge Catalog che monitora le modifiche dei metadati (creazione, aggiornamento, eliminazione) per voci e aspetti e invia notifiche a un argomento Pub/Sub. Nell'API, questa risorsa è denominata metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Per configurare un feed di modifiche dei metadati, devi definirne l'ambito, i filtri e la destinazione. Quando si verifica una modifica dei metadati che corrisponde all'ambito e ai filtri del feed di modifiche dei metadati, Knowledge Catalog pubblica un messaggio di notifica nell'argomento Pub/Sub di destinazione.

Configurazione del feed di modifiche dei metadati

Puoi configurare un feed di modifiche dei metadati definendo quanto segue:

  • Ambito: l'insieme di risorse da monitorare per le modifiche, ad esempio la tua intera organizzazione, progetti specifici o gruppi di voci specifici. Nell'API, devi specificare il nome della risorsa. L'esempio seguente mostra il formato del nome della risorsa per un gruppo di voci: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtri: criteri per filtrare le modifiche che generano notifiche in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE, o DELETE). Nell'API, devi specificare il nome della risorsa. L'esempio seguente mostra il formato del nome della risorsa per un tipo di voce: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Se non specifichi filtri, tutti i tipi di modifiche (CREATE, UPDATE e DELETE) nell'ambito del feed generano notifiche.

  • Destinazione: l'argomento Pub/Sub in cui Knowledge Catalog pubblica i messaggi di notifica. Nell'API, devi specificare il nome dell'argomento. L'esempio seguente mostra il formato del nome della risorsa per un argomento Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

L'esempio seguente mostra un feed di modifiche dei metadati configurato per monitorare i progetti PROJECT_ID_1 e PROJECT_ID_2 per gli eventi CREATE, inviando notifiche a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Per istruzioni su come creare e gestire i feed di modifiche dei metadati, consulta Ricevere notifiche con i feed di modifiche dei metadati.

Formato del messaggio di notifica

Quando una modifica dei metadati attiva una notifica, Knowledge Catalog pubblica un messaggio nell'argomento Pub/Sub specificato. I dettagli dell'evento di modifica vengono acquisiti in un messaggio Pub/Sub. Il messaggio è composto da attributi per il filtraggio e da un payload di dati con i dettagli della modifica.

Per saperne di più su come utilizzare questi messaggi, consulta Utilizzare i messaggi di notifica.

Attributi

Gli attributi consentono di filtrare i messaggi all'interno dell'argomento. Puoi filtrare i messaggi nella sottoscrizione utilizzando i filtri di sottoscrizione Pub/Sub.

I seguenti campi sono forniti negli attributi:

  • timestamp: il timestamp del momento in cui è avvenuta la modifica.
  • entry_name: il nome della risorsa della voce, nel formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: il nome della risorsa del feed di modifiche dei metadati, nel formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: il nome della risorsa del tipo di voce, nel formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Per saperne di più, consulta Tipi di voci.
  • entry_change_type: il tipo di modifica: CREATED, UPDATED o DELETED.

L'esempio seguente mostra gli attributi per un evento di creazione di una voce:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Payload di dati

Il payload di dati del messaggio Pub/Sub è una stringa JSON che contiene i dettagli della modifica.

Di seguito è riportato un esempio di payload di dati:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Considerazioni sui Controlli di servizio VPC

I feed di modifiche dei metadati sono conformi ai Controlli di servizio VPC (VPC-SC).

  • Se l'ambito di un feed di modifiche dei metadati è l'organizzazione, solo i progetti all'interno del perimetro dei Controlli di servizio VPC del feed di modifiche dei metadati generano notifiche.

  • Se l'ambito di un feed di modifiche dei metadati è il progetto o il gruppo di voci, tutti i progetti o i gruppi di voci specificati devono risiedere nello stesso perimetro dei Controlli di servizio VPC del feed di modifiche dei metadati; in caso contrario, la creazione del feed di modifiche dei metadati non riesce.

Quote e limitazioni

Per informazioni sulle quote relative ai feed di modifiche dei metadati, consulta Quote.

Esamina le seguenti limitazioni per i feed di modifiche dei metadati:

  • Pubblicazione: i feed di modifiche dei metadati pubblicano le notifiche "almeno una volta". Devi gestire i potenziali messaggi duplicati nel tuo sottoscrittore.

  • Ordinamento: Knowledge Catalog non garantisce l'ordine di pubblicazione dei messaggi.

  • Latenza: le notifiche dei feed di modifiche dei metadati sono quasi in tempo reale.

  • Ritardo di attivazione: l'attivazione di una configurazione di feed di modifiche dei metadati appena creata o aggiornata può richiedere fino a 10 minuti a causa della memorizzazione nella cache nel backend.

  • Payload: il messaggio di notifica iniziale contiene solo le firme delle modifiche. Ad esempio, il nome della voce, il tipo di voce, il tipo di modifica e un elenco di tipi o chiavi di aspetti modificati e non contiene i dati modificati effettivi (il payload dell'aspetto). Se necessario, devi chiamare l' API Dataplex (GetEntry) per recuperare lo stato attuale della voce o dell'aspetto.

  • Aspetti di archiviazione generici: i feed di modifiche dei metadati non forniscono supporto per gli aspetti di archiviazione generici.

Prezzi

Non sono previsti addebiti diretti per i feed di modifiche dei metadati di Knowledge Catalog. Tuttavia, ti vengono addebitati i costi per le risorse utilizzate, ad esempio la pubblicazione dei messaggi Pub/Sub, l'archiviazione e l'esportazione dei dati. Vedi Prezzi di Pub/Sub.

Passaggi successivi