Informazioni sui feed di modifica dei metadati

I feed delle modifiche ai metadati di Knowledge Catalog (in precedenza Dataplex Universal Catalog) ti consentono di monitorare le modifiche ai metadati di voci e aspetti nell'organizzazione, nei progetti o nei gruppi di voci quasi in tempo reale e di creare flussi di lavoro basati su eventi. Per creare e gestire questi feed, consulta Ricevi notifiche con i feed delle modifiche dei metadati.

Come funzionano i feed delle modifiche dei metadati

In Knowledge Catalog, una voce rappresenta un asset di dati, ad esempio una tabella BigQuery, e un aspetto è un insieme di campi di metadati correlati collegati a una voce che la descrive. Quando una voce o un aspetto viene creato, aggiornato o eliminato, Knowledge Catalog pubblica un messaggio di notifica in un argomento Pub/Sub specificato da te. Queste notifiche, chiamate anche feed delle modifiche dei metadati, contengono informazioni sulla modifica. Sono inclusi il momento in cui è avvenuta la modifica, la risorsa modificata e il tipo di modifica. Per saperne di più sulle voci e sugli aspetti, consulta Informazioni sulla gestione dei metadati in Knowledge Catalog.

Il seguente diagramma dell'architettura mostra come Knowledge Catalog acquisisce le modifiche ai metadati (creazione, aggiornamento, eliminazione) e le invia a Pub/Sub per i flussi di lavoro downstream basati su eventi.

Le modifiche ai metadati di Dataplex vengono pubblicate su Pub/Sub e utilizzate dai flussi di lavoro dei sottoscrittori downstream.
Figura 1. Panoramica dei feed di modifica dei metadati

Per controllare quali modifiche generano notifiche, puoi configurare un feed delle modifiche dei metadati per monitorare risorse specifiche. Per farlo, specifica un ambito, ad esempio l'intera organizzazione, progetti specifici o gruppi di voci specifici. Mentre l'ambito ti consente di definire quali risorse monitorare, puoi utilizzare i filtri per perfezionare ulteriormente quando Knowledge Catalog invia le notifiche. Ad esempio, potresti voler ricevere notifiche solo quando le tabelle di tipo bigquery-table vengono aggiornate, ma non quando vengono create o eliminate. Per farlo, puoi applicare uno o più filtri al feed delle modifiche dei metadati in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE o DELETE).

Ad esempio, un'azienda di vendita al dettaglio online utilizza BigQuery per gestire l'inventario dei prodotti in un progetto dedicato. Per monitorare solo le modifiche dello schema nelle tabelle di inventario, crea un feed delle modifiche dei metadati con il progetto come ambito e applica i filtri per entry_type=bigquery-table e change_type=UPDATE. Se lo schema di una tabella critica, ad esempio product_stock, viene aggiornato, questa modifica genera una notifica UPDATE che corrisponde al filtro del feed delle modifiche dei metadati. Il feed delle modifiche dei metadati invia quindi una notifica a un argomento Pub/Sub. Un workflow automatizzato iscritto a questo argomento Pub/Sub può mettere immediatamente in pausa le pipeline di reporting downstream e avvisare il team di gestione dell'inventario per evitare decisioni basate su dati incoerenti.

Casi d'uso del feed delle modifiche dei metadati

Puoi utilizzare i feed delle modifiche dei metadati per vari scopi, tra cui:

  • Sincronizzazione dei metadati: sincronizza continuamente le modifiche ai metadati di Knowledge Catalog con un Data Catalog o un indice della Ricerca esterno o di terze parti.
  • Applicazione delle policy: applica o aggiorna automaticamente le policy di sicurezza quando un aspetto della classificazione dei dati cambia in una voce.
  • Automazione della qualità dei dati: attiva una scansione della qualità dei dati o avvisa il proprietario dei dati quando lo schema di una tabella cambia.
  • Attivazione di ETL/ELT: avvia un job di trasformazione dei dati quando viene creata o aggiornata una nuova voce della tabella.
  • Controllo: registra tutte le modifiche ai metadati in una tabella di controllo per motivi di conformità.

Concetti principali e configurazione

Un feed delle modifiche dei metadati è una risorsa di Knowledge Catalog che monitora le modifiche dei metadati (creazione, aggiornamento, eliminazione) per voci e aspetti e invia notifiche a un argomento Pub/Sub. Nell'API, questa risorsa è denominata metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Per configurare un feed delle modifiche dei metadati, devi definirne l'ambito, i filtri e la destinazione. Quando si verifica una modifica dei metadati che corrisponde all'ambito e ai filtri del feed delle modifiche dei metadati, Knowledge Catalog pubblica un messaggio di notifica nell'argomento Pub/Sub di destinazione.

Configurazione del feed delle modifiche dei metadati

Puoi configurare un feed delle modifiche ai metadati definendo quanto segue:

  • Ambito: l'insieme di risorse di cui monitorare le modifiche, ad esempio l'intera organizzazione, progetti specifici o gruppi di voci specifici. Nell'API, specifichi il nome della risorsa. L'esempio seguente mostra il formato del nome della risorsa per un gruppo di voci: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtri: criteri per filtrare le modifiche che generano notifiche in base al tipo di voce, al tipo di aspetto o al tipo di modifica (CREATE, UPDATE o DELETE). Nell'API, specifichi il nome della risorsa. L'esempio seguente mostra il formato del nome della risorsa per un tipo di voce: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Se non specifichi alcun filtro, tutti i tipi di modifica (CREATE, UPDATE e DELETE) nell'ambito del feed generano notifiche.

  • Destinazione: l'argomento Pub/Sub in cui Knowledge Catalog pubblica i messaggi di notifica. Nell'API, specifichi il nome dell'argomento. L'esempio seguente mostra il formato del nome della risorsa per un argomento Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

L'esempio seguente mostra un feed di modifiche dei metadati configurato per monitorare i progetti PROJECT_ID_1 e PROJECT_ID_2 per gli eventi CREATE, inviando notifiche a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Formato del messaggio di notifica

Quando una modifica dei metadati attiva una notifica, Knowledge Catalog pubblica un messaggio nell'argomento Pub/Sub specificato. I dettagli dell'evento di modifica vengono acquisiti in un messaggio Pub/Sub. Il messaggio è composto da attributi per il filtro e un payload di dati con i dettagli della modifica.

Per saperne di più sull'utilizzo di questi messaggi, consulta Utilizza i messaggi di notifica.

Attributi

Gli attributi consentono di filtrare i messaggi all'interno dell'argomento. Puoi filtrare i messaggi in base alla sottoscrizione utilizzando i filtri delle sottoscrizioni Pub/Sub.

Negli attributi sono forniti i seguenti campi:

  • timestamp: il timestamp del momento in cui è avvenuta la modifica.
  • entry_name: il nome della risorsa della voce, nel formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: il nome della risorsa del feed delle modifiche dei metadati, nel formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: il nome della risorsa del tipo di voce, nel formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Per saperne di più, consulta Tipi di voci.
  • entry_change_type: il tipo di modifica: CREATED, UPDATED o DELETED.

L'esempio seguente mostra gli attributi di un evento di creazione di una voce:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Payload di dati

Il payload dei dati del messaggio Pub/Sub è una stringa JSON che contiene i dettagli della modifica.

Di seguito è riportato un esempio di payload di dati:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Considerazioni sui Controlli di servizio VPC

I feed delle modifiche dei metadati sono conformi ai Controlli di servizio VPC (VPC-SC).

  • Se un feed delle modifiche dei metadati ha come ambito l'organizzazione, solo i progetti all'interno del perimetro dei Controlli di servizio VPC del feed delle modifiche dei metadati generano notifiche.

  • Se un feed delle modifiche dei metadati ha come ambito un progetto o un gruppo di voci, tutti i progetti o i gruppi di voci specificati devono trovarsi nello stesso perimetro dei Controlli di servizio VPC del feed delle modifiche dei metadati; in caso contrario, la creazione del feed delle modifiche dei metadati non va a buon fine.

Quote e limitazioni

Per informazioni sulle quote relative ai feed delle modifiche dei metadati, consulta Quote e limiti di Knowledge Catalog.

Esamina le seguenti limitazioni per i feed delle modifiche dei metadati:

  • Pubblicazione: i feed delle modifiche dei metadati inviano notifiche "almeno una volta". Devi gestire i potenziali messaggi duplicati nel tuo sottoscrittore.

  • Ordinamento: Knowledge Catalog non garantisce l'ordine di recapito dei messaggi.

  • Latenza: le notifiche del feed delle modifiche ai metadati sono quasi in tempo reale.

  • Ritardo di attivazione: una configurazione del feed delle modifiche dei metadati appena creata o aggiornata può richiedere fino a 10 minuti per diventare attiva a causa della memorizzazione nella cache nel backend.

  • Payload: il messaggio di notifica iniziale contiene solo le firme delle modifiche. Ad esempio, nome della voce, tipo di voce, tipo di modifica e un elenco di tipi o chiavi di aspetto modificati, ma non contiene i dati modificati effettivi (il payload dell'aspetto). Se necessario, devi chiamare l'API Dataplex (GetEntry) per recuperare lo stato attuale della voce o dell'aspetto.

  • Aspetti di archiviazione generici:i feed delle modifiche dei metadati non supportano gli aspetti di archiviazione generici.

Prezzi

Knowledge Catalog offre feed di modifica dei metadati senza costi aggiuntivi. Tuttavia, ti verranno addebitati i costi per le risorse utilizzate, come la distribuzione dei messaggi Pub/Sub, l'archiviazione e l'esportazione dei dati. Per saperne di più, consulta i prezzi di Pub/Sub.

Passaggi successivi