Utilizzare Knowledge Catalog con BigQuery

Knowledge Catalog, in precedenza noto come Dataplex Universal Catalog, interagisce con BigQuery come livello centrale di governance dei dati e accesso agentico per i metadati di BigQuery. Per saperne di più, consulta la panoramica di Knowledge Catalog.

Come faccio a utilizzare Knowledge Catalog con BigQuery?

Knowledge Catalog interagisce con BigQuery nei seguenti modi.

Importazione automatica dei metadati

Knowledge Catalog rileva e indicizza automaticamente i metadati tecnici degli asset BigQuery. È incluso quanto segue:

Rappresentazione e arricchimento dei metadati

  • Voci: ogni tabella o asset BigQuery è rappresentato come una voce nel catalogo, anziché l'intera tabella; ad esempio, project.dataset.table.
  • Integrazione della scheda di valutazione della qualità dei dati: Knowledge Catalog fornisce una scheda di valutazione della qualità dei dati per ogni voce del catalogo. Oltre alle scansioni dei dati integrate di Knowledge Catalog, i risultati delle asserzioni di Dataform sono una fonte per questa scheda di valutazione (anteprima).

  • Arricchimento automatico dei metadati: per le tabelle e le viste create con Dataform, puoi definire i metadati semantici direttamente nel codice. Questi metadati vengono sincronizzati automaticamente con Knowledge Catalog al completamento di un'azione della pipeline (anteprima). Sono supportati i seguenti tipi di aspetto:

    • Panoramica: documentazione e testo di riepilogo per la voce.
    • Aspetti generici: tag di metadati semantici per dettagli tecnici, come informazioni sul tipo e sul sistema della tabella.

    Per verificare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Visualizzare le esecuzioni manuali precedenti.

    Dopo la sincronizzazione dei metadati, puoi cercare e visualizzare la voce in Knowledge Catalog. Per saperne di più, consulta Cercare le risorse.

  • Metadati a livello di colonna: le singole colonne o i singoli campi sono rappresentati come percorsi, il che ti consente di collegare metadati specifici, come indicatori PII o punteggi di qualità dei dati, a singoli campi all'interno di una tabella BigQuery anziché solo alla tabella stessa.

  • Aspetti: i metadati tecnici vengono arricchiti con aspetti, che aggiungono il contesto aziendale ai dati, come proprietà, qualità dei dati e documentazione.

  • Prodotti di dati: puoi raggruppare gli asset BigQuery correlati in prodotti di dati, ad esempio i dati aziendali di e-commerce, che hanno vincoli di accesso e governance condivisi.

  • Ricerca semantica: gli utenti possono utilizzare il linguaggio naturale per cercare i dati di BigQuery, il che è particolarmente utile per i data scientist e gli agenti AI per trovare prodotti di dati attendibili utilizzando query lunghe o complesse.
  • Traduzione dei nomi: per una ricerca programmatica più semplice, il sistema consente di tradurre i nomi SQL di BigQuery o i nomi completi in nomi di voci di Knowledge Catalog.

Accesso agentico e grounding

  • Accesso agentico: gli agenti AI possono scoprire e utilizzare in modo adattivo gli strumenti di Knowledge Catalog tramite un server MCP locale o remoto.
  • Contesto per gli agenti AI: Knowledge Catalog cura un grafico di contesto che collega i set di dati BigQuery alla semantica aziendale, contribuendo a ridurre le allucinazioni dell'AI assicurando che i modelli utilizzino dati approvati dall'azienda.

Governance e conformità

  • Derivazione dei dati: Knowledge Catalog monitora automaticamente il flusso e la trasformazione dei dati in entrata e in uscita dalle tabelle BigQuery. Questa funzionalità è fondamentale per controllare le informazioni sensibili, come le PII, in tutto il patrimonio di dati.
  • Controllo dell'accesso: la gestione dei metadati è integrata con Identity and Access Management (IAM) e Controlli di servizio VPC per garantire che il rilevamento e l'accesso ai metadati di BigQuery seguano i criteri di sicurezza dell'organizzazione.

Considerazioni sulla migrazione

La migrazione a Knowledge Catalog da Data Catalog, ritirato, prevede diversi passaggi. I metadati standard di BigQuery (come set di dati, tabelle, viste) sono disponibili automaticamente in Knowledge Catalog, quindi la procedura di migrazione si concentra principalmente sui metadati personalizzati, sull'utilizzo delle API e sulle impostazioni predefinite dell'interfaccia utente.

Di seguito sono riportati i punti principali da considerare durante la migrazione.

Informazioni sulla modifica

Knowledge Catalog offre funzionalità avanzate per la gestione, la governance e il rilevamento dei metadati rispetto a Data Catalog. Knowledge Catalog utilizza un'API diversa (l'API Knowledge Catalog) e ha un modello dei dati leggermente diverso; ad esempio, Knowledge Catalog utilizza aspetti e tipi di aspetto anziché tag e modelli di tag.

Valutare l'utilizzo attuale del catalogo dati

  • Nessun metadato personalizzato: se ti affidi a Knowledge Catalog solo per l'importazione e il rilevamento automatici dei metadati standard di BigQuery senza creare tag personalizzati, modelli di tag, voci personalizzate o gruppi di voci, la transizione è semplice. Puoi iniziare a utilizzare immediatamente l'interfaccia di Knowledge Catalog.
  • Metadati personalizzati o utilizzo programmatico: se hai creato tag o modelli personalizzati, voci personalizzate o utilizzi l'API Data Catalog, le librerie client, i comandi Google Cloud CLI o Terraform, devi eseguire una transizione più strutturata.

Considerazioni specifiche su BigQuery

  • Importazione automatica: i metadati tecnici degli asset BigQuery (set di dati, tabelle, viste, modelli e routine) continuano a essere importati automaticamente in Knowledge Catalog, come avveniva con Dataplex Universal Catalog.
  • Tag di criteri: i tag di criteri utilizzati per il controllo dell'accesso a livello di colonna di BigQuery non sono ritirati e la loro gestione rimane in BigQuery.
  • Tracciabilità: la tracciabilità dei dati per le operazioni BigQuery viene visualizzata in Knowledge Catalog. Per saperne di più sulla derivazione dei dati, consulta Monitorare la derivazione dei dati per una tabella BigQuery.

Seguire la guida alla transizione

Per eseguire la migrazione a Knowledge Catalog, segui i passaggi descritti in Transizione da Data Catalog a Knowledge Catalog.

Per aggiornare i flussi di lavoro programmatici all'API Knowledge Catalog, consulta Mappare i metodi dell'API Data Catalog a Knowledge Catalog.

Passaggi successivi

Scopri di più su Knowledge Catalog: