Utilizza Knowledge Catalog con BigQuery

Knowledge Catalog (precedentemente noto come Dataplex Universal Catalog) interagisce con BigQuery come livello centrale di governance dei dati e accesso degli agenti per i metadati di BigQuery. Per saperne di più, consulta la panoramica di Knowledge Catalog.

Come faccio a utilizzare Knowledge Catalog con BigQuery?

Knowledge Catalog interagisce con BigQuery nei seguenti modi.

Importazione automatica dei metadati

Knowledge Catalog rileva e indicizza automaticamente i metadati tecnici degli asset BigQuery. È incluso quanto segue:

Rappresentazione e arricchimento dei metadati

  • Voci: ogni tabella o asset BigQuery è rappresentato come una voce nel catalogo, anziché come l'intera tabella; ad esempio, project.dataset.table.
  • Integrazione dello scorecard della qualità dei dati: Knowledge Catalog fornisce uno scorecard della qualità dei dati per ogni voce del catalogo. Oltre alle scansioni dei dati di Knowledge Catalog integrate, i risultati delle asserzioni di Dataform sono un'origine per questo scorecard.

  • Arricchimento automatico dei metadati: per le tabelle e le viste create con Dataform, puoi definire i metadati semantici direttamente nel codice. Questi metadati vengono sincronizzati automaticamente con Knowledge Catalog al completamento di un'azione della pipeline. Sono supportati i seguenti tipi di aspetti:

    • Panoramica: documentazione e testo di riepilogo della voce.
    • Aspetti generici: tag di metadati semantici per dettagli tecnici, come informazioni sul sistema e sul tipo di tabella.

    Per controllare lo stato di un aggiornamento dei metadati, segui le istruzioni riportate in Visualizza le esecuzioni manuali precedenti.

    Dopo la sincronizzazione dei metadati, puoi cercare e visualizzare la voce in Knowledge Catalog. Per saperne di più, consulta Cerca risorse.

  • Metadati a livello di colonna: le singole colonne o i singoli campi sono rappresentati come percorsi, consentendoti di allegare metadati specifici, come indicatori PII o punteggi di qualità dei dati, ai singoli campi all'interno di una tabella BigQuery anziché solo alla tabella stessa.

  • Aspetti: i metadati tecnici vengono arricchiti con aspetti, che aggiungono un contesto aziendale ai dati, ad esempio proprietà, qualità dei dati e documentazione.

  • Prodotti di dati: puoi raggruppare gli asset BigQuery correlati in prodotti di dati, ad esempio i dati aziendali di e-commerce, che hanno vincoli di accesso e governance condivisi.

  • Ricerca semantica: gli utenti possono utilizzare il linguaggio naturale per eseguire ricerche nei dati di BigQuery, il che è particolarmente utile per i data scientist e gli agenti AI per trovare prodotti di dati affidabili utilizzando query lunghe o complesse.
  • Traduzione dei nomi: per semplificare la ricerca programmatica, il sistema consente di tradurre i nomi SQL di BigQuery o i nomi completi in nomi di voci di Knowledge Catalog.

Accesso e grounding agentici

  • Accesso agentico: gli agenti AI possono scoprire e utilizzare in modo adattivo gli strumenti di Knowledge Catalog tramite un server MCP locale o remoto.
  • Contesto per gli agenti AI: Knowledge Catalog cura un grafico di contesto che collega i set di dati BigQuery con la semantica aziendale, contribuendo a ridurre le allucinazioni dell'AI garantendo che i modelli utilizzino dati approvati dall'azienda.

Governance e conformità

  • Data Lineage: Knowledge Catalog traccia automaticamente il flusso e la trasformazione dei dati in entrata e in uscita dalle tabelle BigQuery. Questa funzionalità è fondamentale per l'audit delle informazioni sensibili, come le PII, in tutto il patrimonio di dati.
  • Controllo degli accessi: la gestione dei metadati è integrata con Identity and Access Management (IAM) e Controlli di servizio VPC per garantire che l'individuazione e l'accesso ai metadati di BigQuery seguano le policy di sicurezza dell'organizzazione.

Passaggi successivi

Scopri di più su Knowledge Catalog: