Utilizzare Knowledge Catalog con BigQuery

Knowledge Catalog (precedentemente noto come Dataplex Universal Catalog) interagisce con BigQuery come livello centrale di governance dei dati e accesso agentico per i metadati di BigQuery. Per maggiori informazioni, consulta la panoramica di Knowledge Catalog.

Come faccio a utilizzare Knowledge Catalog con BigQuery?

Knowledge Catalog interagisce con BigQuery nei seguenti modi:

Importazione automatica dei metadati

Knowledge Catalog rileva e indicizza automaticamente i metadati tecnici delle risorse BigQuery. È incluso quanto segue:

Rappresentazione e arricchimento dei metadati

  • Voci: ogni tabella o asset BigQuery è rappresentato come una voce nel catalogo, anziché l'intera tabella; ad esempio, project.dataset.table.
  • Metadati a livello di colonna: le singole colonne o i singoli campi sono rappresentati come percorsi, che ti consentono di allegare metadati specifici, come indicatori di informazioni che consentono PII;identificazione personale o punteggi di qualità dei dati, a singoli campi all'interno di una tabella BigQuery anziché solo alla tabella stessa.
  • Aspetti: i metadati tecnici sono arricchiti con aspetti, che aggiungono il contesto aziendale ai dati, come proprietà, qualità dei dati e documentazione.
  • Prodotti di dati: puoi raggruppare gli asset BigQuery correlati in prodotti di dati, ad esempio i dati aziendali di e-commerce, che hanno accesso condiviso e vincoli di governance.
  • Ricerca semantica: gli utenti possono utilizzare il linguaggio naturale per cercare dati BigQuery, il che è particolarmente utile per data scientist e agenti AI per trovare prodotti di dati attendibili utilizzando query lunghe o complesse.
  • Traduzione dei nomi: per una ricerca programmatica più semplice, il sistema consente di tradurre i nomi SQL di BigQuery o i nomi completi in nomi di voci del Knowledge Catalog.

Accesso agentico e grounding

  • Accesso agentico: gli agenti AI possono scoprire e utilizzare in modo adattivo gli strumenti di Knowledge Catalog tramite un server MCP locale o remoto.
  • Contesto per gli agenti AI: Knowledge Catalog cura un grafico contestuale che collega i set di dati BigQuery alla semantica aziendale, contribuendo a ridurre le allucinazioni dell'AI garantendo che i modelli utilizzino dati approvati dall'azienda.

Governance e conformità

  • Data Lineage: Knowledge Catalog monitora automaticamente il flusso dei dati e la loro trasformazione all'interno e all'esterno delle tabelle BigQuery. Questa funzionalità è fondamentale per controllare le informazioni sensibili, come le PII, in tutto il patrimonio di dati.
  • Controllo dell'accesso:la gestione dei metadati è integrata con Identity and Access Management (IAM) e Controlli di servizio VPC per garantire che l'individuazione e l'accesso ai metadati BigQuery seguano le norme di sicurezza dell'organizzazione.

Considerazioni sulla migrazione

La migrazione a Knowledge Catalog da Data Catalog deprecato richiede diversi passaggi. I metadati standard di BigQuery (come set di dati, tabelle e viste) sono disponibili automaticamente in Knowledge Catalog, pertanto il processo di migrazione si concentra principalmente su metadati personalizzati, utilizzo delle API e impostazioni predefinite dell'interfaccia utente.

Di seguito sono riportati i punti principali da considerare durante la migrazione:

Informazioni sulla modifica

Knowledge Catalog offre funzionalità avanzate per la gestione, la governance e l'individuazione dei metadati rispetto a Data Catalog. Knowledge Catalog utilizza un'API diversa (l'API Knowledge Catalog) e ha un modello dei dati leggermente diverso; ad esempio, Knowledge Catalog utilizza aspetti e tipi di aspetti anziché tag e modelli di tag.

Valutare l'utilizzo attuale del catalogo dei dati

  • Nessun metadato personalizzato: se ti affidi solo a Knowledge Catalog per l'importazione e l'individuazione automatiche dei metadati standard di BigQuery senza creare tag, modelli di tag, voci personalizzate o gruppi di voci, la transizione è semplice. Puoi iniziare a utilizzare immediatamente l'interfaccia di Knowledge Catalog.
  • Metadati personalizzati o utilizzo programmatico: se hai creato tag o modelli personalizzati, voci personalizzate o utilizzi l'API Data Catalog, le librerie client, i comandi Google Cloud CLI o Terraform, devi eseguire una transizione più strutturata.

Considerazioni specifiche su BigQuery

  • Importazione automatica: i metadati tecnici degli asset BigQuery (set di dati, tabelle, viste, modelli e routine) continuano a essere importati automaticamente in Knowledge Catalog, come avveniva con il Catalogo universale Dataplex.
  • Tag di criteri: i tag di criteri utilizzati per il controllo dell'accesso a livello di colonna di BigQuery non sono ritirati e la loro gestione rimane in BigQuery.
  • Lignaggio: il lignaggio dei dati per le operazioni BigQuery viene visualizzato in Knowledge Catalog. Per saperne di più sulla derivazione dei dati, consulta Monitorare la derivazione dei dati per una tabella BigQuery.

Segui la guida alla transizione

Per eseguire la migrazione a Knowledge Catalog, segui i passaggi descritti in Transizione da Data Catalog a Knowledge Catalog.

Per aggiornare i flussi di lavoro programmatici all'API Knowledge Catalog, consulta Mappare i metodi dell'API Data Catalog a Knowledge Catalog.

Passaggi successivi

Scopri di più su Knowledge Catalog: