Panoramica di Knowledge Catalog

Knowledge Catalog ti consente di unificare i metadati tecnici e la semantica aziendale tra dati strutturati e non strutturati utilizzando funzionalità basate su Gemini. Puoi quindi utilizzare il grafico di contesto risultante per scoprire gli asset, verificare la qualità dei dati e basare le applicazioni di AI generativa per ridurre le allucinazioni.

Questo documento è rivolto a data engineer e context engineer, data scientist, data steward e sviluppatori di AI. Presuppone la familiarità con i sistemi di database e archiviazione, come BigQuery o Cloud Storage, e una conoscenza di base dei concetti di AI generativa, come la Retrieval-Augmented Generation (RAG) o il Model Context Protocol (MCP).

Per una procedura dettagliata di Knowledge Catalog, guarda il seguente video:

Risolvi la complessità dei dati specifica del settore

Nelle aziende moderne, i dati sono complessi, altamente distribuiti ed esistono in formati sia strutturati che non strutturati. Le richieste aziendali raramente vengono mappate a un singolo schema di database o archivio di documenti. Allineare questi silos in modo sicuro e, al contempo, fornire risposte immediate e affidabili a domande cross-domain è una grande sfida operativa.

Knowledge Catalog funge da base semantica che colma questo divario, consentendo agli agenti AI e agli strumenti di analisi di recuperare un contesto pertinente e fondato.

Ruoli utente chiave

  • Context Engineer (Data Engineer). Automatizza l'aggregazione dei metadati tra database e Cloud Storage, traccia le trasformazioni con la derivazione e crea workflow di arricchimento e valutazione.

  • Gestori dati (team di governance). Controlla la qualità dei metadati fornendo revisioni human-in-the-loop delle descrizioni generate dall'AI, standardizzando i vocabolari aziendali con glossari e definendo aspetti personalizzati per allegare il contesto specifico del dominio alle voci del catalogo.

  • AI Developers. Basare gli LLM e le applicazioni di AI su schemi di dati aziendali attendibili utilizzando server MCP o API di recupero del contesto.

Casi d'uso per settore

La seguente tabella illustra le domande complesse che sorgono nella pratica, come superano i confini tecnici e come Knowledge Catalog aiuta le organizzazioni ad affrontarle:

Settore Sfide operative e relative ai dati Problema aziendale da risolvere Come Knowledge Catalog affronta il problema
E-commerce
  • I database transazionali e le immagini dei prodotti non strutturate risiedono in ambienti di archiviazione separati, il che rende difficile collegare le cronologie dei resi alle condizioni fisiche.
  • La correlazione dei tassi di reso con il feedback visivo dei clienti richiede pipeline di dati manuali e complesse.
 "Trova prodotti elettronici con tassi di reso elevati e foto dei clienti che mostrano segni di danni all'arrivo." Grounding semantico tra formati di dati: rileva automaticamente i metadati dai database transazionali e li collega alle immagini non strutturate nei bucket di archiviazione di Cloud Storage, consentendo agli strumenti AI di risolvere la query su sistemi di archiviazione diversi.
Produzione
  • I log di telemetria e le scansioni PDF delle ispezioni cartacee sono isolati nelle varie divisioni geografiche.
  • La compilazione dei riepiloghi dei controlli di sicurezza e la ricerca di pattern operativi richiedono storicamente settimane di coordinamento tra i team.
 "Genera riepiloghi per tutti i report di ispezione relativi alle macchine della regione occidentale che non hanno superato i controlli di sicurezza nell'ultimo trimestre." Scansione regionale e non strutturata: esegue la scansione e cataloga i report di ispezione PDF non strutturati insieme ai metadati degli asset, consentendo agli agenti di AI generativa di individuare, compilare e riassumere i report per regione.
Sanità
  • I dati clinici dei riepiloghi salute elettronici devono rimanere sicuri e conformi alle normative HIPAA, supportando al contempo i modelli predittivi in tempo reale.
  • Le anomalie della qualità dei dati non rilevate possono portare a previsioni errate del modello o ad avvisi di assistenza ai pazienti.
 "Quali pazienti sono a più alto rischio di un nuovo ricovero entro 30 giorni, considerando i parametri vitali di laboratorio recenti e la frequenza degli appuntamenti?" Qualità e tracciabilità dei dati:calcola la profilazione della qualità dei dati a livello di riga e le mappe di tracciabilità nei feed dei riepiloghi salute elettronici, contribuendo a garantire che i modelli predittivi clinici si basino solo su parametri vitali dei pazienti verificati e di alta qualità.
Servizi finanziari
  • I file di testo dei feedback dei clienti, gli account CRM e i registri di fatturazione sono gestiti su sistemi separati, impedendo un'analisi unificata.
  • La proiezione delle tendenze finanziarie richiede l'unione di dati non strutturati sul sentiment con database delle entrate storiche.
 "Quali dei 10 clienti con le entrate più elevate si sono lamentati di 'problemi di prestazioni' e in che modo questo influisce sulle proiezioni del terzo trimestre?" Unified context graph: unifica i record dei clienti, i feedback dell'assistenza e le tabelle finanziarie, consentendo alle query in linguaggio naturale di unire le statistiche sulle entrate dei clienti con i file di feedback non strutturati per prevedere l'impatto finanziario.

Per affrontare queste sfide operative, Knowledge Catalog offre funzionalità chiave che aiutano i data engineer, i data scientist e gli sviluppatori di AI a creare sistemi di dati regolamentati:

  • Fonda gli agenti AI con Model Context Protocol (MCP). Esporre metadati, schemi, derivazione e regole aziendali direttamente agli agenti AI utilizzando server MCP locali o remoti. Questi server consentono ai modelli di verificare le aspettative operative prima di proporre azioni.

  • Accelera la scoperta per l'AI e l'analisi. Trova asset di dati pertinenti utilizzando la ricerca semantica in linguaggio naturale. I riepiloghi e i suggerimenti generativi aiutano gli utenti a individuare i dati senza attendere le revisioni manuali della documentazione.

  • Gestisci i prodotti di dati su larga scala. Pacchetti di raccolte di asset con accordi sul livello del servizio (SLA), contratti, dettagli sulla proprietà e note sull'utilizzo in singole unità gestite per la ricerca e l'abbonamento.

Come funziona Knowledge Catalog

Knowledge Catalog unifica la gestione dei dati e il contesto attraverso un ciclo di vita basato su tre pilastri. Il seguente diagramma illustra in che modo il servizio mappa gli asset di dati fisici alla semantica aziendale per il grounding degli agenti AI:

Architettura di Knowledge Catalog che mostra la selezione di metadati, logica di business e relazioni tra i dati in un grafico di contesto unificato per gli agenti AI. Architettura di Knowledge Catalog che mostra la selezione di metadati, logica di business e relazioni tra i dati in un grafico di contesto unificato per gli agenti AI.
Figura 1. Architettura di Knowledge Catalog

Per saperne di più su questi concetti relativi ai metadati, consulta Informazioni sui metadati.

Le sezioni seguenti descrivono i tre pilastri del ciclo di vita dei metadati e illustrano come un'azienda di vendita al dettaglio li applica a tabelle di database, file e voci di catalogo esterne:

  1. Aggregazione (scoperta e importazione). Knowledge Catalog esegue automaticamente la scansione e l'indicizzazione dei metadati tecnici nel tuo patrimonio di dati senza spostare i dati sottostanti:

    • Database integrati. La catalogazione automatizzata acquisisce schemi e attributi su piattaforme come BigQuery, AlloyDB per PostgreSQL e Spanner.
    • Connettività gestita. Importa le definizioni da sistemi esterni, come Oracle o PostgreSQL, o da registri di partner, come Collibra, senza scrivere pipeline personalizzate.
    • Derivazione dei dati. Trace le trasformazioni a livello di colonna nelle pipeline per monitorare l'origine dei dati e il modo in cui sono stati modificati.
    • Esempio: un'azienda di vendita al dettaglio acquisisce automaticamente i metadati del database transazionale, come le tabelle orders e order_items, e indicizza i file di prodotto non strutturati archiviati nei bucket Cloud Storage. Collegano i database esterni per creare un indice dei metadati unificato in una directory rilevabile.

    Per scoprire di più sull'aggregazione dei metadati e sull'importazione dati (fai clic per espandere)

  2. Arricchimento (curatela del contesto e verifica dell'affidabilità). Knowledge Catalog associa un significato aziendale alle strutture tecniche e stabilisce indicatori di affidabilità:

    • Insight generati dall'AI. Gemini analizza i log delle query per generare descrizioni delle colonne, riepiloghi delle tabelle e join consigliati.
    • Glossari e aspetti. Mappa i nomi delle metriche interne a un vocabolario condiviso utilizzando termini aziendali e modelli logici.
    • Qualità dei dati e rilevamento di anomalie. Applica linee guida per la pulizia ed esegui scansioni di machine learning per rilevare outlier statistici o problemi di aggiornamento dei dati, generando indicatori di affidabilità chiave.
    • Revisioni della governance. Gestisci i rischi utilizzando i processi di revisione del flusso di lavoro per verificare gli aggiornamenti dei metadati prima della pubblicazione.
    • Esempio: il team di vendita al dettaglio arricchisce gli asset attivando insight sui dati per consigliare descrizioni delle colonne ed eseguire regole di qualità dei dati. Mappano le definizioni aziendali agli ordini attivi creando glossari e aspetti.

    Per scoprire di più sull'arricchimento dei metadati e sulla verifica dell'attendibilità (fai clic per espandere)

  3. Ricerca e recupero (accesso e grounding). Le applicazioni di AI e gli utenti aziendali eseguono query sul grafico di contesto unificato per accedere ai dati in modo sicuro:

    • Agenti di grounding. Collega le tue app e i tuoi agenti basati su LLM al catalogo.
    • API Context. Eseguire richieste di payload di grounding a bassa latenza.
    • Ricerca semantica. Trova gli asset giusti utilizzando query in linguaggio naturale.
    • Pacchettizzazione dei dati. Raggruppa raccolte di tabelle, dettagli sulle licenze e SLA in pacchetti di dati self-service sicuri.
    • Esempio: gli analisti eseguono ricerche semantiche in linguaggio naturale per individuare gli asset. Le applicazioni AI utilizzano questo indice in modo sicuro tramite i server MCP o l'API di recupero del contesto e gli asset di alta qualità vengono pacchettizzati in una visualizzazione sicura.

    Per scoprire di più sul recupero del contesto e sul grounding degli agenti (fai clic per espandere)

Knowledge Catalog nell'ecosistema di Google Cloud e AI

Comprendere come Knowledge Catalog si integra con i servizi correlati è essenziale per creare una base di dati.

Google Cloud database e modelli

  • BigQuery. Knowledge Catalog esegue automaticamente la scansione e l'indicizzazione di set di dati, tabelle e viste di BigQuery. Attiva gli insight sui dati basati su Gemini per analizzare le cronologie delle query, pubblicare descrizioni e suggerire query di esempio verificate.
  • Looker (Google Cloud core). Knowledge Catalog importa dashboard, Look e strutture LookML di Looker, come visualizzazioni, esplorazioni, dimensioni e misure. Questa importazione crea mappature di derivazione per tracciare il modo in cui i valori operativi vengono mappati alla semantica aziendale.
  • Catalogo di runtime Lakehouse. Knowledge Catalog si integra con il catalogo di runtime Lakehouse, il metastore di runtime per i workload Iceberg open source. Indicizza automaticamente i metadati tecnici sui workload del catalogo di runtime Lakehouse per fornire un contesto attivo unificato.

Piattaforme e assistenti di agenti AI

  • Analisi conversazionale. Le interfacce di analisi utilizzano termini del catalogo e strumenti di ricerca per consentire agli utenti di eseguire query sulle metriche aziendali in linguaggio naturale con grounding verificato.
  • Gemini per gli agenti AI. Gli agenti assistenti ad alta precisione utilizzano i metadati del catalogo per eseguire ricerche nel database, riducendo le allucinazioni.
  • Gemini Enterprise Agent Platform. Knowledge Catalog funge da standard centrale di governance dei dati all'interno degli ambienti della piattaforma di destinazione. Si collega a Gemini Enterprise Agent Platform per fornire strumenti e contesto all'Agent Registry della piattaforma.

Integrazione di database e servizi AI diGoogle Cloud

Knowledge Catalog funziona insieme ad altri prodottiGoogle Cloud per formare la tua base di dati. La tabella seguente mostra come Knowledge Catalog si integra con i servizi correlati e li completa:

Servizio Ruolo principale Come si integra con Knowledge Catalog
Knowledge Catalog Governance e contesto degli agenti Funge da grafo di contesto semantico unificato, eseguendo scansioni di controllo della qualità dei dati ed esponendo schemi basati su dati reali ai modelli e alle applicazioni di AI.
BigQuery Data warehousing aziendale Archivia, esegue query ed elabora i set di dati; esegue automaticamente la scansione, l'indicizzazione e l'arricchimento di queste tabelle con aspetti di classificazione aziendale.
Gemini Enterprise Agent Platform Sviluppo di modelli di AI Crea, esegue il deployment e ospita i foundation model. Gli agenti personalizzati recuperano il contesto dei metadati per basare il ragionamento logico.
Cloud Storage Archiviazione di file non strutturati Archivia file non strutturati non elaborati; esegue automaticamente scansioni di rilevamento non strutturate per analizzare PDF e immagini per creare mappe delle relazioni.

Semantica e formati dei dati

Per istruire e basare i sistemi agentici in modo efficace, devi distinguere tra struttura fisica dei dati e significato semantico:

  • Semantica. Il significato, l'intent e le relazioni aziendali associati ai tuoi dati. Sebbene gli schemi tecnici definiscano le specifiche di archiviazione strutturale, come il tipo di database, la lunghezza dei caratteri o il vincolo di un numero intero, la semantica descrive ciò che il set di dati rappresenta effettivamente. Ad esempio, puoi mappare una colonna denominata txn_qty alla definizione aziendale di "quantità acquistata".
  • Dati strutturati. Informazioni archiviate in schemi definiti e formati relazionali. Alcuni esempi sono le tabelle BigQuery, i database Spanner e le tabelle Postgres operative. Knowledge Catalog esegue automaticamente la scansione di questi metadati e registra colonne e vincoli.

Orchestrazione del contesto di Agentic Data Cloud

All'interno del framework Agentic Data Cloud di Google, Knowledge Catalog funge da piano di orchestrazione semantica. Anziché richiedere agli sviluppatori di impostare manualmente come hardcoded schemi e regole del database nei prompt, il motore di contesto fornisce dinamicamente il contesto semantico preciso di cui un agente ha bisogno per prendere decisioni intelligenti.

La figura seguente mostra come Knowledge Catalog orchestra e fornisce il contesto dei dati:

Architettura di orchestrazione del contesto di Agentic Data Cloud.
Percorso di orchestrazione e distribuzione del contesto in Agentic Data Cloud.
Architettura di orchestrazione del contesto di Agentic Data Cloud.

Il workflow di orchestrazione del contesto è composto dalle seguenti fasi:

  1. Importazione e scoperta. I database operativi, i warehouse come Spanner e BigQuery, gli archivi di oggetti non strutturati come Cloud Storage e i metastore di runtime come il catalogo di runtime Lakehouse inseriscono schemi tecnici, mappe di derivazione e definizioni di metadati direttamente in Knowledge Catalog.
  2. Mappatura del contesto. All'interno di Knowledge Catalog, queste proprietà dei metadati sono collegate a elementi semantici, tra cui aspetti tecnici, glossari aziendali e query verificate, per assemblare il grafico del contesto attivo.
  3. Interfacce di pubblicazione. Le applicazioni e gli orchestratori di AI recuperano questo grafico di contesto consolidato in modo programmatico utilizzando connettori standard, come MCP o endpoint API LookupContext diretti.
  4. Grounding dell'agente. I framework di orchestrazione, come l'Agent Development Kit (ADK) o LangChain, inseriscono questo contesto di metadati direttamente nei prompt LLM. Questa iniezione basa il ragionamento dell'agente su regole organizzative verificate, consentendogli di eseguire query sui database o di eseguire azioni automatizzate senza allucinazioni.

Profili degli agenti AI

A seconda dei workflow che vuoi automatizzare, puoi creare diverse classi di agenti basati su Knowledge Catalog:

  • Agenti di rilevamento dei dati. Questi assistenti aiutano gli utenti a cercare e navigare nel patrimonio di dati. Anziché utilizzare la corrispondenza delle parole chiave, analizzano l'intento e i vincoli in formato lungo nel linguaggio naturale per recuperare gli asset fisici più pertinenti.
  • Agenti di arricchimento dei metadati. Questi agenti in background acquisiscono testo non strutturato da wiki, file README o log di chat, analizzano il testo in metadati formali e scrivono i metadati come aspetti in Knowledge Catalog per mantenerli aggiornati.
  • Qualità dei dati e agenti della pipeline. Questi agenti autonomi valutano le regole di qualità, rilevano la deviazione dello schema e creano o riparano le pipeline di trasformazione dei dati eseguendo query sulla derivazione dei dati e sulle statistiche del profilo.

Strumenti di orchestrazione

Per creare e integrare questi agenti, puoi utilizzare i seguenti strumenti:

Accedi al contesto con MCP

Model Context Protocol (MCP) è un bridge standardizzato che consente agli agenti e agli strumenti AI di connettersi senza problemi a origini dati come Knowledge Catalog. Utilizza la seguente tabella di confronto per determinare l'opzione migliore per la tua integrazione:

Implementazione Ideale per Dettagli chiave Endpoint o configurazione
Server MCP remoto Deployment cloud-first, ambienti serverless come Cloud Run e servizi esterni gestiti. Endpoint ospitato da Google che non richiede la gestione del server locale. Endpoint: https://dataplex.googleapis.com/mcp
Per la configurazione, consulta Utilizza un server MCP remoto.
Toolbox MCP locale Sviluppo di agenti locali, prototipazione rapida e integrazioni con IDE desktop come VS Code o Cursor. Strumento a riga di comando che funge da proxy locale tra l'ambiente di lavoro e Knowledge Catalog. Richiede l'installazione del file binario e le impostazioni di .mcp.json.
Per la configurazione, consulta Utilizza un server MCP locale.

Best practice per il contesto dei dati degli agenti

Per creare esperienze agentiche affidabili, tieni presente le seguenti best practice quando organizzi ed esegui query sui metadati in Knowledge Catalog:

  • Aggiungi aspetti. Gli agenti AI non possono distinguere tra tabelle di produzione ufficiali e mockup sandbox temporanei solo in base al nome. Definisci e applica un aspetto di indicatore di attendibilità personalizzato per certificare i prodotti di dati autorevoli, in modo da garantire che gli agenti diano la priorità o limitino le query a queste risorse.
  • Ottimizza le ricerche utilizzando i budget di contesto. Quando chiami l'API LookupContext, specifica il parametro context_budget. L'API ottimizza e adatta prima i metadati più importanti, come la derivazione e le descrizioni principali, entro i vincoli dei token specificati.
  • Fornisci risorse correlate per mostrare i percorsi di unione. Nelle richieste di contesto, elenca fino a 10 tabelle o asset correlati. Fornire un gruppo di asset consente al motore contestuale di compilare automaticamente i percorsi di join e le relazioni, il che aiuta l'agente a capire come si interfacciano le tabelle.
  • Struttura i glossari semantici. Standardizza termini e abbreviazioni nei glossari aziendali. Questa standardizzazione aiuta gli strumenti di conversazione a risolvere con precisione sinonimi e metriche specifici dell'attività.
  • Pubblica le query di riferimento. Allega query in linguaggio naturale verificate e i relativi equivalenti SQL corretti direttamente alle voci del Knowledge Catalog. Basando il ragionamento su questi template verificati, eviti errori di conversione SQL negli agenti text-to-SQL.

Transizione da Dataplex Universal Catalog a Knowledge Catalog

Dataplex Universal Catalog si è evoluto in Knowledge Catalog. Per saperne di più su questa transizione, consulta Transizione da Dataplex Universal Catalog a Knowledge Catalog.

Limitazioni

Quando pianifichi il deployment, tieni presente le seguenti limitazioni:

  • Integrazioni supportate. Sebbene Knowledge Catalog supporti i principali sistemi di terze parti, alcune estrazioni semantiche automatizzate potrebbero essere limitate ai servizi Google Cloud integrati.

  • Limiti di quota. Si applicano le quote API Google Cloud standard alle operazioni di recupero del contesto e di estrazione dei metadati.

Passaggi successivi

Concetto

Scopri come il contesto attivo trasforma i metadati passivi per fornire un grounding agli agenti AI e prevenire le allucinazioni.

Tutorial

Crea un glossario aziendale, definisci tipi di aspetti personalizzati e arricchisci gli asset in BigQuery.

Integrazione dell'AI

Connetti gli agenti AI e gli strumenti per sviluppatori a Knowledge Catalog utilizzando Model Context Protocol.

Discovery

Trova ed esplora le risorse del catalogo in Google Cloud e nei sistemi di terze parti utilizzando il linguaggio naturale.

Governance

Definisci le regole di convalida e monitora la pulizia dei dati nelle tabelle con scansioni di qualità automatizzate.

Casi d'uso

Esamina soluzioni reali per l'arricchimento del contesto, la derivazione dei dati e gli Agentic Workflows.