Stabilire il contesto dei dati di base con Knowledge Catalog

Quando lavori con i dati, probabilmente ti sei chiesto "Cosa significa questo nome di colonna?", "Chi è il proprietario di questo set di dati danneggiato?" o "Questa tabella è approvata per l'uso?" I tag dei metadati tentano di rispondere a queste domande, ma diventano rapidamente obsoleti o incoerenti. Knowledge Catalog (in precedenza Dataplex Universal Catalog) risolve questo problema consentendoti di allegare metadati strutturati e definizioni aziendali chiare direttamente agli asset di dati. Fornire un contesto chiaro dei dati fonda gli agenti AI e crea una base di fiducia per ogni utente che interagisce con i dati.

Questo tutorial mostra come stabilire il contesto dei dati in Knowledge Catalog. Progettato per utenti come i responsabili della stewardship dei dati e gli analisti aziendali, questo tutorial illustra i passaggi basati sulla UI per creare termini e contesto aziendali standard prima di automatizzare questi workflow. Il tutorial chiarisce le relazioni tra i concetti chiave di Knowledge Catalog. Alla fine, saprai come rendere i tuoi dati rilevabili e affidabili.

Obiettivi

In questo tutorial imparerai a:

  • Crea un'unica fonte attendibile per i termini aziendali con un glossario aziendale.
  • Struttura e organizza i metadati con i tipi di aspetto.
  • Collega i metadati agli asset di dati con gli aspetti.
  • Utilizza la ricerca di Knowledge Catalog per trovare esattamente ciò di cui hai bisogno utilizzando questi nuovi metadati strutturati.

Prima di iniziare

Prima di iniziare, segui questi passaggi:

Configura l'ambiente

Questo tutorial utilizza Cloud Shell, un ambiente a riga di comando in esecuzione nel cloud.

  1. Nella console Google Cloud , fai clic su Attiva Cloud Shell nella barra degli strumenti in alto a destra. Bastano pochi istanti per eseguire il provisioning e connettersi all'ambiente.

  2. In Cloud Shell, imposta le variabili PROJECT_ID e LOCATION in modo che tutti i comandi futuri abbiano come target il tuo progetto Google Cloud specifico.

    export PROJECT_ID=$(gcloud config get-value project)
gcloud config set project $PROJECT_ID
export LOCATION="us-central1"

  3. Abilita i servizi Google Cloud necessari.

    gcloud services enable \
  dataplex.googleapis.com \
  bigquery.googleapis.com

Crea un set di dati BigQuery e prepara i dati campionati

Utilizza il seguente codice per creare un set di dati BigQuery e caricare alcune transazioni CSV di esempio in una tabella. Dopo aver creato la tabella, Knowledge Catalog la rileva e crea una voce per la tabella nel catalogo.

Considera una voce come la rappresentazione di un asset di dati in Knowledge Catalog. È come un record nel catalogo a cui puoi collegare i metadati. Invece di aggiungere il contesto (o arricchire) direttamente la tabella BigQuery, lo aggiungi alla relativa voce in Knowledge Catalog.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,test@example.com,150.50,2025-08-28
1002,user@example.com,75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

Esegui una query SELECT per verificare la configurazione:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

Output di esempio:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | test@example.com | 150.5 |       2025-08-28 |
|           1002 | user@example.com |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

Definisci termini comuni con un glossario aziendale

Un buon contesto dei dati si basa su definizioni chiare. Ad esempio, uno sviluppatore non dovrebbe dover indovinare se una colonna denominata gmv indica i ricavi lordi di vendita o se include tasse e resi. Un glossario aziendale crea un'unica fonte attendibile per queste definizioni in tutta l'organizzazione. Quando i colleghi o gli agenti AI analizzano i tuoi dati, ereditano questo contesto aziendale preciso. Le definizioni condivise allineano le metriche tra i team, come finanza, vendite e operazioni, e aiutano gli agenti AI a evitare le allucinazioni.

Segui questi passaggi per creare un glossario e definire il primo termine:

  1. Nella console Google Cloud , vai alla pagina Glossari di Knowledge Catalog.

    Vai a Glossari

  2. Fai clic su Crea glossario aziendale.

  3. Inserisci i seguenti dettagli:

    • Nome visualizzato: Retail Business Glossary
    • Località: us-central1 (Iowa)

  4. Fai clic su Crea.

  5. Fai clic su Crea categoria.

  6. Assegna un nome alla categoria Sales Metrics e fai clic su Crea.

  7. Seleziona la categoria Metriche di vendita e fai clic su Aggiungi termine.

  8. Assegna un nome al termine Gross Merchandise Value e fai clic su Crea.

  9. Fai clic sul termine ricavi lordi di vendita per aprire la relativa pagina dei dettagli.

  10. Fai clic su Aggiungi accanto a Panoramica. Inserisci i seguenti dettagli: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

  11. Fai clic su Salva.

Ora hai creato un termine del glossario che puoi collegare alle voci di dati della tua organizzazione.

Definisci i metadati tecnici con un tipo di aspetto

Quando utilizzi tag di metadati non strutturati, spesso ottieni voci di catalogo incoerenti. Ad esempio, una tabella potrebbe essere taggata owner:bob e un'altra steward:alice@example.com. Per mantenere i metadati organizzati su larga scala, è necessario uno schema coerente.

È qui che entrano in gioco i tipi di aspetto. Un tipo di aspetto è un progetto di metadati che consente di impostare regole chiare e campi obbligatori. Richiedere campi standard come indirizzi email validi per i responsabili della stewardship dei dati consente agli script downstream di convalidare e proteggere automaticamente i metadati.

Per creare un tipo di aspetto:

  1. Nella console Google Cloud , vai alla scheda Tipi di aspetti di Knowledge Catalog nella pagina Tipi di metadati.

    Vai a Tipi di aspetto

  2. Nella scheda Personalizzata, fai clic su Crea.

  3. Inserisci i seguenti dettagli:

    • Nome visualizzato: Data Asset Context
    • Località: us-central1 (Iowa)

  4. Nella sezione Modello, fai clic su Aggiungi campo per creare i seguenti tre campi:

    • Campo 1:

      • Nome visualizzato: Data Steward
      • Tipo: Text
      • Obbligatorio: seleziona la casella di controllo.
      • Tipo di testo: Plain text

    • Campo 2 (fai clic su Aggiungi campo):

      • Nome visualizzato: Data Sensitivity
      • Tipo: Enum
      • Is Required: lascia facoltativo.
      • Valori: aggiungi Public, Internal e Confidential

    • Campo 3 (fai clic su Aggiungi campo):

      • Nome visualizzato: Last Review Date
      • Is Required: lascia facoltativo.
      • Tipo: Date and time

  5. Fai clic su Salva.

Ora hai un tipo di aspetto per i campi dei metadati correlati alla governance dei dati, come responsabile dei dati, livello di sensibilità e data di revisione. Nella sezione successiva, applichi questo schema a una voce della tabella collegando un aspetto con valori specifici per questi campi.

Arricchire una voce con il contesto aziendale e tecnico

I nomi delle colonne sono spesso abbreviati o ambigui. Il collegamento di una colonna a un termine del glossario aziendale fornisce una definizione chiara e coerente. In questo passaggio, arricchisci la voce della tabella retail_data.transactions collegando il termine Gross Merchandise Value a una colonna denominata gmv e collegando un aspetto alla voce della tabella utilizzando il tipo di aspetto.

Per chiarire il significato della colonna gmv in retail_data.transactions, collegala al termine Gross Merchandise Value.

  1. Nella console Google Cloud , vai alla pagina Ricerca di Knowledge Catalog.

    Vai alla Ricerca

  2. Fai clic su Filtri per aprire il riquadro Filtri.

  3. In Ambito, seleziona Progetto corrente.

  4. Cerca retail_data.transactions e fai clic sulla tabella delle transazioni restituite.

  5. Fai clic sulla scheda Schema.

  6. Seleziona la casella di controllo accanto alla colonna gmv e fai clic su Aggiungi termine aziendale.

  7. Seleziona Gross Merchandise Value.

Allegare un aspetto alla voce della tabella

Oltre a collegare i termini aziendali alle colonne, puoi allegare un aspetto a una voce della tabella per acquisire metadati a livello di tabella, come la proprietà e la sensibilità dei dati.

Un aspetto è un'istanza di un tipo di aspetto, con valori specifici per i campi dei metadati. Quando colleghi un aspetto a una voce, Knowledge Catalog controlla la coerenza delle informazioni fornite con lo schema definito nel tipo di aspetto.

Per definire la proprietà e la sensibilità della tabella retail_data.transactions, collega l'aspetto Data Asset Context:

  1. Nella scheda Dettagli della pagina di inserimento di retail_data.transactions, fai clic su Aggiungi accanto ad Aspetti facoltativi.
  2. Seleziona Data Asset Context dall'elenco.

  3. Inserisci i valori nei campi:

    • Data Steward: finance-team@example.com
    • Sensibilità dei dati:seleziona Interna.
    • Data dell'ultima revisione:seleziona la data di oggi.

  4. Fai clic su Salva.

Arricchendo i dati di esempio delle transazioni di vendita al dettaglio, hai creato una solida base di contesto dei dati in Knowledge Catalog.

Cercare voci utilizzando i metadati arricchiti

Ora puoi utilizzare la ricerca di Knowledge Catalog per trovare voci in base al contesto aziendale che hai configurato. Ad esempio, puoi trovare tutti gli asset con un livello di sensibilità specifico o cercare il termine del glossario per scoprire le tabelle sottostanti.

  1. Nella console Google Cloud , vai alla pagina Ricerca di Knowledge Catalog.

    Vai alla Ricerca

  2. Fai clic su Filtri per aprire il riquadro Filtri.

  3. In Ambito, seleziona Progetto corrente.

  4. Nella barra di ricerca, inserisci Find tables where the Data Asset Context aspect has Internal sensitivity..

  5. Dovresti vedere la tabella retail_data.transactions nell'elenco dei risultati.

  6. Cancella la barra di ricerca e inserisci Find tables with the Gross Merchandise Value term attached..

  7. Dovresti visualizzare di nuovo la tabella retail_data.transactions nei risultati, poiché la colonna gmv è collegata direttamente a questo termine commerciale.

Quando colleghi un agente AI a Knowledge Catalog, questo eredita automaticamente questi metadati arricchiti. Ad esempio, quando chiedi a un agente di recuperare le metriche di vendita interne, legge l'aspetto Sensibilità dei dati (che hai impostato su Interno) e il termine del glossario ricavi lordi di vendita collegato. Questo contesto condiviso aiuta l'agente a verificare le sue origini dati, rispettare le norme di accesso ed evitare allucinazioni.

Esegui la pulizia

Per evitare addebiti, elimina le risorse che hai creato in questo tutorial.

Elimina il set di dati di esempio

Per eliminare il set di dati BigQuery di esempio e tutte le relative tabelle, utilizza il seguente comando. L'operazione è irreversibile.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

Elimina gli artefatti di Knowledge Catalog

  1. Nella console Google Cloud , vai alla scheda Tipi di aspetti nella pagina Tipi di metadati di Knowledge Catalog.

    Vai a Tipi di aspetto

  2. Seleziona il tipo di aspetto Data Asset Context e fai clic su Elimina.

  3. Nella console Google Cloud , vai alla pagina Glossari di Knowledge Catalog.

    Vai a Glossari

  4. Seleziona il termine Gross Merchandise Value e fai clic su Elimina.

  5. Seleziona la categoria Sales Metrics e fai clic su Elimina.

  6. Seleziona Retail Business Glossary e fai clic su Elimina.

Passaggi successivi

Per scoprire di più sulla selezione dei cataloghi e sulla creazione di agenti con Knowledge Catalog, consulta le seguenti risorse: