Gli ambienti di dati aziendali spesso contengono centinaia di set di dati, tabelle e modelli di dati in più sistemi di archiviazione. Per capire chi è il proprietario di ogni set di dati, se contiene informazioni sensibili come informazioni che consentono l'identificazione personale (PII) o se soddisfa gli standard di qualità, di solito è necessario esaminare manualmente le origini dati o rintracciare la documentazione sparsa.
Gli aspetti e i tipi di aspetto in Knowledge Catalog (in precedenza Dataplex Universal Catalog) risolvono questo problema fornendo un modo standardizzato ed estensibile per collegare il contesto aziendale strutturato, le policy di governance e gli attributi operativi direttamente agli asset di dati.
Questo documento descrive i concetti di architettura, le regole di definizione dell'ambito e i limiti di governance per i tipi di aspetti e gli aspetti in Knowledge Catalog. Per collegare aspetti a voci esistenti o creare tipi di aspetti personalizzati, consulta Gestisci gli aspetti e arricchisci i metadati.
Tipi di aspetto
Un tipo di aspetto (AspectType) è un template di schema riutilizzabile che definisce i campi dei metadati, i tipi di dati e le regole di convalida per un aspetto. Prima di poter creare o collegare un aspetto, devi avere un tipo di aspetto che ne definisca lo schema.
Quando crei un tipo di aspetto personalizzato, devi specificare un ID conforme alle linee guida per la denominazione delle risorse di Knowledge Catalog.
Categorie di tipi di aspetto
I tipi di aspetto sono suddivisi in due categorie in base alla proprietà e all'ambito: tipi di aspetto personalizzati e tipi di aspetto di sistema.
Tipi di aspetto personalizzati
I tipi di aspetto personalizzati sono modelli di schema creati e gestiti dalla tua organizzazione. Puoi utilizzarli per acquisire metadati specifici del dominio, come la proprietà dell'attività, i livelli di SLA, le policy sulla conservazione dei dati o le classificazioni di conformità.
I tipi di aspetto personalizzati si applicano alle voci e alle colonne, ma non ai link alle voci. Ciò significa che puoi utilizzare tipi di aspetti personalizzati per definire la tua tassonomia specifica per l'organizzazione per gli asset di dati e i singoli campi dello schema. Poiché i tipi di aspetto personalizzati non si applicano ai link delle voci, non puoi utilizzarli per definire metadati di relazione personalizzati tra le voci. I link di ingresso supportano solo tipi di aspetti di sistema specifici. Puoi definire un tipo di aspetto personalizzato in una località regionale specifica o come risorsa global:
- Tipi di aspetto globali: vengono replicati in tutte le regioni Google Cloud e possono essere collegati alle voci che si trovano in qualsiasi regione. La definizione di un tipo di aspetto globale ti consente di applicare un unico schema standardizzato a tutto il tuo patrimonio distribuito senza gestire i duplicati. Tuttavia, poiché le definizioni degli schemi vengono replicate a livello globale, scegli un tipo di aspetto regionale se i requisiti delle norme di conformità o di residenza dei dati della tua organizzazione richiedono che le definizioni dei metadati rimangano rigorosamente confinate entro un confine geografico specifico.
- Tipi di aspetto regionali: archiviati in una regione specifica, ad esempio
us-central1oeurope-west1, e possono essere collegati solo alle voci che si trovano nella stessa regione. Scegli un tipo di aspetto regionale per rispettare i requisiti di sovranità dei dati o quando le strutture dei metadati sono uniche per un workload regionale. Se hai bisogno della stessa struttura di metadati in più regioni isolate, devi creare e gestire definizioni di tipi di aspetti separate in ogni regione di destinazione.
Per saperne di più sull'ambito delle risorse, consulta Vincoli di progetto e località.
Tipi di aspetto del sistema
I tipi di aspetti di sistema sono modelli predefiniti forniti e gestiti da Google Cloud . I tipi di aspetto di sistema sono sempre globali e vengono archiviati in un progetto gestito da Google con il numero di progetto 655216118709 e l'alias dataplex-types. Ad esempio:
projects/655216118709/locations/global/aspectTypes/schema
I tipi di aspetti di sistema rientrano in due gruppi funzionali:
- Tipi di aspetti di sistema riutilizzabili: modelli proprietari che puoi allegare a voci o colonne per registrare metadati standardizzati, come definizioni di schemi, profilazione automatica dei dati o scorecard della qualità dei dati.
- Tipi di aspetti di sistema limitati: gestiti automaticamente dai servizi Google Cloud per rappresentare gli attributi dell'infrastruttura sottostante, come i layout delle tabelle BigQuery o le configurazioni dei bucket Cloud Storage. Puoi visualizzare gli aspetti dei tipi con limitazioni, ma non puoi crearli, modificarli o eliminarli manualmente.
Ogni tipo di aspetto del sistema ha le proprie autorizzazioni IAM. Per saperne di più, consulta Autorizzazioni IAM per tipi di aspetto, tipi di voci e tipi di link di voci di sistema.
La tabella seguente elenca i tipi di aspetti di sistema forniti da Knowledge Catalog:
| Categoria | Descrizione | Tipi di aspetto forniti da Knowledge Catalog |
|---|---|---|
| Tipo di aspetto di sistema riutilizzabile | Modelli predefiniti che puoi allegare a voci, colonne o link alle voci. |
|
| Tipo di aspetto di sistema limitato | Modelli di infrastruttura gestiti automaticamente dai servizi Google Cloud . Gli aspetti sono di sola lettura. |
Inclusi a titolo esemplificativo:
|
Tipi di aspetti personalizzati e Gemini in BigQuery
Gemini in BigQuery basa la generazione di SQL e il ragionamento sui dati su definizioni di schema standard, vincoli di tabella e campi di descrizione di tabelle o colonne native. I tipi di aspetto personalizzati definiti dall'utente in Knowledge Catalog vengono archiviati nel piano del catalogo per la governance, la ricerca e il recupero delle API, ma non vengono inseriti dinamicamente nella pipeline di recupero dei prompt contestuali di Gemini.
Ciò significa che le funzionalità di AI generativa in BigQuery non possono leggere automaticamente i metadati archiviati nei campi degli aspetti personalizzati durante la generazione di query SQL o la risposta a domande sui tuoi dati.
Best practice consigliata
Per garantire che i modelli di AI generativa in BigQuery incorporino il contesto aziendale nelle query generate, devi compilare le descrizioni delle tabelle native e delle colonne in BigQuery insieme agli aspetti del catalogo personalizzati. Questo duplice approccio contribuisce a garantire che gli assistenti AI operativi recuperino il contesto della tabella in modo interattivo, mentre le pipeline di governance del catalogo applicano le policy aziendali sui metadati.
Aspetti
Un aspetto (Aspect) è un'istanza concreta di un tipo di aspetto collegato a una voce, una colonna o una relazione specifica, contenente i valori dei metadati effettivi. Gli aspetti sono incapsulati direttamente all'interno delle risorse padre, il che ti consente di eseguire operazioni di lettura e scrittura atomiche insieme agli aggiornamenti delle voci. Ciò significa che puoi recuperare o aggiornare una voce e tutti i relativi metadati associati in una singola chiamata API, evitando problemi di coerenza tra più chiamate.
Posizionamento degli aspetti e livelli target
Puoi collegare gli aspetti a tre diversi livelli di destinazione all'interno di Knowledge Catalog:
- Aspetti a livello di voce: descrivono l'asset di dati nel suo complesso. Utilizza gli aspetti a livello di voce per la proprietà a livello di asset (
contacts), i riepiloghi esecutivi (overview), le metriche di utilizzo del set di dati (usage) e i punteggi di qualità aggregati (data-quality-scorecard). - Aspetti a livello di colonna (percorsi dello schema): descrivono singole colonne o campi nidificati all'interno di una tabella strutturata. Quando fai riferimento a una colonna, collega l'aspetto utilizzando la notazione del percorso dello schema
@Schema.<column_name>(ad esempio@Schema.email_addresso@Schema.billing_address.postal_code). Utilizza gli aspetti a livello di colonna per la classificazione delle PII, le regole di qualità dei dati a livello di colonna e i tag semantici. - Aspetti a livello di link di voce: descrivono la relazione tra due voci collegate. Puoi allegare aspetti ai link di ingresso direzionali o non direzionali (ad eccezione dei link
schema-join) per registrare i metadati delle relazioni. Utilizza gli aspetti a livello di link di entrata per i punteggi di affidabilità di join, le regole di trasformazione o le note sulla derivazione della mappatura.
La seguente tabella riassume il posizionamento degli aspetti supportati:
| Livello target | Risorsa di destinazione | Sintassi dell'identificatore chiave | Tipi di aspetto comuni |
|---|---|---|---|
| Entry level | Asset di dati (tabella, modello, set di file) | <aspect_type_id> |
contacts, overview, data-profile, SLA personalizzati |
| Livello colonna | Campo o colonna all'interno di uno schema di voce | <aspect_type_id>@Schema.<column_name> |
Classificazione delle PII, regole di mascheramento delle colonne, punteggi di convalida dei campi |
| Livello di link di accesso | Relazione semantica tra le voci | <aspect_type_id> |
Affidabilità della relazione, criteri di join, derivazione della mappatura |
Categorie di aspetti
A seconda del EntryType di governance, gli aspetti collegati a una voce sono classificati come obbligatori o facoltativi:
- Aspetti obbligatori: definiti come obbligatori dal
EntryTypedella voce. Gli aspetti obbligatori devono essere compilati al momento della creazione della voce e non possono essere eliminati finché la voce esiste. Per le voci di sistema (come le tabelle BigQuery), gli aspetti obbligatori comeSchemavengono compilati e sincronizzati automaticamente da Google Cloud. - Aspetti facoltativi: metadati supplementari allegati da data stewardship, pipeline automatizzate o agenti AI per arricchire una voce oltre i requisiti del modello di base. Gli aspetti facoltativi possono essere aggiunti, aggiornati o rimossi in qualsiasi momento senza influire sul ciclo di vita della voce.
Tipi di aspetti di sistema specializzati
Knowledge Catalog fornisce tipi di aspetti di sistema riutilizzabili specializzati che registrano i risultati della profilazione dei dati, della qualità dei dati e dell'estrazione delle relazioni:
- Scorecard della qualità dei dati (
data-quality-scorecard): registra i punteggi complessivi della qualità dei dati, lo stato della valutazione e i punteggi delle dimensioni per colonna generati dalle scansioni della qualità dei dati di Dataplex. - Regole dei dati (
data-rules) e modelli di regole (data-quality-rule-template): archivia e gestisci regole e modelli di convalida dei dati riutilizzabili che possono essere applicati a più set di dati. - Profilo dati (
data-profile): memorizza metriche statistiche sui dati della tabella, come percentuali di valori nulli, valori distinti e frequenze di distribuzione. - Profilo grafico (
graph-profile): acquisisce entità estratte dall'AI, archi di relazione e Knowledge Graph estratti da documenti non strutturati.
Vincoli di definizione dell'ambito di progetto e località
Per mantenere i confini della governance dei dati e prevenire dipendenze accidentali dei metadati tra regioni, Knowledge Catalog applica i seguenti vincoli di ambito:
| Risorsa | Regola per le località | Regola del progetto |
|---|---|---|
| Entries | La località della voce deve corrispondere a quella del relativo EntryType oppure il EntryType deve essere global. |
Può fare riferimento a tipi di voci globali o dello stesso progetto. |
| Aspetti delle voci | Il AspectType dell'aspetto deve trovarsi nella stessa località della voce oppure il AspectType deve essere global. |
Può fare riferimento a tipi di aspetti di sistema globali o a tipi di aspetti personalizzati dello stesso progetto. |
| Link di accesso | La località del link di ingresso deve corrispondere al relativo EntryLinkType oppure
il EntryLinkType deve essere global. |
Può collegare voci che si trovano in progetti diversi all'interno della stessa organizzazione. |
| Tipi di voci | Composto da tipi di aspetto archiviati nella stessa posizione del tipo di voce o da tipi di aspetto global. |
Se un tipo di voce fa riferimento a tipi di aspetto personalizzato, questi devono trovarsi nello stesso progetto e nella stessa località. |
Passaggi successivi
Gestisci gli aspetti e arricchisci i metadati
Collega gli aspetti a voci, colonne e link alle voci e gestisci i tipi di aspetti personalizzati utilizzando la console, gcloud CLI o le API.
Informazioni sui metadati in Knowledge Catalog
Esplora il metamodello unificato, inclusi gruppi di voci, voci, tipi di aspetti e grafici di contesto attivi.
Aggiungi metadati a una tabella
Segui un tutorial passo passo per scoprire gli asset e collegare i metadati degli aspetti personalizzati a una tabella BigQuery.
Cerca e scopri gli asset
Trova risorse in Google Cloud e origini personalizzate utilizzando predicati di ricerca basati sugli aspetti.