Informazioni sui prodotti di dati

I prodotti di dati in Knowledge Catalog (in precedenza Dataplex Universal Catalog) ti consentono di raggruppare gli asset del catalogo correlati in un'unica unità curata per risolvere problemi aziendali specifici. Puoi quindi aggiungere contesto e contratti per aiutare i consumer di dati a scoprire, valutare e richiedere l'accesso self-service ai dati attendibili.

Funzionalità chiave

I prodotti di dati offrono le seguenti funzionalità principali:

  • Organizza gli asset del catalogo in un'unità logica che risolve un problema aziendale specifico e accelera il time to insight.
  • Distribuisci gli asset di dati con un contesto che include una descrizione, una documentazione e degli aspetti.
  • Stabilisci un rapporto di fiducia con contratti che consentono ai producer di dati di fornire garanzie ai consumer di dati.
  • Fornire un flusso di lavoro self-service per consentire ai consumer di dati di valutare i prodotti di dati e ottenere l'accesso ai dati.

Concetti fondamentali

Questa sezione descrive i concetti e le terminologie chiave relativi ai prodotti di dati.

Prodotto di dati

Un raggruppamento logico e selezionato di asset di dati, pacchettizzato formalmente per essere rilevabile, affidabile e accessibile per risolvere problemi aziendali specifici.

Asset

Un puntatore a una risorsa di dati fisica, ad esempio un set di dati, una tabella o una vista BigQuery. Un prodotto di dati contiene uno o più asset.

Gruppo di accesso

I gruppi di accesso semplificano la gestione delle autorizzazioni per il tuo prodotto di dati. Mappano i ruoli facili da usare (come Reader o Analyst) ai gruppi Google o ai service account sottostanti. Questa astrazione consente ai proprietari dei prodotti di dati di gestire l'accesso a livello concettuale e aiuta i consumatori dei prodotti di dati a richiedere il livello di accesso appropriato.

  • I proprietari dei prodotti di dati configurano i gruppi di accesso e, facoltativamente, possono assegnare un ruolo IAM predefinito, che viene applicato automaticamente a tutti gli asset supportati nel prodotto di dati. Se non viene assegnato un ruolo predefinito, i proprietari possono assegnare ruoli IAM specifici direttamente agli asset.

  • I consumer dei prodotti di dati utilizzano questi gruppi per richiedere l'accesso al prodotto di dati.

Proprietario del prodotto di dati o produttore di dati

La persona o il team responsabile della creazione e della gestione dei prodotti di dati. Ciò include la gestione della qualità, dell'accesso e della documentazione.

Consumer di prodotti di dati

La persona, il team o l'agente AI che utilizza i prodotti di dati per generare insight.

Contratto

Un accordo tra il proprietario del prodotto di dati e i suoi consumer. Questo accordo stabilisce aspettative chiare definendo termini specifici per la modalità di fornitura e utilizzo dei dati, ad esempio la pianificazione dell'aggiornamento e gli standard di qualità.

Caso d'uso di esempio

Immagina un data scientist che analizza un'attività di e-commerce. Il suo obiettivo è trovare il valore medio dell'ordine (AOV) in base alla sorgente di traffico e verificare se esiste una correlazione tra l'età degli utenti e le dimensioni degli ordini. Per farlo, devono combinare i dati di più tabelle, ad esempio order_details, user_traffic e user_demographics.

In una configurazione convenzionale, questo processo crea attrito. Per generare insight, il data scientist deve prima scoprire le tabelle corrette all'interno del vasto panorama di dati dell'organizzazione, quindi contattare ogni proprietario dei dati, giustificare la richiesta di accesso e attendere l'approvazione.

Con i prodotti di dati, i proprietari dei dati possono semplificare questa esperienza raggruppando gli asset pertinenti in un unico prodotto denominato "Dati aziendali di e-commerce". Questo pacchetto include:

  • Asset

    • Tabelle BigQuery order_details e user_traffic (contenenti dati storici sugli ordini e sorgenti di traffico)
    • Vista BigQuery user_demographics (fornisce i dettagli dell'utente con le PII escluse)

  • Gruppi di accesso

    • Gruppi Reader e Writer predefiniti per semplificare le richieste di accesso

  • Contratto

    • Un contratto che definisce la frequenza di aggiornamento dei dati (ad esempio, ogni settimana alle 08:00 PST)

  • Contesto

    • Documentazione con query di esempio e altri dettagli
    • Metadati aggiuntivi per descrivere la sensibilità dei dati

I data scientist possono ora scoprire questo prodotto di dati come un'unica unità logica. In questo modo, possono generare con sicurezza insight per rispondere a domande come "Qual è il valore medio dell'ordine per ogni sorgente di traffico?", rivelando in ultima analisi quali sorgenti generano i clienti con il valore più elevato.

Flusso utente del prodotto di dati

Il ciclo di vita del prodotto dati in Knowledge Catalog prevede due percorsi utente chiave: uno per il proprietario (o produttore) del prodotto dati che crea e gestisce i dati e uno per il consumatore del prodotto dati che li scopre e li utilizza.

Percorso del proprietario del prodotto di dati

Questo percorso si concentra sul packaging, sulla protezione e sulla governance dei prodotti di dati per garantire che siano affidabili e accessibili.

  • Creazione: definisci il prodotto di dati e includi gli asset. Ciò comporta le seguenti azioni:

    • Configura il nome univoco, il progetto, la regione e la descrizione.
    • Aggiungi asset come tabelle, set di dati o viste BigQuery.
    • Configura i gruppi di accesso (ad esempio Analyst o Reader) e mappali ai gruppi Google o ai service account sottostanti per semplificare la gestione delle autorizzazioni.
    • Se vuoi, assegna un ruolo IAM predefinito a un gruppo di accesso per concedere automaticamente le autorizzazioni a tutti gli asset supportati nel prodotto di dati.
    • Assegna i ruoli IAM necessari a questi gruppi di accesso per gli asset specifici.
    • Aggiungi un contratto (un aspetto del sistema) per comunicare formalmente la cadenza, la frequenza e la soglia di aggiornamento dei dati concordate.

    Per saperne di più, consulta Crea prodotti di dati.

  • Gestione: aggiorna il prodotto di dati e assicurati che sia rilevabile. Ciò comporta le seguenti azioni:

    • Aggiorna i dettagli di base, gli asset, le autorizzazioni e gli aspetti supplementari (metadati) e la documentazione in RTF.
    • Concedi ai consumer l'accesso per scoprire e richiedere l'accesso ai prodotti di dati.

    Per saperne di più, consulta Gestisci i prodotti di dati.

Consumer journey del prodotto di dati

Questo percorso si concentra sulla ricerca rapida di dati attendibili e sull'ottenimento delle autorizzazioni necessarie per utilizzarli.

  • Scoperta: trova dati pertinenti e affidabili per un problema aziendale specifico. Ciò comporta le seguenti azioni:

    • Utilizza la ricerca di Knowledge Catalog con parole chiave o linguaggio naturale per trovare il prodotto di dati pacchettizzato.
    • Esamina la panoramica, gli asset, il contratto e altri aspetti del prodotto di dati per determinare la sua idoneità all'uso.

    Per saperne di più, consulta Cerca prodotti di dati.

  • Richiedi l'accesso: chiedi al proprietario del prodotto di dati l'autorizzazione per accedere ai dati.

    Per saperne di più, consulta Richiedi l'accesso ai prodotti di dati.

  • Utilizzo: accedi agli asset sottostanti per generare insight. Ciò comporta la seguente azione:

    • Una volta approvato, potrai accedere al prodotto e ai relativi asset. Ad esempio, se l'asset è una tabella BigQuery, puoi andare a BigQuery Studio ed eseguire query direttamente sui dati.

    • Per le applicazioni e i workflow di sviluppo che operano al di fuori diGoogle Cloud, puoi esporre il prodotto di dati utilizzando un gateway di metadati esterno. Per saperne di più, consulta Utilizza il server MCP remoto di Knowledge Catalog.

    Per saperne di più, consulta Utilizza i prodotti di dati.

Asset supportati

Un prodotto di dati può essere composto da uno o più asset di dati. Sono supportati i seguenti asset di dati:

  • Set di dati di BigQuery
  • Tabelle BigQuery
  • Viste BigQuery
  • Routine BigQuery
  • Modelli BigQuery
  • Tabelle esterne BigQuery
  • Set di dati Gemini Enterprise Agent Platform
  • Modelli di Gemini Enterprise Agent Platform
  • Bucket Cloud Storage
  • Cataloghi del catalogo REST Iceberg
  • Spazi dei nomi del catalogo REST Iceberg
  • Tabelle del catalogo REST Iceberg
  • Dashboard di Looker (Google Cloud core)
  • Elementi della dashboard di Looker (Google Cloud core)
  • Look di Looker (Google Cloud core)
  • Esplorazioni di Looker (Google Cloud core)
  • Progetti LookML di Looker (Google Cloud core)
  • Modelli LookML di Looker (Google Cloud core)
  • Viste LookML di Looker (Google Cloud core)

Limitazioni

  • Località: i prodotti di dati e gli asset sottostanti devono risiedere nella stessa localitàGoogle Cloud .
  • Modelli BigQuery: l'accesso ai modelli BigQuery all'interno di un prodotto di dati viene gestito tramite le condizioni IAM applicate alla policy IAM del set di dati principale. La condivisione dei modelli BigQuery è soggetta alle limitazioni delle condizioni IAM.

  • Asset Looker (Google Cloud core): l'utilizzo degli asset Looker (Google Cloud core) nei prodotti di dati presenta le seguenti limitazioni:

    • I service account non sono supportati: il mirroring di Google Gruppi in Looker (Google Cloud core) supporta solo le identità degli utenti umani. I gruppi di accesso configurati sugli asset di Looker (Google Cloud core) non possono includere un account di servizio come entità.
    • I ruoli IAM del gruppo di accesso predefinito non sono supportati: i ruoli IAM predefiniti assegnati a livello di gruppo di accesso non vengono applicati agli asset di Looker (Google Cloud core) e sono contrassegnati come unsupported. Devi configurare esplicitamente le autorizzazioni del gruppo di accesso su ogni asset di Looker (Google Cloud core).
    • Sincronizzazione manuale delle autorizzazioni all'interno di Looker (Google Cloud core): i nomi dei ruoli configurati su un asset di Looker (Google Cloud core) in un prodotto di dati sono segnaposto informativi per i consumer. I producer di dati devono configurare e gestire manualmente i livelli di accesso alle cartelle e i ruoli di Looker per il gruppo sottoposto a mirroring all'interno dell'istanza di Looker (Google Cloud core).

  • Quote e limiti: per un elenco completo dei limiti di frequenza e delle quote di capacità dell'API, consulta Quote per le richieste API dei prodotti di dati.

  • I bucket di zona non sono supportati.

Passaggi successivi