In un mesh di dati, una piattaforma di dati self-service consente agli utenti di generare valore dai dati consentendo loro di creare, condividere e utilizzare autonomamente i prodotti di dati. Per sfruttare appieno questi vantaggi, ti consigliamo di utilizzare una piattaforma dati self-service che offra le funzionalità descritte in questo documento.
Questo documento fa parte di una serie che descrive come implementare un mesh di dati su Google Cloud. Si presume che tu abbia letto e abbia familiarità con i concetti descritti in Crea un mesh di dati moderno e distribuito con Google Cloud e Architettura e funzioni in un mesh di dati.
La serie è composta dalle seguenti parti:
- Architettura e funzioni in un mesh di dati
- Progetta una piattaforma di dati self-service per un mesh di dati (questo documento)
- Crea prodotti di dati in un mesh di dati
- Scopri e utilizza i prodotti di dati in un mesh di dati
I team della piattaforma dati in genere creano piattaforme dati self-service centrali, come descritto in questo documento. Questo team crea le soluzioni e i componenti che i team di dominio (sia i produttori che i consumatori di dati) possono utilizzare per creare e utilizzare i prodotti di dati. I team di dominio rappresentano le parti funzionali di un mesh di dati. Creando questi componenti, il team della piattaforma dati consente un'esperienza di sviluppo fluida e riduce la complessità della creazione, del deployment e della manutenzione di prodotti di dati sicuri e interoperabili.
In definitiva, il team della piattaforma di dati dovrebbe consentire ai team di dominio di muoversi più velocemente. Aiutano ad aumentare l'efficienza dei team di dominio fornendo loro un insieme limitato di strumenti che soddisfano le loro esigenze. Fornendo questi strumenti, il team della piattaforma di dati solleva il team di dominio dall'onere di creare e reperire questi strumenti in autonomia. Le scelte degli strumenti devono essere personalizzabili in base alle diverse esigenze e non devono imporre un modo di lavorare rigido ai team del dominio di dati.
Il team della piattaforma dati non deve concentrarsi sulla creazione di soluzioni personalizzate per gli orchestratori delle pipeline di dati o per i sistemi di integrazione continua e deployment continuo (CI/CD). Soluzioni come i sistemi CI/CD sono facilmente disponibili come servizi cloud gestiti, ad esempio Cloud Build. L'utilizzo di servizi cloud gestiti può ridurre l'overhead operativo per il team della piattaforma di dati e consentirgli di concentrarsi sulle esigenze specifiche dei team del dominio di dati in qualità di utenti della piattaforma. Con un overhead operativo ridotto, il team della piattaforma dati può dedicare più tempo alle esigenze specifiche dei team dei domini di dati.
Architettura
Il seguente diagramma illustra i componenti dell'architettura di una piattaforma di dati self-service. Il diagramma mostra anche come questi componenti possono supportare i team durante lo sviluppo e l'utilizzo dei prodotti dati nel mesh di dati.
Come mostrato nel diagramma precedente, la piattaforma dati self-service fornisce quanto segue:
Soluzioni di piattaforma: queste soluzioni sono costituite da componenti componibili per il provisioning di progetti e risorse Google Cloud , che gli utenti selezionano e assemblano in diverse combinazioni per soddisfare i loro requisiti specifici. Anziché interagire direttamente con i componenti, gli utenti della piattaforma possono interagire con le soluzioni della piattaforma per aiutarli a raggiungere un obiettivo specifico. I team dei domini di dati devono progettare soluzioni di piattaforma per risolvere i pain point e le aree di attrito comuni che causano rallentamenti nello sviluppo e nell'utilizzo dei prodotti di dati. Ad esempio, i team dei domini di dati che eseguono l'onboarding nel mesh di dati possono utilizzare un modello di infrastructure as code (IaC). L'utilizzo di modelli IaC consente di creare rapidamente un insieme di progettiGoogle Cloud con autorizzazioni, networking, policy di sicurezza e API Google Cloudpertinenti di Identity and Access Management (IAM) standard abilitati per lo sviluppo di prodotti di dati. Ti consigliamo di accompagnare ogni soluzione con una documentazione, ad esempio una guida "Come iniziare" ed esempi di codice. Le soluzioni della piattaforma dati e i relativi componenti devono essere sicuri e conformi per impostazione predefinita.
Servizi comuni: questi servizi forniscono rilevabilità, gestione, condivisione e osservabilità dei prodotti di dati. Questi servizi facilitano la fiducia dei consumatori di dati nei prodotti di dati e sono un modo efficace per i produttori di dati di avvisare i consumatori di dati di problemi con i loro prodotti di dati.
Le soluzioni della piattaforma dati e i servizi comuni potrebbero includere:
- Modelli IaC per configurare ambienti di lavoro di sviluppo di prodotti di dati di base, che includono quanto segue:
- IAM
- Logging e monitoraggio
- Networking
- Sistemi di protezione della sicurezza e della conformità
- Tagging delle risorse per l'attribuzione della fatturazione
- Archiviazione, trasformazione e pubblicazione dei prodotti di dati
- Registrazione, catalogazione e tagging dei metadati dei prodotti di dati
- Modelli IaC che seguono le best practice e i guardrail di sicurezza dell'organizzazione che possono essere utilizzati per eseguire il deployment delle risorse Google Cloud negli spazi di lavoro di sviluppo dei prodotti di dati esistenti.
- Modelli di applicazioni e pipeline di dati che possono essere utilizzati per avviare nuovi progetti o come riferimento per progetti esistenti. Ecco alcuni esempi di questi modelli:
- Utilizzo di librerie e framework comuni
- Integrazione con strumenti di logging, monitoraggio e osservabilità della piattaforma
- Strumenti di creazione e test
- Gestione della configurazione
- Pipeline di pacchettizzazione e CI/CD per il deployment
- Autenticazione, deployment e gestione delle credenziali
- Servizi comuni per fornire osservabilità e governance dei prodotti di dati, che possono includere:
- Controlli di uptime per mostrare lo stato complessivo dei prodotti di dati.
- Metriche personalizzate per fornire indicatori utili sui prodotti di dati.
- Supporto operativo da parte del team centrale, in modo che i team dei consumer di dati vengano avvisati delle modifiche ai prodotti di dati che utilizzano.
- Prospetti dei prodotti per mostrare il rendimento dei prodotti di dati.
- Un catalogo di metadati per l'individuazione dei prodotti di dati.
- Un insieme di policy di calcolo definite centralmente che possono essere applicate a livello globale nel mesh di dati.
- Un marketplace di dati per facilitare la condivisione dei dati tra i team di dominio.
Crea componenti e soluzioni della piattaforma utilizzando i modelli IaC illustra i vantaggi dei modelli IaC per esporre ed eseguire il deployment dei prodotti di dati. Fornire servizi comuni illustra perché è utile fornire ai team di dominio componenti di infrastruttura comuni che sono stati creati e sono gestiti dal team della piattaforma di dati.
Crea componenti e soluzioni della piattaforma utilizzando i modelli IaC
L'obiettivo dei team della piattaforma dati è configurare piattaforme dati self-service per ottenere più valore dai dati. Per creare queste piattaforme, creano e forniscono ai team di dominio modelli di infrastruttura verificati, sicuri e self-service. I team di dominio utilizzano questi modelli per eseguire il deployment dei propri ambienti di sviluppo e consumo dei dati. I modelli IaC aiutano i team della piattaforma dati a raggiungere questo obiettivo e consentono la scalabilità. L'utilizzo di modelli IaC verificati e attendibili semplifica il processo di deployment delle risorse per i team di dominio, consentendo loro di riutilizzare le pipeline CI/CD esistenti. Questo approccio consente ai team di dominio di iniziare rapidamente e di diventare produttivi all'interno del mesh di dati.
I template IaC possono essere creati utilizzando uno strumento IaC. Sebbene esistano diversi strumenti IaC, tra cui Cloud Config Connector, Pulumi, Chef e Ansible, questo documento fornisce esempi di strumenti IaC basati su Terraform. Terraform è uno strumento IaC open source che consente al team della piattaforma dati di creare in modo efficiente componenti e soluzioni di piattaforma componibili per le risorseGoogle Cloud . Utilizzando Terraform, il team della piattaforma dati scrive il codice che specifica lo stato finale scelto e lascia che lo strumento capisca come raggiungerlo. Questo approccio dichiarativo consente al team della piattaforma di dati di trattare le risorse dell'infrastruttura come artefatti immutabili per il deployment in tutti gli ambienti. Inoltre, aiuta a ridurre il rischio di incoerenze tra le risorse di cui è stato eseguito il deployment e il codice dichiarato nel controllo del codice sorgente (noto come deviazione della configurazione). La deviazione della configurazione causata da modifiche ad hoc e manuali all'infrastruttura ostacola il deployment sicuro e ripetibile dei componenti IaC negli ambienti di produzione.
I modelli IaC comuni per i componenti della piattaforma componibile includono l'utilizzo di moduli Terraform per il deployment di risorse come un set di dati BigQuery, un bucket Cloud Storage o un database Cloud SQL. I moduli Terraform possono essere combinati in soluzioni end-to-end per il deployment di progetti Google Cloud completi, incluse le risorse pertinenti di cui è stato eseguito il deployment utilizzando i moduli componibili. Puoi trovare esempi di moduli Terraform nei progetti base Terraform per Google Cloud.
Ogni modulo Terraform deve soddisfare per impostazione predefinita le misure di sicurezza e le policy di conformità utilizzate dalla tua organizzazione. Queste misure di protezione e policy possono anche essere espresse come codice e automatizzate utilizzando strumenti di verifica della conformità automatizzati come lo strumento di convalida delle policy di Google Cloud.
La tua organizzazione deve testare continuamente i moduli Terraform forniti dalla piattaforma, utilizzando le stesse misure di sicurezza di conformità automatizzate che utilizza per promuovere le modifiche in produzione.
Per rendere i componenti e le soluzioni IaC rilevabili e utilizzabili dai team di dominio con un'esperienza minima con Terraform, ti consigliamo di utilizzare servizi come catalogo dei servizi. Gli utenti con requisiti di personalizzazione significativi devono poter creare le proprie soluzioni di deployment dagli stessi template Terraform componibili utilizzati dalle soluzioni esistenti.
Quando utilizzi Terraform, ti consigliamo di seguire le best practice Google Cloud descritte in Best practice per l'utilizzo di Terraform.
Per illustrare come utilizzare Terraform per creare componenti della piattaforma, le sezioni seguenti discutono esempi di come utilizzare Terraform per esporre interfacce di consumo e per utilizzare un prodotto di dati.
Esporre un'interfaccia di consumo
Un'interfaccia di consumo per un prodotto dati è un insieme di garanzie sulla qualità dei dati e sui parametri operativi forniti dal team del dominio dati per consentire ad altri team di scoprire e utilizzare i propri prodotti dati. Ogni interfaccia di consumo include anche un modello di assistenza del prodotto e la documentazione del prodotto. Un prodotto di dati può avere diversi tipi di interfacce di consumo, come API o stream, come descritto in Crea prodotti di dati in un mesh di dati. L'interfaccia di consumo più comune potrebbe essere un set di dati, una vista o una funzione autorizzati di BigQuery. Questa interfaccia espone una tabella virtuale di sola lettura, espressa come query nel mesh di dati. L'interfaccia non concede le autorizzazioni in lettura per accedere direttamente ai dati sottostanti.
Google fornisce un esempio di modulo Terraform per la creazione di viste autorizzate senza concedere ai team le autorizzazioni per i set di dati autorizzati sottostanti. Il seguente codice di questo modulo Terraform concede queste autorizzazioni IAM alla vista autorizzata dataset_id:
module "add_authorization" {
source = "terraform-google-modules/bigquery/google//modules/authorization"
version = "~> 4.1"
dataset_id = module.dataset.bigquery_dataset.dataset_id
project_id = module.dataset.bigquery_dataset.project
roles = [
{
role = "roles/bigquery.dataEditor"
group_by_email = "ops@mycompany.com"
}
]
authorized_views = [
{
project_id = "view_project"
dataset_id = "view_dataset"
table_id = "view_id"
}
]
authorized_datasets = [
{
project_id = "auth_dataset_project"
dataset_id = "auth_dataset"
}
]
}
Se devi concedere agli utenti l'accesso a più visualizzazioni, concedere l'accesso a ogni visualizzazione autorizzata può richiedere molto tempo e rendere più difficile la manutenzione. Anziché creare più viste autorizzate, puoi utilizzare un set di dati autorizzato per autorizzare automaticamente tutte le viste create nel set di dati autorizzato.
Utilizza un prodotto di dati
Per la maggior parte dei casi d'uso di analisi, i pattern di consumo sono determinati dall'applicazione in cui vengono utilizzati i dati. L'utilizzo principale di un ambiente di consumo fornito centralmente è l'esplorazione dei dati prima che vengano utilizzati nell'applicazione di consumo. Come descritto in Scopri e utilizza i prodotti in un mesh di dati, SQL è il metodo più comunemente utilizzato per eseguire query sui prodotti di dati. Per questo motivo, la piattaforma dati deve fornire ai consumer di dati un'applicazione SQL per l'esplorazione dei dati.
A seconda del caso d'uso di analisi, potresti essere in grado di utilizzare Terraform per eseguire il deployment dell'ambiente di consumo per i consumer di dati. Ad esempio, la data science è un caso d'uso comune per i consumer di dati. Puoi utilizzare Terraform per eseguire il deployment dei notebook gestiti dall'utente di Gemini Enterprise Agent Platform da utilizzare come ambiente di sviluppo di data science. Dai notebook di data science, i consumer di dati possono utilizzare le proprie credenziali per accedere al mesh di dati per esplorare i dati a cui hanno accesso e sviluppare modelli ML basati su questi dati.
Per scoprire come utilizzare Terraform per eseguire il deployment e contribuire a proteggere un ambiente di notebook su Google Cloud, consulta Crea ed esegui il deployment di modelli di AI generativa e machine learning in un'azienda.
Fornire servizi comuni
Oltre ai componenti e alle soluzioni IaC self-service, il team della piattaforma dati potrebbe anche assumersi la responsabilità della creazione e della gestione dei servizi della piattaforma condivisi comuni utilizzati da più team di dominio dei dati. Esempi comuni di servizi di piattaforma condivisi includono software di terze parti in hosting autonomo, come strumenti di visualizzazione di business intelligence o un cluster Kafka. In Google Cloud, il team della piattaforma dati potrebbe scegliere di gestire risorse come Knowledge Catalog e i sink di Cloud Logging per conto dei team dei domini di dati. La gestione delle risorse per i team del dominio dati consente al team della piattaforma di dati di facilitare la gestione e il controllo centralizzati delle policy in tutta l'organizzazione.
Le sezioni seguenti mostrano come utilizzare Knowledge Catalog per la gestione e la governance centralizzate all'interno di un mesh di dati su Google Cloude l'implementazione delle funzionalità di osservabilità dei dati in un mesh di dati.
Knowledge Catalog per la governance dei dati
Knowledge Catalog fornisce una piattaforma di gestione dei dati che ti aiuta a creare domini di dati indipendenti all'interno di un mesh di dati che si estende all'intera organizzazione. Knowledge Catalog consente di mantenere controlli centralizzati per la governance e il monitoraggio dei dati nei vari domini.
Con Knowledge Catalog, un'organizzazione può organizzare logicamente i propri dati (origini dati supportate) e gli artefatti correlati, come codice, notebook e log, in un lake di Knowledge Catalog che rappresenta un dominio di dati. Nel seguente diagramma, un dominio di vendita utilizza Knowledge Catalog per organizzare i propri asset, tra cui metriche e log di qualità dei dati, in zone di Knowledge Catalog.

Come mostrato nel diagramma precedente, Knowledge Catalog può essere utilizzato per gestire i dati di dominio nei seguenti asset:
- Knowledge Catalog consente ai team dei domini di dati di gestire in modo coerente i propri asset di dati in un gruppo logico chiamato lake Knowledge Catalog. Il team del dominio di dati può organizzare i propri asset Knowledge Catalog all'interno dello stesso lake Knowledge Catalog senza spostare fisicamente i dati o archiviarli in un unico sistema di archiviazione. Gli asset di Knowledge Catalog possono fare riferimento a bucket Cloud Storage e set di dati BigQuery archiviati in più progetti Google Cloud diversi dal progettoGoogle Cloud contenente il lake Knowledge Catalog. Gli asset di Knowledge Catalog possono essere strutturati o non strutturati oppure essere archiviati in un data lake o data warehouse analitico. Nel diagramma sono presenti data lake per il dominio delle vendite, il dominio della catena di fornitura e il dominio dei prodotti.
- Le zone di Knowledge Catalog consentono al team del dominio di dati di organizzare ulteriormente gli asset di dati in sottogruppi più piccoli all'interno dello stesso lake di Knowledge Catalog e di aggiungere strutture che acquisiscono gli aspetti chiave del sottogruppo. Ad esempio, le zone di Knowledge Catalog possono essere utilizzate per raggruppare gli asset di dati associati in un prodotto di dati. Il raggruppamento degli asset di dati in una singola zona di Knowledge Catalog consente ai team dei domini di dati di gestire i criteri di accesso e di governance dei dati in modo coerente in tutta la zona come un singolo prodotto di dati. Nel diagramma sono presenti zone di dati per le vendite offline, le vendite online, i magazzini della catena di fornitura e i prodotti.
I lake e le zone di Knowledge Catalog consentono a un'organizzazione di unificare i dati distribuiti e organizzarli in base al contesto aziendale. Questa disposizione costituisce la base per attività come la gestione dei metadati, la configurazione delle policy di governance e il monitoraggio della qualità dei dati. Queste attività consentono all'organizzazione di gestire i propri dati distribuiti su larga scala, ad esempio in un mesh di dati.
Osservabilità dei dati
Ogni dominio di dati deve implementare i propri meccanismi di monitoraggio e avviso, idealmente utilizzando un approccio standardizzato. Ogni dominio può applicare le pratiche di monitoraggio descritte in Concetti relativi al monitoraggio dei servizi, apportando le modifiche necessarie ai domini di dati. L'osservabilità è un argomento vasto ed esula dall'ambito di questo documento. Questa sezione illustra solo i pattern utili nelle implementazioni di mesh di dati.
Per i prodotti con più consumer di dati, fornire informazioni tempestive a ciascun consumer sullo stato del prodotto può diventare un onere operativo. Le soluzioni di base, come le distribuzioni di email gestite manualmente, sono in genere soggette a errori. Possono essere utili per informare i consumatori di interruzioni pianificate, lanci di prodotti imminenti e ritiri, ma non forniscono una consapevolezza operativa in tempo reale.
I servizi centrali possono svolgere un ruolo importante nel monitoraggio dello stato e della qualità dei prodotti nel mesh di dati. Sebbene non sia un prerequisito per un'implementazione di successo del mesh di dati, l'implementazione di funzionalità di osservabilità può migliorare la soddisfazione dei producer e dei consumer di dati e ridurre i costi operativi e di assistenza complessivi. Il seguente diagramma mostra un'architettura di osservabilità del mesh di dati basata su Cloud Monitoring.
Le sezioni seguenti descrivono i componenti mostrati nel diagramma, che sono i seguenti:
- Controlli di uptime per mostrare lo stato generale dei prodotti di dati.
- Metriche personalizzate per fornire indicatori utili sui prodotti di dati.
- Supporto operativo da parte del team della piattaforma dati centrale per avvisare i consumatori di dati delle modifiche ai prodotti di dati che utilizzano.
- Prospetti e dashboard dei prodotti per mostrare il rendimento dei prodotti di dati.
Controlli di uptime
I prodotti di dati possono creare semplici applicazioni personalizzate che implementano i controlli di uptime. Questi controlli possono fungere da indicatori di alto livello dello stato generale del prodotto. Ad esempio, se il team di prodotto dei dati rileva un improvviso calo della qualità dei dati del suo prodotto, può contrassegnare il prodotto come non integro. I controlli di uptime quasi in tempo reale sono particolarmente importanti per i consumer di dati che hanno prodotti derivati che si basano sulla disponibilità costante dei dati nel prodotto di dati upstream. I producer di dati devono creare i propri controlli di uptime in modo da includere il controllo delle dipendenze upstream, fornendo così ai consumer di dati un quadro accurato dello stato del loro prodotto.
I consumer di dati possono includere i controlli di uptime dei prodotti nella loro elaborazione. Ad esempio, un job Composer che genera un report in base ai dati forniti da un prodotto di dati può, come primo passaggio, verificare se il prodotto è in stato "In esecuzione". Ti consigliamo di fare in modo che l'applicazione di controllo di uptime restituisca un payload strutturato nel corpo del messaggio della risposta HTTP. Questo payload strutturato deve indicare se esiste un problema, la causa principale del problema in un formato leggibile e, se possibile, il tempo stimato per il ripristino del servizio. Questo payload strutturato può anche fornire informazioni più dettagliate sullo stato del prodotto. Ad esempio, può contenere le informazioni sullo stato di ciascuna delle visualizzazioni nel set di dati autorizzato esposto come prodotto.
Metriche personalizzate
I prodotti di dati possono avere varie metriche personalizzate per misurarne l'utilità. I team di producer di dati possono pubblicare queste metriche personalizzate nei progetti Google Cloud specifici del dominio designati. Per creare un'esperienza di monitoraggio unificata per tutti i prodotti di dati, è possibile concedere a un progetto di monitoraggio del mesh di dati centrale l'accesso ai progetti specifici del dominio.
Ogni tipo di interfaccia di consumo dei prodotti di dati ha metriche diverse per misurarne l'utilità. Le metriche possono anche essere specifiche per il dominio aziendale. Ad esempio, le metriche per le tabelle BigQuery esposte tramite viste o tramite l'API Storage Read possono essere le seguenti:
- Il numero di righe.
- Aggiornamento dei dati (espresso come numero di secondi prima del momento della misurazione).
- Il punteggio di qualità dei dati.
- I dati disponibili. Questa metrica può indicare che i dati sono disponibili per le query. Un'alternativa è utilizzare i controlli di uptime menzionati in precedenza in questo documento.
Queste metriche possono essere visualizzate come indicatori del livello del servizio (SLI) per un determinato prodotto.
Per i flussi di dati (implementati come argomenti Pub/Sub), questo elenco può essere costituito dalle metriche Pub/Sub standard, disponibili tramite gli argomenti.
Assistenza operativa da parte del team della piattaforma dati centrale
Il team della piattaforma dati centrale può esporre dashboard personalizzate per mostrare diversi livelli di dettaglio ai consumer di dati. Una semplice dashboard dello stato che elenca i prodotti nel mesh di dati e lo stato di uptime di questi prodotti può aiutare a rispondere a più richieste degli utenti finali.
Il team centrale può anche fungere da hub di distribuzione delle notifiche per informare i consumer di dati su vari eventi nei prodotti di dati che utilizzano. In genere, questo hub viene creato creando policy di avviso. La centralizzazione di questa funzione può ridurre il lavoro che deve essere svolto da ogni team di produttori di dati. La creazione di queste policy non richiede la conoscenza dei domini di dati e dovrebbe contribuire a evitare colli di bottiglia nel consumo dei dati.
Uno stato finale ideale per il monitoraggio del mesh di dati è che il modello di tag del prodotto di dati esponga gli SLI e gli obiettivi del livello di servizio (SLO) supportati dal prodotto quando questo diventa disponibile. Il team centrale può quindi eseguire automaticamente il deployment degli avvisi corrispondenti utilizzando il monitoraggio dei servizi con l'API Monitoring.
Prospetti dei prodotti
Nell'ambito dell'accordo di governance centrale, le quattro funzioni di un mesh di dati possono definire i criteri per creare scorecard per i prodotti di dati. Questi prospetti possono diventare una misurazione oggettiva delle prestazioni dei prodotti di dati.
Molte delle variabili utilizzate per calcolare i prospetti sono la percentuale di tempo in cui i prodotti di dati soddisfano il loro SLO. I criteri utili possono essere la percentuale di uptime, i punteggi medi della qualità dei dati e la percentuale di prodotti con una aggiornamento dei dati che non scende al di sotto di una soglia. Per calcolare queste metriche automaticamente utilizzando Prometheus Query Language (PromQL), dovrebbero essere sufficienti le metriche personalizzate e i risultati dei controlli di uptime del progetto di monitoraggio centrale.
Passaggi successivi
- Scopri di più su BigQuery.
- Scopri di più su Dataplex.
- Per ulteriori architetture di riferimento, diagrammi e best practice, esplora Cloud Architecture Center.