Introduzione alla trasformazione dei dati

BigQuery ti consente di pulire, arricchire e aggregare i dati non elaborati direttamente all'interno del tuo data warehouse per preparare i set di dati per l'analisi e le applicazioni downstream. A seconda delle tue esigenze di latenza e flusso di lavoro, puoi eseguire aggiornamenti SQL ad hoc, memorizzare nella cache le visualizzazioni incrementali, elaborare stream in tempo reale o pianificare pipeline automatizzate. Per una panoramica end-to-end dei flussi di lavoro di integrazione dei dati, consulta Introduzione al caricamento, alla trasformazione e all'esportazione dei dati.

Metodi di trasformazione dei dati

Puoi trasformare i dati in BigQuery nei seguenti modi:

  • Utilizza il Data Manipulation Language (DML) per trasformare i dati nelle tabelle BigQuery.
  • Utilizza le viste materializzate per memorizzare automaticamente nella cache i risultati di una query per migliorare le prestazioni e l'efficienza.
  • Utilizza le query continue per analizzare i dati in entrata in tempo reale e inserire continuamente le righe di output in una tabella BigQuery o esportarle in Pub/Sub o Bigtable.
  • Utilizza le pipeline BigQuery o Dataform per sviluppare, testare, controllare le versioni e pianificare le pipeline in BigQuery.
  • Utilizza le preparazioni dei dati con suggerimenti di trasformazione generati dall'AI e sensibili al contesto per pulire i dati per l'analisi. Le preparazioni dei dati sono basate sull'API Dataform.

La tabella seguente mostra le diverse caratteristiche di ciascun metodo di trasformazione.

Metodo di trasformazione Target di trasformazione Metodo di definizione Frequenza di trasformazione
Data Manipulation Language (DML) Tabella (in posizione) SQL DML Avviato dall'utente o pianificato
Viste materializzate Vista materializzata Query SQL Aggiornamento automatico o manuale
Query continue Tabella, Argomento Pub/Sub, Tabella Bigtable Query SQL con EXPORT DATA Continua
Dataform Tabella Dataform core (SQLX) Pianificata (pipeline)
Pipeline BigQuery Tabella Pipeline BigQuery Pianificata (pipeline)
Preparazione dei dati Tabella Editor visivo Pianificato

Puoi anche esaminare la cronologia delle modifiche di una tabella BigQuery per esaminare le trasformazioni apportate a una tabella in un intervallo di tempo specificato.

Trasforma i dati con DML

Puoi utilizzare il Data Manipulation Language (DML) per trasformare i dati nelle tabelle BigQuery. Le istruzioni DML sono query GoogleSQL che manipolano i dati delle tabelle esistenti per aggiungere o eliminare righe, modificare i dati nelle righe esistenti o unire i dati con i valori di un'altra tabella. Le trasformazioni DML sono supportate anche nelle tabelle partizionate.

Puoi eseguire più istruzioni DML contemporaneamente, in modo che BigQuery metta in coda diverse istruzioni DML che trasformano i dati una dopo l'altra. BigQuery gestisce il modo in cui vengono eseguite le istruzioni DML simultanee, in base al tipo di trasformazione.

Trasforma i dati con le viste materializzate

Le viste materializzate sono viste precalcolate che memorizzano nella cache i risultati di una query SQL periodicamente per migliorare le prestazioni e l'efficienza. BigQuery sfrutta i risultati precalcolati dalle viste materializzate e, quando possibile, legge solo le modifiche dalle tabelle di base per calcolare i risultati aggiornati.

Le viste materializzate vengono precalcolate in background quando le tabelle di base cambiano. Le modifiche incrementali ai dati delle tabelle di base vengono aggiunte automaticamente alle viste materializzate, senza che sia necessario alcun intervento da parte dell'utente.

Trasforma i dati con query continue

Le query continue sono istruzioni SQL che vengono eseguite in modo continuo. Le query continue consentono di analizzare i dati in entrata in BigQuery in tempo reale. Puoi inserire le righe di output prodotte da una query continua in una tabella BigQuery o esportarle in Pub/Sub o Bigtable.

Trasforma i dati con Dataform

Dataform ti consente di gestire la trasformazione dei dati nel processo di estrazione, caricamento e trasformazione (ELT) per l'integrazione dei dati. Dopo aver estratto i dati non elaborati dai sistemi di origine e averli caricati in BigQuery, puoi utilizzare Dataform per trasformarli in una suite di tabelle organizzata, testata e documentata. Mentre in DML adotti un approccio imperativo indicando a BigQuery esattamente come trasformare i dati, in Dataform scrivi istruzioni dichiarative in cui Dataform determina la trasformazione necessaria per raggiungere lo stato desiderato.

In Dataform, puoi sviluppare, testare e controllare la versione dei workflow SQL per la trasformazione dei dati dalle dichiarazioni delle origini dati alle tabelle, alle viste o alle viste materializzate di output. Puoi sviluppare workflow SQL con Dataform Core o JavaScript puro. Dataform core è un meta-linguaggio open source che estende SQL con SQLX e JavaScript. Puoi utilizzare Dataform Core per gestire le dipendenze, configurare test automatici della qualità dei dati e documentare le descrizioni di tabelle o colonne all'interno del codice.

Dataform archivia il codice del workflow SQL nei repository e utilizza Git per monitorare le modifiche ai file. Le aree di lavoro di sviluppo in Dataform ti consentono di lavorare sui contenuti del repository senza influire sul lavoro di altri utenti che lavorano nello stesso repository. Puoi connettere i repository Dataform a provider Git di terze parti, tra cui Azure DevOps Services, Bitbucket, GitHub e GitLab.

Puoi eseguire o pianificare workflow SQL con le configurazioni delle release e dei workflow di Dataform. In alternativa, puoi pianificare le esecuzioni con Managed Service for Apache Airflow o con Workflows e Cloud Scheduler. Durante l'esecuzione, Dataform esegue query SQL in BigQuery in ordine di dipendenze degli oggetti nel workflow SQL. Dopo l'esecuzione, puoi utilizzare le tabelle e le viste definite per l'analisi in BigQuery.

Per scoprire di più sulla creazione di workflow SQL di trasformazione dei dati in Dataform, consulta la panoramica di Dataform e le funzionalità di Dataform.

Trasforma i dati con le pipeline di BigQuery

Le pipeline di BigQuery sono basate su Dataform e ti consentono di creare e gestire la trasformazione dei dati nei processi di estrazione, caricamento, trasformazione (ELT) o estrazione, trasformazione, caricamento (ETL).

Puoi creare e gestire le pipeline di BigQuery in modo visivo in BigQuery Studio.

Per scoprire di più sulla creazione di pipeline BigQuery, consulta Crea pipeline.

Prepara i dati in BigQuery

Per ridurre il lavoro di preparazione dei dati, BigQuery ti consente di pulirli con suggerimenti di trasformazione generati da Gemini. La preparazione dei dati in BigQuery offre la seguente assistenza:

  • Applicazione di trasformazioni e regole sulla qualità dei dati
  • Standardizzazione e arricchimento dei dati
  • Automazione della mappatura dello schema

Puoi convalidare i risultati in un'anteprima dei dati prima di eseguire le modifiche su tutti i dati.

Per saperne di più, consulta la panoramica della preparazione dei dati di BigQuery.

Passaggi successivi