Introduzione al caricamento, alla trasformazione e all'esportazione dei dati

Questo documento descrive gli approcci di integrazione dei dati per caricare e trasformare i dati in BigQuery utilizzando i processi di estrazione, caricamento e trasformazione (ELT) o di estrazione, trasformazione e caricamento (ETL). Descrive inoltre l'esportazione dei dati da BigQuery per applicare gli insight in altri sistemi, un processo noto come ETL inverso.

Scelta tra ELT ed ETL

È comune trasformare i dati prima o dopo il caricamento in BigQuery. Una decisione fondamentale è se trasformare i dati prima di caricarli in BigQuery (approccio ETL, Extract, Transform, Load) o caricare i dati non elaborati in BigQuery ed eseguire le trasformazioni utilizzando BigQuery (approccio ELT, Extract, Load, Transform).

Il seguente grafico mostra le varie opzioni per l'integrazione dei dati in BigQuery, utilizzando ELT o ETL.

Un albero decisionale dei prodotti utilizzati nei workflow ELT o ETL per l'integrazione dei dati in BigQuery

In generale, consigliamo l'approccio ELT alla maggior parte dei clienti. Il workflow ELT suddivide la complessa integrazione dei dati in due parti gestibili: estrazione e caricamento, quindi trasformazione. Gli utenti possono scegliere tra una serie di metodi di caricamento dei dati adatti alle loro esigenze. Una volta caricati i dati in BigQuery, gli utenti che hanno familiarità con SQL possono sviluppare pipeline di trasformazione con strumenti come Dataform.

Le sezioni seguenti descrivono ogni flusso di lavoro in maggiore dettaglio.

Caricamento e trasformazione dei dati

È comune trasformare i dati prima o dopo il caricamento in BigQuery. I due approcci comuni all'integrazione dei dati, ETL ed ELT, sono descritti nelle sezioni seguenti.

Approccio all'integrazione dei dati ELT

Con l'approccio di estrazione, caricamento e trasformazione (ELT), l'integrazione dei dati viene eseguita in due passaggi distinti:

  • Estrai e carica i dati
  • Trasformare i dati

Ad esempio, puoi estrarre e caricare i dati da un'origine file JSON in una tabella BigQuery. In seguito, puoi utilizzare le pipeline per estrarre e trasformare i campi in tabelle di destinazione.

L'approccio ELT può semplificare il flusso di lavoro di integrazione dei dati nei seguenti modi:

  • Elimina la necessità di altri strumenti di trattamento dati
  • Suddivide il processo di integrazione dei dati, spesso complesso, in due parti gestibili
  • Sfrutta appieno le funzionalità di BigQuery per preparare, trasformare e ottimizzare i dati su larga scala

Estrazione e caricamento dei dati

Nell'approccio di integrazione dei dati ELT, estrai i dati da un'origine dati e li carichi in BigQuery utilizzando uno dei metodi di caricamento o accesso ai dati esterni supportati.

Trasformazione dei dati in BigQuery

Dopo aver caricato i dati in BigQuery, puoi prepararli e trasformarli con i seguenti strumenti:

  • Per creare, testare, documentare e pianificare in modo collaborativo pipeline di trasformazione dei dati SQL avanzate, utilizza Dataform.
  • Per flussi di lavoro di trasformazione dei dati più piccoli che eseguono codice SQL, notebook Python o preparazioni dei dati in base a una pianificazione, utilizza le pipeline di BigQuery.
  • Per pulire i dati per l'analisi, utilizza la preparazione dei dati potenziata con l'AI.

Ognuno di questi strumenti è basato sull'API Dataform.

Per saperne di più, consulta Introduzione alle trasformazioni.

Approccio di integrazione dei dati ETL

Nell'approccio ETL (Extract, Transform, Load), i dati vengono estratti e trasformati prima di raggiungere BigQuery. Questo approccio è utile se hai già un processo in atto per la trasformazione dei dati o se vuoi ridurre l'utilizzo delle risorse in BigQuery.

Cloud Data Fusion può aiutarti a semplificare il processo ETL. BigQuery collabora anche con partner terzi che trasformano e caricano i dati in BigQuery.

Esportazione di dati

Dopo aver elaborato e analizzato i dati in BigQuery, puoi esportare i risultati per applicarli in altri sistemi. BigQuery supporta le seguenti esportazioni:

  • Esportazione dei risultati delle query in un file locale, Google Drive, Fogli Google
  • Esportazione di tabelle o risultati di query in Cloud Storage, Bigtable, Spanner, AlloyDB per PostgreSQL e Pub/Sub

Questo processo è noto come ETL inverso.

Per saperne di più, consulta Introduzione all'esportazione dei dati in BigQuery.

Passaggi successivi