Introduzione al caricamento dei dati

Questo documento spiega come caricare i dati in BigQuery. I due approcci comuni all'integrazione dei dati sono l'estrazione, il caricamento e la trasformazione (ELT) o l'estrazione, la trasformazione e il caricamento (ETL) dei dati.

Per una panoramica degli approcci ELT ed ETL, consulta Introduzione al caricamento, alla trasformazione e all'esportazione dei dati.

Metodi di caricamento o accesso ai dati esterni

Nella pagina BigQuery, nella finestra di dialogo Aggiungi dati, puoi visualizzare tutti i metodi disponibili per caricare i dati in BigQuery o accedere ai dati da BigQuery. Scegli una delle seguenti opzioni in base al tuo caso d'uso e alle tue origini dati:

Metodo di caricamento Descrizione
Caricamento in batch Questo metodo è adatto per il caricamento in batch di grandi volumi di dati da varie origini.

Per il caricamento batch o incrementale dei dati da Cloud Storage e altre origini dati supportate, consigliamo di utilizzare BigQuery Data Transfer Service.

Con BigQuery Data Transfer Service, per automatizzare le pipeline di caricamento dei dati in BigQuery, puoi pianificare i job di caricamento. Puoi pianificare trasferimenti di dati una tantum o in batch a intervalli regolari (ad esempio, giornalieri o mensili). Per assicurarti che i dati di BigQuery siano sempre aggiornati, puoi monitorare e registrare i trasferimenti.

Per un elenco delle origini dati supportate da BigQuery Data Transfer Service, consulta Origini dati supportate.
Carico di streaming Questo metodo consente di caricare i dati quasi in tempo reale dai sistemi di messaggistica.

Per trasmettere dati in BigQuery, puoi utilizzare una sottoscrizione BigQuery in Pub/Sub. Pub/Sub può gestire un throughput elevato di caricamenti di dati in BigQuery. Supporta lo streaming di dati in tempo reale, caricando i dati man mano che vengono generati. Per saperne di più, consulta Sottoscrizioni BigQuery.
Change Data Capture (CDC) Questo metodo consente di replicare i dati dai database a BigQuery quasi in tempo reale.

Datastream può trasmettere dati dai database ai dati di BigQuery con replica quasi in tempo reale. Datastream sfrutta le funzionalità CDC per monitorare e replicare le modifiche a livello di riga dalle origini dati.

Per un elenco delle origini dati supportate da Datastream, consulta Origini.
Federazione con origini dati esterne Questo metodo consente di accedere ai dati esterni senza caricarli in BigQuery.

BigQuery supporta l'accesso a determinate origini dati esterne tramite Cloud Storage e query federate. Il vantaggio di questo metodo è che non è necessario caricare i dati prima di trasformarli per un utilizzo successivo. Puoi eseguire la trasformazione eseguendo istruzioni SELECT sui dati esterni.

Puoi anche utilizzare i seguenti metodi programmatici per caricare i dati:

Metodo di caricamento Descrizione
Caricamento in batch Puoi caricare i dati da Cloud Storage o da un file locale creando un job di caricamento.

Se i dati di origine cambiano raramente o non hai bisogno di risultati aggiornati continuamente, i job di caricamento possono essere un modo meno costoso e meno intensivo di risorse per caricare i dati in BigQuery.

I dati caricati possono essere in formato Avro, CSV, JSON, ORC o Parquet. Per creare il job di caricamento, puoi anche utilizzare l'istruzione SQL LOAD DATA.

Anche i sistemi open source più diffusi, come Spark e vari partner ETL, supportano il caricamento dei dati in batch in BigQuery.

Per ottimizzare il caricamento in batch nelle tabelle ed evitare di raggiungere il limite di caricamento giornaliero, consulta Ottimizza i job di caricamento.
Carico di streaming Se devi supportare origini dati di flussi personalizzati o pre-elaborare i dati prima di trasmetterli in streaming con un throughput elevato in BigQuery, utilizza Dataflow.

Per saperne di più sul caricamento da Dataflow a BigQuery, consulta Scrivi da Dataflow a BigQuery.

Puoi anche utilizzare direttamente l'API BigQuery Storage Write (gRPC).

Per ottimizzare lo streaming nelle tabelle ed evitare di raggiungere il limite di caricamento giornaliero, consulta Ottimizza i job di caricamento.

Cloud Data Fusion può aiutarti a semplificare il processo ETL. BigQuery collabora anche con partner terzi che trasformano e caricano i dati in BigQuery.

BigQuery ti consente di creare connessioni esterne per eseguire query sui dati archiviati al di fuori di BigQuery in servizi Google Cloud come Cloud Storage o Spanner o in origini di terze parti come Amazon Web Services (AWS) o Microsoft Azure. Queste connessioni esterne utilizzano l'API BigQuery Connection. Per saperne di più, consulta Introduzione alle connessioni.

Altri modi per acquisire dati

Puoi eseguire query sui dati senza caricarli manualmente in BigQuery. Le sezioni seguenti descrivono alcune alternative.

Di seguito sono riportate alcune delle alternative:

Esegui query su dati pubblici

I set di dati pubblici sono set di dati archiviati in BigQuery e condivisi con il pubblico. Per ulteriori informazioni, consulta Set di dati pubblici di BigQuery.

Esegui query sui dati condivisi

Per eseguire query su un set di dati BigQuery che qualcuno ha condiviso con te, consulta Introduzione a BigQuery sharing (in precedenza Analytics Hub). Sharing è una piattaforma di scambio di dati che consente la condivisione dei dati.

Esegui query con i dati di log

Puoi eseguire query sui log senza creare job di caricamento aggiuntivi:

Passaggi successivi