Introduzione alle origini dati esterne

Questa pagina fornisce una panoramica dell'esecuzione di query sui dati archiviati al di fuori di BigQuery.

Un'origine dati esterna è un'origine dati in cui puoi eseguire query direttamente da BigQuery, anche se i dati non vengono archiviati in BigQuery. Ad esempio, potresti avere dati in un database Google Cloud diverso, in file in Cloud Storage o in un prodotto cloud diverso che vorresti analizzare in BigQuery, ma non avere ancora la possibilità di eseguire una migrazione.

Ecco alcuni casi d'uso per le origini dati esterne:

  • Per i carichi di lavoro ELT (estrazione, trasformazione e caricamento), caricamento ed eliminazione dei dati in un solo passaggio e scrittura del risultato nello spazio di archiviazione BigQuery tramite una query CREATE TABLE ... AS SELECT.
  • Unione di tabelle BigQuery con dati che cambiano spesso di un'origine dati esterna. Se esegui una query direttamente sull'origine dati esterna, non devi ricaricare i dati nello spazio di archiviazione BigQuery ogni volta che viene modificata.

Tabelle delle origini dati esterne

Le tabelle delle origini dati esterne sono simili alle tabelle BigQuery standard, in quanto archiviano i metadati e lo schema nello spazio di archiviazione BigQuery. Tuttavia, i loro dati risiedono in una fonte esterna.

Le tabelle delle origini dati esterne sono contenute in un set di dati e le gestisci nello stesso modo in cui gestisci una tabella BigQuery standard. Ad esempio, puoi visualizzare le proprietà della tabella, impostare i controlli dell'accesso e così via. Puoi eseguire query su queste tabelle e, nella maggior parte dei casi, puoi unirle ad altre tabelle.

Esistono tre tipi di tabelle di origini dati esterne:

  • Tabelle BigLake
  • Tabelle di oggetti
  • Tabelle esterne

Tabelle BigLake

Le tabelle BigLake consentono di eseguire query sui dati strutturati in datastore esterni con delega dell'accesso. La delega dell'accesso disaccoppia l'accesso alla tabella BigLake dall'accesso all&#3datastoreti sottostante. Per connettersi al datastore viene utilizzata una connessione esterna associata a un account di servizio. Poiché ilaccount di serviziot gestisce il recupero dei dati dal datastore, devi solo concedere agli utenti l'accesso alla tabella BigLake. In questo modo puoi applicare una sicurezza granulare a livello di tabella, inclusa la sicurezza a livello di riga e a livello di colonna. Per le tabelle BigLake basate su Cloud Storage, puoi utilizzare anche la mascheratura dinamica dei dati. Per scoprire di più sulle soluzioni di analisi multi-cloud che utilizzano le tabelle BigLake con i dati di Amazon S3 o Blob Storage, consulta BigQuery Omni.

Per ulteriori informazioni, consulta la pagina Introduzione alle tabelle BigLake.

Tabelle di oggetti

Le tabelle di oggetti ti consentono di analizzare i dati non strutturati in Cloud Storage. Puoi eseguire l'analisi con funzioni remote o eseguire l'inferenza utilizzando BigQuery ML, quindi unire i risultati di queste operazioni con il resto dei dati strutturati in BigQuery.

Come le tabelle BigLake, le tabelle di oggetti utilizzano la delega dell'accesso, che disaccoppia l'accesso alla tabella di oggetti dall'accesso agli oggetti Cloud Storage. Una connessione esterna associata a un account di servizio viene utilizzata per connettersi a Cloud Storage, quindi devi solo concedere agli utenti l'accesso alla tabella degli oggetti. In questo modo puoi applicare la sicurezza a livello di riga e gestire gli oggetti a cui gli utenti hanno accesso.

Per saperne di più, consulta Introduzione alle tabelle degli oggetti.

Tabelle esterne

Le tabelle esterne consentono di eseguire query sui dati strutturati in datastore esterni. Per eseguire query su una tabella esterna, devi disporre delle autorizzazioni sia per la tabella esterna sia per l'origine dati esterna. Ad esempio, per eseguire query su una tabella esterna che utilizza un'origine dati in Cloud Storage, devi disporre delle seguenti autorizzazioni:

  • bigquery.tables.getData
  • bigquery.jobs.create
  • storage.buckets.get
  • storage.objects.get

Per saperne di più, consulta Introduzione alle tabelle esterne.

Query federate

Le query federate ti consentono di inviare un'istruzione di query ai database AlloyDB, Spanner o Cloud SQL e di ricevere il risultato come tabella temporanea. Le query federate utilizzano l'API BigQuery Connection per stabilire una connessione con AlloyDB, Spanner o Cloud SQL. Nella query, utilizzi la funzione EXTERNAL_QUERY per inviare un'istruzione di query al database esterno, utilizzando il dialetto SQL di quel database. I risultati vengono convertiti in tipi di dati GoogleSQL.

Per maggiori informazioni, consulta la sezione Introduzione alle query federate.

Confronto delle funzionalità delle origini dati esterne

La seguente tabella confronta il comportamento delle origini dati esterne:

Tabelle BigLake Tabelle di oggetti Tabelle esterne Query federate
Utilizza la delega dell'accesso Sì, tramite un account di servizio Sì, tramite un account di servizio No Sì, tramite un account utente database (solo Cloud SQL)
Può essere basato su più URI di origine Sì Sì Sì (solo Cloud Storage) Non applicabile
Mappatura delle righe Le righe rappresentano i contenuti del file Le righe rappresentano i metadati dei file Le righe rappresentano i contenuti del file Non applicabile
Accessibili ad altri strumenti di trattamento dei dati tramite l'utilizzo di connettori Sì (solo Cloud Storage) No Sì Non applicabile
Può essere unita ad altre tabelle BigQuery Sì (solo Cloud Storage) Sì Sì Sì
Può essere accessibile come tabella temporanea Sì (solo Cloud Storage) No Sì Sì
Funziona con Amazon S3 Sì No No No
Funziona con Azure Storage Sì No No No
Funziona con Bigtable No No Sì No
Funziona con Spanner No No No Sì
Funziona con Cloud SQL No No No Sì
Funziona con Google Drive No No Sì No
Funziona con Cloud Storage Sì Sì Sì No

Passaggi successivi