Configura un set di dati BigQuery

Application Design Center ti consente di creare e configurare set di dati BigQuery per l'analisi dei dati aziendali. I componenti e i parametri del set di dati si basano sul modulo Terraform terraform-google-bigquery.

Connessioni dei componenti

La tabella seguente include i componenti che puoi connettere a un set di dati BigQuery e i relativi aggiornamenti all'applicazione e al codice Terraform generato.

Componente collegato

Aggiornamenti delle applicazioni

Informazioni introduttive

Template di istanza Compute Engine

  • Le istanze Compute Engine possono leggere e scrivere dati nel set di dati BigQuery.
  • I metadati della risorsa BigQuery vengono aggiunti al template di istanza di Compute Engine.
  • Il ruolo roles/bigquery.dataEditor viene aggiunto al account di servizio del template di istanza Compute Engine.
Template di istanza
Service account
  • Il account di servizio può essere utilizzato da servizi come Cloud Run per leggere e modificare i dati nel set di dati BigQuery.
  • Il ruolo BigQuery roles/bigquery.dataEditor viene aggiunto al account di servizio.
Ruoli e autorizzazioni IAM di BigQuery
Cloud Run
  • Il servizio Cloud Run può interagire con il set di dati BigQuery.
  • I metadati della risorsa BigQuery vengono aggiunti alle variabili di ambiente di Cloud Run.
  • Il ruolo BigQuery roles/bigquery.dataEditor viene aggiunto al account di servizio Cloud Run.
Che cos'è Cloud Run

Pub/Sub

  • La sottoscrizione Pub/Sub può scrivere messaggi nel set di dati BigQuery.
  • Le informazioni sul set di dati BigQuery vengono aggiunte ai campi della sottoscrizione BigQuery.
Sottoscrizioni BigQuery

Parametri di configurazione obbligatori

Se il modello include un componente BigQuery, devi configurare i seguenti parametri prima del deployment.

Nome parametro

Descrizione e vincoli

Informazioni introduttive

ID set di dati

id Introduzione ai set di dati

ID progetto

Il progetto in cui vuoi eseguire il deployment del set di dati e della tabella BigQuery.

Configura i componenti

Parametri di configurazione facoltativi

I seguenti parametri sono facoltativi. Per visualizzare i parametri avanzati, nell'area Configurazione, seleziona Mostra campi avanzati.

Funzionalità

Sottofunzionalità

Nome parametro

Informazioni su descrizione e vincoli

Informazioni introduttive

Tabelle

ID tabella

id Introduzione alle tabelle

Descrizione

description Introduzione alle tabelle

Nome tabella

friendlyName Denominazione delle tabelle

Schema

schema Specifica di uno schema

Clustering

clustering Introduzione alle tabelle in cluster

Richiedi filtro di partizionamento

requirePartitionFilter Imposta i requisiti del filtro di partizionamento
Partizionamento temporale

Expiration MS

expirationMs Imposta la scadenza della partizione

Campo

field Crea una tabella partizionata per colonne in base all'unità di tempo

Tipo

type Crea una tabella partizionata per colonne di unità di tempo
Partizionamento per intervalli

Campo

field Imposta i requisiti del filtro di partizionamento

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi

Fine intervallo

range.end Partizionamento per intervalli di numeri interi

Intervallo di intervalli

range.interval Partizionamento per intervalli di numeri interi

Data di scadenza

expirationTime Aggiorna la scadenza di una tabella

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non viene selezionata, viene utilizzata l'impostazione di protezione da eliminazione a livello di componente.

deletion_protection
Etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni

Valore

labels Aggiungi etichette a tabelle e visualizzazioni

Nome set di dati

friendlyName Assegna un nome ai set di dati

Descrizione

description Aggiorna la descrizione del set di dati

Regione

location Località di BigQuery

Elimina i contenuti al momento della distruzione

Seleziona questa opzione per eliminare tutte le tabelle del set di dati quando elimini la risorsa. Se non viene selezionata, l'eliminazione della risorsa non va a buon fine se sono presenti tabelle.

delete_contents_on_destroy

Protezione da eliminazione

Se questa opzione è selezionata, un comando terraform apply o terraform destroy che eliminerebbe le tabelle non andrà a buon fine. Se non è selezionata, le tabelle possono essere eliminate. Puoi eseguire l'override di questa impostazione utilizzando l'impostazione di protezione da eliminazione per ogni tabella.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Aggiorna le scadenze predefinite delle tabelle

Default Partition Expiration MS

defaultPartitionExpirationMs Aggiorna le scadenze predefinite delle partizioni

Numero massimo di ore per i viaggi nel tempo

maxTimeTravelHours Aggiorna le finestre di spostamento cronologico

Modello di fatturazione dello spazio di archiviazione

StorageBillingModel Modelli di fatturazione dello spazio di archiviazione

Chiave di crittografia

kmsKeyName Crittografia at-rest
Etichette dei set di dati

Key (Chiave)

labels Aggiungi etichette ai set di dati

Valore

valore Aggiungi etichette ai set di dati
Tag delle risorse

Key (Chiave)

resourceTags Definizioni e identificatori dei tag

Valore

resourceTags Definizioni e identificatori dei tag
Visualizzazioni

ID vista

id Denominazione delle visualizzazioni

Descrizione

description Introduzione alle viste

Query

query Aggiornamento della query SQL di una vista

Utilizza SQL precedente

useLegacySql Migrazione a GoogleSQL
Etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Viste materializzate

ID vista

id Denominazione delle visualizzazioni

Descrizione

description Introduzione alle viste materializzate

Query

query Supporto delle query sulle viste materializzate

Attiva aggiornamento

enableRefresh Aggiorna le viste materializzate

Refresh Interval MS

refreshIntervalMs Imposta la quota limite di aggiornamento

Clustering

fields[] Clustera le viste materializzate
Partizionamento temporale

Expiration MS

expirationMs Imposta la scadenza della partizione

Campo

field Crea una tabella partizionata per colonne di unità di tempo

Tipo

type Crea una tabella partizionata per colonne in base all'unità di tempo

Richiedi filtro di partizionamento

requirePartitionFilter Imposta i requisiti del filtro di partizionamento
Partizionamento per intervalli

Campo

field Viste materializzate partizionate

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi

Fine intervallo

range.end Partizionamento per intervalli di numeri interi

Intervallo di intervalli

range.interval Partizionamento per intervalli di numeri interi

Data di scadenza

expirationTime Aggiornamento della data di scadenza di una visualizzazione

Livello massimo di inattività

maxStaleness Utilizza le viste materializzate con l'opzione max_staleness
Etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Tabelle esterne

ID tabella

id Introduzione alle tabelle esterne

Descrizione

Una descrizione della tabella esterna. description

Rilevamento automatico

autodetect Utilizza il flag di rilevamento automatico

Compressione

compression Caricamento di dati compressi e non compressi

Ignora valori sconosciuti

ignoreUnknownValues Crea un file di definizione della tabella per un'origine dati esterna

Numero massimo di record in errore

maxBadRecords Crea un file di definizione della tabella per un'origine dati esterna

Schema

schema Crea un file di definizione della tabella per un'origine dati esterna

Formato di origine

sourceFormat Crea un file di definizione della tabella per un'origine dati esterna

URI di origine

sourceUris Crea un file di definizione della tabella per un'origine dati esterna
Opzioni CSV

Citazione

quote Caricamento dei dati CSV da Cloud Storage

Consenti righe incomplete

allowJaggedRows Caricamento dei dati CSV da Cloud Storage

Consenti caratteri di fine riga con virgolette

allowQuotedNewlines Caricamento dei dati CSV da Cloud Storage

Codifica

encoding Codifica

Delimitatore di campo

FieldDelimiter Delimitatori di campo

Ignora righe iniziali

skipLeadingRows Opzioni CSV
Opzioni di Fogli Google

Intervallo

range Crea tabelle esterne di Google Drive

Ignora righe iniziali

skipLeadingRows Crea tabelle esterne di Google Drive
Opzioni di partizionamento Hive

Modalità

mode Modalità di rilevamento

Prefisso URI di origine

sourceUriPrefix Utilizza i dati partizionati esternamente

Data di scadenza

expirationTime Aggiorna la scadenza di una tabella

Livello massimo di inattività

maxStaleness Gestisci l'obsolescenza delle tabelle

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non viene selezionata, viene utilizzata l'impostazione di protezione da eliminazione a livello di componente.

deletion_protection
Etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Routine

ID routine

routineId Gestisci le routine

Tipo di routine

routineType RoutineType

Lingua

language Lingua

Definition Body

definitionBody Visualizza il corpo di una routine

Tipo restituito

returnType StandardSqlDataType

Descrizione

Una descrizione della routine. description
Argomenti

Nome

Il nome dell'argomento. name

Tipo di dati

dataType StandardSqlDataType

Tipo di argomento

argumentKind ArgumentKind

Modalità

mode Modalità