Configurare BigQuery in Application Design Center

BigQuery è un data warehouse di analisi completamente gestito, su scala petabyte e dai costi contenuti, che ti consente di eseguire analisi su vaste quantità di dati quasi in tempo reale. Per saperne di più, consulta la presentazione di BigQuery.

Questo documento descrive i componenti e i parametri che puoi configurare quando utilizzi App Design Center per creare un set di dati BigQuery. I parametri di configurazione si basano sul modulo Terraform terraform-google-bigquery.

Connessioni dei componenti

La tabella seguente include i componenti che puoi connettere a un set di dati BigQuery e gli aggiornamenti risultanti alla tua applicazione e al codice Terraform generato.

Componente connesso

Aggiornamenti delle applicazioni

Informazioni introduttive

Modello di istanza Compute Engine

  • Le istanze Compute Engine possono leggere e scrivere dati nel set di dati BigQuery.
  • I metadati della risorsa BigQuery vengono aggiunti al modello di istanza Compute Engine.
  • Il ruolo roles/bigquery.dataEditor viene aggiunto al account di servizio del modello di istanza Compute Engine.
Template di istanza
Service account
  • Il account di servizio può essere utilizzato da servizi come Cloud Run per leggere e modificare i dati nel set di dati BigQuery.
  • Il ruolo BigQuery roles/bigquery.dataEditor viene aggiunto al account di servizio.
Ruoli e autorizzazioni IAM di BigQuery
Cloud Run
  • Il servizio Cloud Run può interagire con il set di dati BigQuery.
  • I metadati delle risorse BigQuery vengono aggiunti alle variabili di ambiente Cloud Run.
  • Il ruolo BigQuery roles/bigquery.dataEditor viene aggiunto al account di servizio Cloud Run.
Che cos'è Cloud Run

Pub/Sub

  • La sottoscrizione Pub/Sub può scrivere messaggi nel set di dati BigQuery.
  • Le informazioni sul set di dati BigQuery vengono aggiunte ai campi dell'abbonamento BigQuery.
Abbonamenti BigQuery

Parametri di configurazione obbligatori

Se il modello include un componente BigQuery, devi configurare i seguenti parametri prima del deployment.

Nome parametro

Descrizione e vincoli

Informazioni introduttive

ID set di dati

id Introduzione ai set di dati

ID progetto

Il progetto in cui vuoi eseguire il deployment del set di dati e della tabella BigQuery.

Configurare i componenti

Parametri di configurazione facoltativi

I seguenti parametri sono facoltativi. Per visualizzare i parametri avanzati, seleziona Mostra campi avanzati nell'area Configurazione.

Funzionalità

Funzionalità secondaria

Nome parametro

Informazioni su descrizione e vincoli

Informazioni introduttive

Tabelle

ID tabella

id Introduzione alle tabelle

Descrizione

description Introduzione alle tabelle

Nome tabella

friendlyName Denominazione delle tabelle

Schema

schema Specifica di uno schema

Clustering

clustering Introduzione alle tabelle in cluster

Richiedi filtro di partizionamento

requirePartitionFilter Impostare i requisiti del filtro di partizionamento
Partizionamento temporale

Expiration MS

expirationMs Impostare la scadenza della partizione

Campo

campo Creare una tabella partizionata per colonne di unità di tempo

Tipo

type Creare una tabella partizionata per colonne di unità di tempo
Partizionamento per intervallo

Campo

campo Impostare i requisiti del filtro di partizionamento

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi

Fine intervallo

range.end Partizionamento per intervalli di numeri interi

Intervallo di autonomia

range.interval Partizionamento per intervalli di numeri interi

Ora di scadenza

expirationTime Aggiornare l'ora di scadenza di una tabella

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non selezionata, viene utilizzata l'impostazione di protezione dall'eliminazione a livello di componente.

deletion_protection
Etichette

Key (Chiave)

labels Aggiungere etichette a tabelle e visualizzazioni

Valore

labels Aggiungere etichette a tabelle e visualizzazioni

Nome del set di dati

friendlyName Denominare i set di dati

Descrizione

description Aggiornare la descrizione del set di dati

Regione

location Località BigQuery

Delete Contents on Destroy

Seleziona questa opzione per eliminare tutte le tabelle nel set di dati quando viene eliminata la risorsa. Se non è selezionata, l'eliminazione della risorsa non va a buon fine se sono presenti tabelle.

delete_contents_on_destroy

Protezione da eliminazione

Se selezionata, un'operazione terraform apply o terraform destroy che eliminerebbe le tabelle non andrà a buon fine. Se non selezionate, le tabelle possono essere eliminate. Puoi eseguire l'override di questa impostazione utilizzando l'impostazione di protezione dall'eliminazione per ogni tabella.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Aggiornare le scadenze predefinite di una tabella

Default Partition Expiration MS

defaultPartitionExpirationMs Aggiornare le scadenze predefinite delle partizioni

Max Time Travel Hours

maxTimeTravelHours Aggiornare le finestre di spostamento cronologico

Modello di fatturazione dello spazio di archiviazione

StorageBillingModel Modelli di fatturazione dello spazio di archiviazione

Chiave di crittografia

kmsKeyName Crittografia dei dati inattivi
Etichette del set di dati

Key (Chiave)

labels Aggiungere etichette ai set di dati

Valore

valore Aggiungere etichette ai set di dati
Tag di risorse

Key (Chiave)

resourceTags Definizioni e identificatori dei tag

Valore

resourceTags Definizioni e identificatori dei tag
Visualizzazioni

ID vista

id Visualizza la denominazione

Descrizione

description Introduzione alle visualizzazioni

Query

query Aggiornamento della query SQL di una vista

Utilizzare SQL precedente

useLegacySql Eseguire la migrazione a GoogleSQL
Etichette

Key (Chiave)

labels Aggiungere etichette a tabelle e visualizzazioni

Valore

labels Aggiungere etichette a tabelle e visualizzazioni
Viste materializzate

ID vista

id Visualizza la denominazione

Descrizione

description Introduzione alle viste materializzate

Query

query Supporto delle query sulle viste materializzate

Attiva aggiornamento

enableRefresh Aggiornare le viste materializzate

Intervallo di aggiornamento MS

refreshIntervalMs Impostare la quota limite di aggiornamento

Clustering

fields[] Viste materializzate del cluster
Partizionamento temporale

Expiration MS

expirationMs Impostare la scadenza della partizione

Campo

campo Creare una tabella partizionata per colonne di unità di tempo

Tipo

type Creare una tabella partizionata per colonne di unità di tempo

Richiedi filtro di partizionamento

requirePartitionFilter Impostare i requisiti del filtro di partizionamento
Partizionamento per intervallo

Campo

campo Viste materializzate partizionate

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi

Fine intervallo

range.end Partizionamento per intervalli di numeri interi

Intervallo di autonomia

range.interval Partizionamento per intervalli di numeri interi

Ora di scadenza

expirationTime Aggiornare l'ora di scadenza di una visualizzazione

Max Staleness

maxStaleness Utilizzare le viste materializzate con l'opzione max_staleness
Etichette

Key (Chiave)

labels Aggiungere etichette a tabelle e visualizzazioni

Valore

labels Aggiungere etichette a tabelle e visualizzazioni
Tabelle esterne

ID tabella

id Introduzione alle tabelle esterne

Descrizione

Una descrizione della tabella esterna. description

Rilevamento automatico

autodetect Utilizzare il flag di rilevamento automatico

Compressione

compression Caricamento di dati compressi e non compressi

Ignora valori sconosciuti

ignoreUnknownValues Creare un file di definizione della tabella per un'origine dati esterna

Numero massimo di record in errore

maxBadRecords Creare un file di definizione della tabella per un'origine dati esterna

Schema

schema Creare un file di definizione della tabella per un'origine dati esterna

Formato origine

sourceFormat Creare un file di definizione della tabella per un'origine dati esterna

URI di origine

sourceUris Creare un file di definizione della tabella per un'origine dati esterna
Opzioni CSV

Citazione

quote Caricamento dei dati CSV da Cloud Storage

Consenti righe incomplete

allowJaggedRows Caricamento dei dati CSV da Cloud Storage

Accetta caratteri di fine riga con virgolette

allowQuotedNewlines Caricamento dei dati CSV da Cloud Storage

Codifica

codifica Codifica

Delimitatore di campo

FieldDelimiter Delimitatori di campo

Salta righe iniziali

skipLeadingRows Opzioni CSV
Opzioni di Fogli Google

Intervallo

range Creare tabelle esterne di Google Drive

Salta righe iniziali

skipLeadingRows Creare tabelle esterne di Google Drive
Opzioni di partizionamento hive

Modalità

mode Modalità di rilevamento

Prefisso URI di origine

sourceUriPrefix Utilizzare dati partizionati esternamente

Ora di scadenza

expirationTime Aggiornare l'ora di scadenza di una tabella

Max Staleness

maxStaleness Gestire l'obsolescenza delle tabelle

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non selezionata, viene utilizzata l'impostazione di protezione dall'eliminazione a livello di componente.

deletion_protection
Etichette

Key (Chiave)

labels Aggiungere etichette a tabelle e visualizzazioni

Valore

labels Aggiungere etichette a tabelle e visualizzazioni
Routine

ID routine

routineId Gestire le routine

Tipo di routine

routineType RoutineType

Lingua

lingua Lingua

Corpo della definizione

definitionBody Visualizzare il corpo di una routine

Tipo di reso

returnType StandardSqlDataType

Descrizione

Una descrizione della routine. description
Argomenti

Nome

Il nome dell'argomento. name

Tipo di dati

dataType StandardSqlDataType

Tipo di argomento

argumentKind ArgumentKind

Modalità

mode Modalità