Introduzione alle viste materializzate

Le viste materializzate sono viste precalcolate che memorizzano periodicamente i risultati di una query SQL. In alcuni casi d'uso, le viste materializzate riducono il tempo di elaborazione totale e gli addebiti correlati riducendo la quantità di dati da analizzare per ogni query. Puoi eseguire query sulle viste materializzate come faresti con altre risorse di dati.

Vantaggi delle viste materializzate

I seguenti casi d'uso evidenziano il valore delle viste materializzate:

  • Pre-elabora i dati. Migliora il rendimento delle query preparando aggregazioni, filtri, join e cluster.
  • Accelerazione della dashboard. Potenzia gli strumenti di BI come Looker che interrogano spesso le stesse metriche aggregate, ad esempio gli utenti attivi giornalieri.
  • Analisi in tempo reale su flussi di grandi dimensioni. Può fornire risposte più rapide sulle tabelle che ricevono dati di streaming ad alta velocità.
  • Gestione dei costi. Ridurre il costo delle query ripetitive e costose su set di dati di grandi dimensioni.

Caratteristiche principali

Le caratteristiche principali delle viste materializzate includono quanto segue:

  • Nessuna manutenzione. BigQuery precalcola le viste materializzate in background quando le tabelle di base cambiano. BigQuery aggiunge automaticamente le modifiche incrementali dei dati dalle tabelle di base alle viste materializzate, senza richiedere l'intervento dell'utente.
  • Dati aggiornati. Le viste materializzate restituiscono dati aggiornati. Se le modifiche alle tabelle di base potrebbero invalidare la vista materializzata, BigQuery legge i dati direttamente dalle tabelle di base. Se le modifiche alle tabelle di base non invalidano la vista materializzata, BigQuery legge il resto dei dati dalla vista materializzata e legge solo le modifiche dalle tabelle di base.
  • Ottimizzazione intelligente. Se una parte di una query su una tabella di base può essere risolta eseguendo query sulla vista materializzata, BigQuery reindirizza la query per utilizzare la vista materializzata per migliorare le prestazioni e l'efficienza. Per informazioni su come e quando l'ottimizzazione intelligente può migliorare le query, vedi Utilizzare le viste materializzate.

Tipi di viste materializzate

Esistono due tipi di base di viste materializzate:

  • Le viste materializzate incrementali supportano un insieme limitato di funzionalità. Per scoprire di più sulla sintassi SQL supportata per le viste materializzate, consulta Creare viste materializzate. Solo le viste materializzate incrementali possono sfruttare la sintonizzazione intelligente.
  • Le viste materializzate non incrementali supportano la maggior parte delle sintassi che le viste materializzate incrementali non supportano.

Quando crei viste materializzate, per impostazione predefinita BigQuery ti consente di creare solo viste basate su query incrementali. Per creare una vista non incrementale, puoi specificare allow_non_incremental_definition = true nella definizione della vista materializzata.

Il tipo migliore di vista materializzata da utilizzare dipende dalla tua situazione. La seguente tabella mette a confronto le funzionalità delle viste materializzate incrementali e non incrementali:

Category Incrementale Non incrementale
Query supportata Limitata Query più frequenti
Costo di manutenzione Può ridurre il costo delle query utilizzate di frequente. Per scoprire come vengono aggiornate le viste materializzate, consulta aggiornamenti incrementali. Ogni aggiornamento esegue la query completa.
Supporto per la sintonizzazione intelligente Supportato per la maggior parte delle query sulle visualizzazioni. No
Risultati sempre aggiornati Supportato. Le visualizzazioni incrementali restituiscono risultati della query aggiornati anche se le tabelle di base sono cambiate dall'ultimo aggiornamento. No

Viste materializzate autorizzate

Puoi creare una vista materializzata autorizzata per condividere un sottoinsieme di dati di un set di dati di origine con una vista in un set di dati secondario. Puoi quindi condividere questa vista con utenti e gruppi specifici (principal). I principal possono eseguire query sui dati che fornisci in una vista, ma non possono accedere direttamente al set di dati di origine.

Le viste autorizzate e le viste materializzate autorizzate vengono autorizzate nello stesso modo. Per maggiori dettagli, vedi Visualizzazioni autorizzate.

Interazione con altre funzionalità di BigQuery

Le seguenti funzionalità di BigQuery funzionano in modo trasparente con le viste materializzate:

  • Spiegazione del piano di query. Il piano di query mostra quali viste materializzate vengono analizzate (se presenti) e quanti byte vengono letti dalle viste materializzate e dalle tabelle base combinate.

  • Memorizzazione nella cache delle query. I risultati di una query che BigQuery riscrive utilizzando una vista materializzata possono essere memorizzati nella cache in base alle limitazioni consuete (utilizzo di funzioni deterministiche, nessun flusso nelle tabelle di base e così via).

  • Limitazione dei costi. Se specifichi il numero massimo di byte fatturati e una query legge dati oltre questo limite, la query non riesce senza comportare addebiti, indipendentemente dal fatto che utilizzi le viste materializzate, le tabelle di base o entrambe.

  • Stima dei costi utilizzando la simulazione. Una simulazione ripete la logica di riscrittura delle query utilizzando le viste materializzate disponibili e fornisce una stima dei costi. Puoi utilizzare questa funzionalità per verificare se una query specifica utilizza viste materializzate.

  • Replica dei dati tra regioni. È possibile creare viste materializzate sulle tabelle BigQuery per cui è abilitata la replica tra regioni, ma solo nella regione primaria. Se utilizzi la regione secondaria, potresti visualizzare il seguente messaggio di errore: The dataset replica of the cross region dataset {PROJECT}:{DATASET} in region {REGION} is read-only because it's not the primary replica.

Oltre a queste funzionalità, puoi creare viste materializzate sulle tabelle con funzionalità specifiche, come descritto nelle sezioni seguenti.

Tabelle con Change Data Capture attivo

Puoi creare viste materializzate su tabelle con Change Data Capture (CDC) attivo. Queste viste materializzate funzionano come le viste materializzate sulle tabelle BigQuery, inclusi i vantaggi dell'aggiornamento automatico. Le viste materializzate non possono eseguire query di unione in fase di runtime, pertanto devi configurarle con un max_staleness sufficiente per evitare job di unione in fase di runtime. Per saperne di più, consulta Limitazioni delle viste materializzate sulle tabelle con acquisizione dei dati di modifica attiva.

Tabelle abilitate alla cache dei metadati BigLake

Le viste materializzate sulle tabelle con cache dei metadati BigLake abilitata possono fare riferimento a dati strutturati archiviati in Cloud Storage e Amazon Simple Storage Service (Amazon S3). Queste viste materializzate funzionano come le viste materializzate sulle tabelle di archiviazione gestite da BigQuery, inclusi i vantaggi dell'aggiornamento automatico e dell'ottimizzazione intelligente. Altri vantaggi includono l'aggregazione, il filtraggio e l'unione preliminari dei dati archiviati al di fuori di BigQuery. Le viste materializzate sulle tabelle BigLake vengono archiviate e hanno tutte le caratteristiche dello spazio di archiviazione gestito BigQuery.

Quando crei una vista materializzata su una tabella BigLake Amazon S3, i dati nella vista materializzata non sono disponibili per i join con i dati BigQuery. Per rendere disponibili per i join i dati di Amazon S3 in una vista materializzata, crea una replica della vista materializzata. Puoi creare repliche della vista materializzata solo per le viste materializzate autorizzate.

Limitazioni

Le viste materializzate sono soggette alle seguenti limitazioni:

  • Potrebbero essere applicati limiti ai riferimenti alle tabelle di base e altre limitazioni. Per saperne di più sui limiti delle vista materializzata, consulta Quote e limiti.
  • Non puoi aggiornare o manipolare direttamente i dati delle vista materializzata utilizzando operazioni come COPY, EXPORT, LOAD, WRITE o istruzioni DML (Data Manipulation Language).
  • Non puoi aggiornare la query per una vista materializzata dopo averla creata.
  • Una vista materializzata deve risiedere nella stessa organizzazione delle tabelle di base o nello stesso progetto se il progetto non appartiene a un'organizzazione.
  • Le viste materializzate utilizzano una sintassi SQL limitata e un insieme limitato di funzioni di aggregazione. Per saperne di più, consulta Supporto delle query delle viste materializzate.
  • Non puoi nidificare le viste materializzate in altre viste materializzate.
  • Le viste materializzate non possono eseguire query su tabelle esterne o con caratteri jolly, su viste logiche1 o su snapshot.
  • Le viste materializzate non supportano variabili di sistema, ad esempio la variabile di sistema @@session_id.
  • Il valore dell'opzione max_staleness deve essere compreso tra 30 minuti e 3 giorni, inclusi.
  • Le viste materializzate supportano solo il dialetto GoogleSQL.
  • Puoi impostare descrizioni per le viste materializzate, ma non per le singole colonne della vista materializzata.
  • Se elimini una tabella di base senza prima eliminare la vista materializzata, le query e gli aggiornamenti della vista materializzata non vanno a buon fine. Se ricrei la tabella di base, devi ricreare anche la vista materializzata.
  • Solo le viste materializzate non incrementali possono avere tabelle di base del set di dati esterni Spanner. Se l'ultimo aggiornamento di una vista materializzata non incrementale è avvenuto al di fuori dell'intervallo max_staleness, la query legge le tabelle del set di dati esterno Spanner di base. Per scoprire di più sulle tabelle dei set di dati esterni Spanner, consulta Creare viste materializzate sui set di dati esterni Spanner.
  • BigQuery non memorizza nella cache i risultati delle query se la query viene eseguita su viste materializzate non incrementali che fanno riferimento a tabelle di set di dati esterni Spanner.
  • Le viste materializzate non possono ereditare o definire esplicitamente tipi di dati con parametri, come STRING(n), perché i tipi di dati con parametri sono supportati solo per le colonne delle tabelle di base e le variabili di script.

1Il supporto dei riferimenti alla visualizzazione logica è in anteprima. Per saperne di più, consulta Visualizzazioni logiche di riferimento.

Limitazioni delle viste materializzate sulle tabelle con CDC attivo

Le viste materializzate con tabelle di base di acquisizione dei dati di modifica attive presentano le seguenti limitazioni:

  • Se una vista materializzata ha una tabella di base con acquisizione dei dati di modifica attiva, non puoi fare riferimento a questa tabella in una query che fa riferimento anche alla vista materializzata.
  • Quando crei una vista materializzata su una tabella con Change Data Capture attivo, la vista materializzata non può eseguire i job di unione di runtime della tabella CDC sottostante. Imposta il valore max_staleness della vista materializzata su almeno il doppio del valore max_staleness della tabella di base. Le query su una vista materializzata non vanno a buon fine se la versione attuale della tabella CDC sottostante è meno recente della vista materializzata max_staleness.
  • Non puoi utilizzare l'ottimizzazione intelligente per le viste materializzate sulle tabelle con acquisizione attiva dei dati di modifica.

Limitazioni delle viste materializzate sulle tabelle BigLake

Le viste materializzate sulle tabelle BigLake presentano le seguenti limitazioni:

  • Non puoi partizionare la vista materializzata. Le tabelle di base possono utilizzare il partizionamento Hive, ma non puoi partizionare lo spazio di archiviazione delle vista materializzata nelle tabelle BigLake. Ciò significa che qualsiasi eliminazione in una tabella di base causa un aggiornamento completo della vista materializzata. Per maggiori dettagli, consulta Aggiornamenti incrementali.
  • Il valore dell'--max_staleness opzione della vista materializzata deve essere maggiore di quello della tabella base BigLake.
  • Non puoi eseguire un'unione tra tabelle gestite BigQuery e tabelle BigLake in una singola definizione di vista materializzata.
  • BigQuery BI Engine non supporta l'accelerazione delle viste materializzate sulle tabelle BigLake.

Prezzi delle viste materializzate

Le viste materializzate comportano costi nei seguenti modi:

  • Eseguire query sulle viste materializzate.
  • Manutenzione delle viste materializzate, ad esempio quando vengono aggiornate. Il costo dell'aggiornamento automatico viene fatturato al progetto in cui si trova la vista. Il costo dell'aggiornamento manuale viene addebitato al progetto in cui viene eseguito il job di aggiornamento manuale. Per saperne di più sul controllo dei costi di manutenzione, consulta Manutenzione dei job di aggiornamento.
  • Memorizzazione delle tabelle delle vista materializzata.

La tabella seguente descrive i componenti di prezzo per le viste materializzate:

Componente Prezzi on demand Prezzi basati sulla capacità
Query Byte elaborati dalle viste materializzate e da qualsiasi parte necessaria delle tabelle di base.1 Gli slot vengono utilizzati durante il tempo di esecuzione della query.
Manutenzione Byte elaborati durante il tempo di aggiornamento. Gli slot vengono utilizzati durante il tempo di aggiornamento.
Archiviazione Byte archiviati nelle viste materializzate. Byte archiviati nelle viste materializzate.

1Se possibile, BigQuery legge solo le modifiche apportate dall'ultimo aggiornamento della vista. Per ulteriori informazioni, vedi Aggiornamenti incrementali.

Dettagli sul costo di archiviazione

Il modo in cui BigQuery archivia determinati valori aggregati influisce sul calcolo delle dimensioni di archiviazione. Per i valori aggregati di AVG, ARRAY_AGG e APPROX_COUNT_DISTINCT in una vista materializzata, il valore finale non viene memorizzato direttamente. BigQuery memorizza internamente una vista materializzata come schizzo intermedio, che viene utilizzato per produrre il valore finale.

Ad esempio, considera una vista materializzata creata con il seguente comando:

CREATE MATERIALIZED VIEW project-id.my_dataset.my_mv_table AS
SELECT date, AVG(net_paid) AS avg_paid
FROM project-id.my_dataset.my_base_table
GROUP BY date

Anche se la colonna avg_paid viene visualizzata come NUMERIC o FLOAT64, internamente viene memorizzata come BYTES e i suoi contenuti sono uno schizzo intermedio in un formato proprietario. Per il calcolo delle dimensioni dei dati, la colonna viene trattata come BYTES.

Passaggi successivi