Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Introduzione alle viste materializzate

Le viste materializzate di BigQuery sono tabelle precalcolate che ottimizzano le prestazioni delle query e riducono i costi di esecuzione per le query prevedibili eseguite di frequente. Memorizzando periodicamente i risultati di una query, le viste materializzate risolvono la latenza delle query e i costi di scansione elevati quando si eseguono ripetutamente query su set di dati di grandi dimensioni con pattern di aggregazione prevedibili. Unendo automaticamente i dati precalcolati con le modifiche recenti nelle tabelle di base, le viste materializzate garantiscono risultati di query aggiornati senza richiedere pipeline di dati manuali.

Questo documento è destinato a data engineer, amministratori di database e sviluppatori di business intelligence (BI) che progettano pipeline di analisi ad alte prestazioni. Per implementare correttamente le viste materializzate, devi conoscere le strutture dei set di dati BigQuery, le funzioni di aggregazione GoogleSQL e le strutture dei costi delle query.

Vantaggi delle viste materializzate

I seguenti casi d'uso evidenziano il valore delle viste materializzate:

Pre-elaborazione dei dati. Migliora le prestazioni delle query preparando aggregazioni, filtri, join e cluster.
Accelerazione delle dashboard. Consenti agli strumenti di BI come Looker di eseguire query di frequente sulle stesse metriche aggregate, ad esempio gli utenti attivi giornalieri.
Analisi in tempo reale su stream di grandi dimensioni. Può fornire risposte più rapide sulle tabelle che ricevono dati di streaming ad alta velocità.
Gestione dei costi. Riduci il costo delle query ripetitive e costose su set di dati di grandi dimensioni.

Caratteristiche principali

Le caratteristiche principali delle viste materializzate includono le seguenti:

Nessuna manutenzione. BigQuery precalcola le viste materializzate in background quando le tabelle di base cambiano. BigQuery aggiunge automaticamente le modifiche incrementali dei dati dalle tabelle di base alle viste materializzate, senza richiedere l'intervento dell'utente.
Dati aggiornati. Le viste materializzate restituiscono dati aggiornati. Se le modifiche alle tabelle di base potrebbero invalidare la vista materializzata, BigQuery legge i dati direttamente dalle tabelle di base. Se le modifiche alle tabelle di base non invalidano la vista materializzata, BigQuery legge il resto dei dati dalla vista materializzata e legge solo le modifiche dalle tabelle di base.

Il seguente diagramma mostra la logica utilizzata per unire le modifiche dei dati in tempo reale:
Ottimizzazione intelligente. Se una parte di una query su una tabella di base può essere risolta eseguendo una query sulla vista materializzata, BigQuery reindirizza la query per utilizzare la vista materializzata al fine di migliorare le prestazioni e l'efficienza. Per informazioni su come e quando l'ottimizzazione intelligente può migliorare le query, consulta Utilizzare le viste materializzate.

Il seguente diagramma mostra il flusso di lavoro di reindirizzamento delle query dell'ottimizzazione intelligente:

Tipi di viste materializzate

Esistono due tipi di base di viste materializzate:

Le viste materializzate incrementali supportano un insieme limitato di funzionalità. Per scoprire di più sulla sintassi SQL supportata per le viste materializzate, consulta Creare viste materializzate. Solo le viste materializzate incrementali possono sfruttare l' ottimizzazione intelligente.
Le viste materializzate non incrementali supportano la maggior parte delle sintassi non supportate dalle viste materializzate incrementali.

Quando crei viste materializzate, per impostazione predefinita BigQuery ti consente di creare solo viste basate su query incrementali. Per creare una vista non incrementale, puoi specificare allow_non_incremental_definition = true nella definizione della vista materializzata.

Il tipo di vista materializzata migliore da utilizzare dipende dalla tua situazione. La seguente tabella mette a confronto le funzionalità delle viste materializzate incrementali e non incrementali:

Category	Incremental	Non-incremental
Query supportata	Limitata	La maggior parte delle query
Costo di manutenzione	Può ridurre il costo delle query utilizzate di frequente. Per scoprire come vengono aggiornate le viste materializzate, consulta Aggiornamenti incrementali.	Ogni aggiornamento esegue la query completa.
Supporto per l'ottimizzazione intelligente	Supportato per la maggior parte delle query delle viste.	No
Risultati sempre aggiornati	Supportato. Le viste incrementali restituiscono risultati di query aggiornati anche se le tabelle di base sono state modificate dall'ultimo aggiornamento.	No

Viste materializzate autorizzate

Puoi creare una vista materializzata autorizzata per condividere un sottoinsieme di dati da un set di dati di origine a una vista in un set di dati secondario. Puoi quindi condividere questa vista con utenti e gruppi (entità) specifici. Le entità possono eseguire query sui dati che fornisci in una vista, ma non possono accedere direttamente al set di dati di origine.

Le viste autorizzate e le viste materializzate autorizzate vengono autorizzate nello stesso modo. Per maggiori dettagli, consulta Viste autorizzate.

Interazione con altre funzionalità di BigQuery

Le seguenti funzionalità di BigQuery funzionano in modo trasparente con le viste materializzate:

Spiegazione del piano di query. Il piano di query mostra quali viste materializzate vengono scansionate (se presenti) e quanti byte vengono letti dalle viste materializzate e dalle tabelle di base combinate.
Memorizzazione nella cache delle query. I risultati di una query che BigQuery riscrive utilizzando una vista materializzata possono essere memorizzati nella cache in base alle limitazioni consuete (utilizzo di funzioni deterministiche, nessun streaming nelle tabelle di base e così via).
Limitazione dei costi. Se specifichi il numero massimo di byte fatturati e una query legge dati oltre questo limite, la query non riesce senza comportare addebiti, indipendentemente dal fatto che la query utilizzi viste materializzate, tabelle di base o entrambe.
Stima dei costi utilizzando il test dry run. Un test dry run ripete la logica di riscrittura delle query utilizzando le viste materializzate disponibili e fornisce una stima dei costi. Puoi utilizzare questa funzionalità per verificare se una query specifica utilizza viste materializzate.
Replica dei dati tra regioni. Le viste materializzate possono essere create su tabelle BigQuery con la replica tra regioni abilitata, ma solo nella regione primaria. Se utilizzi la regione secondaria, potresti visualizzare il seguente messaggio di errore: The dataset replica of the cross region dataset {PROJECT}:{DATASET} in region {REGION} is read-only because it's not the primary replica.

Oltre a queste funzionalità, puoi creare viste materializzate su tabelle con funzionalità specifiche, come descritto nelle sezioni seguenti.

Tabelle con Change Data Capture attivo

Puoi creare viste materializzate su tabelle con Change Data Capture (CDC) attivo, un pattern utilizzato per importare continuamente le modifiche di database o tabelle. Queste viste materializzate funzionano come le viste materializzate sulle tabelle BigQuery, inclusi i vantaggi dell'aggiornamento automatico. Le viste materializzate non possono eseguire query di unione in fase di runtime, pertanto devi configurarle con un valore sufficiente max_staleness per evitare job di unione in fase di runtime. Per ulteriori informazioni, consulta Limitazioni delle viste materializzate su tabelle con Change Data Capture attivo.

Tabelle con cache dei metadati BigLake abilitata

Le viste materializzate sulle tabelle con cache dei metadati BigLake abilitata possono fare riferimento a dati strutturati archiviati in Cloud Storage e Amazon Simple Storage Service (Amazon S3). Queste viste materializzate funzionano come le viste materializzate sulle tabelle di archiviazione gestite da BigQuery, inclusi i vantaggi dell'aggiornamento automatico e dell'ottimizzazione intelligente. Altri vantaggi includono l'aggregazione, il pre-filtraggio e il pre-join dei dati archiviati al di fuori di BigQuery. Le viste materializzate sulle tabelle BigLake vengono archiviate e hanno tutte le caratteristiche dell'archiviazione gestita di BigQuery.

Quando crei una vista materializzata su una tabella BigLake di Amazon S3, i dati nella vista materializzata non sono disponibili per i join con i dati BigQuery. Per rendere disponibili i dati di Amazon S3 in una vista materializzata per i join, crea una replica della vista materializzata. Puoi creare repliche di vista materializzata solo su viste materializzate autorizzate.

Limitazioni

Le viste materializzate di BigQuery sono soggette alle limitazioni funzionali e operative descritte nelle sezioni seguenti.

Limitazioni di SQL e della sintassi

Dialetto. È supportato solo il dialetto GoogleSQL.
Sintassi SQL. Le viste materializzate utilizzano una sintassi SQL limitata e un insieme limitato di funzioni di aggregazione. Per ulteriori informazioni, consulta Supporto per le query delle viste materializzate.
Variabili di sistema. Le viste materializzate non supportano le variabili di sistema, ad esempio la @@session_id variabile di sistema.
Tipi di dati con parametri. Le viste materializzate non possono ereditare o definire esplicitamente tipi di dati con parametri, ad esempio STRING(n), perché i tipi di dati con parametri sono supportati solo per le colonne delle tabelle di base e le variabili degli script.
Descrizioni delle colonne. Puoi impostare le descrizioni per le viste materializzate, ma non per le singole colonne della vista materializzata.
Modifiche delle query. Non puoi aggiornare la query per una vista materializzata dopo averla creata.
Modifiche dei dati. Non puoi aggiornare o manipolare direttamente i dati delle vista materializzata utilizzando operazioni come COPY, EXPORT, LOAD, WRITE o istruzioni del data manipulation language (DML).

Limitazioni delle tabelle di base e dell'annidamento

Annidamento. Non puoi annidare le viste materializzate su altre viste materializzate.
Tipi di origine. Le viste materializzate non possono eseguire query su tabelle esterne (ad eccezione delle tabelle BigLake), tabelle con caratteri jolly, viste logiche¹ o snapshot.
Comportamento di eliminazione. Se elimini una tabella di base senza prima eliminare la vista materializzata, le query e gli aggiornamenti della vista materializzata non riescono. Se ricrei la tabella di base, devi ricreare anche la vista materializzata.
Set di dati esterni di Spanner. Solo le viste materializzate non incrementali possono avere tabelle di base di set di dati esterni di Spanner. Se l'ultimo aggiornamento di una vista materializzata non incrementale è avvenuto al di fuori dell'intervallo max_staleness, la query legge le tabelle di base del set di dati esterni di Spanner. Per maggiori dettagli, consulta Creare viste materializzate su set di dati esterni di Spanner.
Memorizzazione nella cache con Spanner. BigQuery non memorizza nella cache i risultati delle query se la query viene eseguita su viste materializzate non incrementali che fanno riferimento a tabelle di set di dati esterni di Spanner.

Limitazioni di ambito e regionali

Limite dell'organizzazione. Una vista materializzata deve risiedere nello stesso progetto o blocco dell'organizzazione delle relative tabelle di base.
Impostazioni di obsolescenza. Il valore dell'opzione max_staleness deve essere compreso tra 30 minuti e 3 giorni, inclusi.
Query sulle risorse. Potrebbero essere applicati limiti ai riferimenti alle tabelle di base e altre limitazioni. Per saperne di più, consulta Quote e limiti.

¹ Il supporto per i riferimenti alle viste logiche è in anteprima. Per saperne di più, consulta Fare riferimento alle viste logiche.

Limitazioni delle viste materializzate su tabelle con CDC attivo

Le viste materializzate con tabelle di base con Change Data Capture (CDC) attivo presentano le seguenti limitazioni:

Se una vista materializzata ha una tabella di base con Change Data Capture attivo, non puoi fare riferimento a quella tabella in una query che fa riferimento anche alla vista materializzata.
Quando crei una vista materializzata su una tabella con Change Data Capture attivo, la vista materializzata non può eseguire i job di unione in fase di runtime della tabella CDC sottostante. Imposta il valore max_staleness della vista materializzata su almeno il doppio del valore max_staleness della tabella di base. Le query su una vista materializzata non riescono se la versione attuale della tabella CDC sottostante è più obsoleta del valore max_staleness della vista materializzata.
Non puoi utilizzare l'ottimizzazione intelligente per le viste materializzate su tabelle con Change Data Capture attivo.

Limitazioni delle viste materializzate su tabelle BigLake

Le viste materializzate sulle tabelle BigLake presentano le seguenti limitazioni:

Non puoi partizionare la vista materializzata. Le tabelle di base possono utilizzare il partizionamento di Apache Hive, ma non puoi partizionare l'archiviazione delle vista materializzata nelle tabelle BigLake. Ciò significa che qualsiasi eliminazione in una tabella di base causa un aggiornamento completo della vista materializzata. Per maggiori dettagli, consulta Aggiornamenti incrementali.
Il valore dell'--max_staleness opzione della vista materializzata deve essere maggiore di quello della tabella di base BigLake.
Non puoi eseguire un join tra tabelle gestite da BigQuery e tabelle BigLake in una singola definizione di vista materializzata.
BigQuery BI Engine (un servizio di analisi in memoria rapido) non supporta l'accelerazione delle viste materializzate sulle tabelle BigLake.

Prezzi delle viste materializzate

Le viste materializzate comportano costi nei seguenti modi:

Esecuzione di query sulle viste materializzate.
Manutenzione delle viste materializzate, ad esempio quando vengono aggiornate. Il costo dell'aggiornamento automatico viene addebitato al progetto in cui risiede la vista. Il costo dell'aggiornamento manuale viene addebitato al progetto in cui viene eseguito il job di aggiornamento manuale. Per ulteriori informazioni sul controllo dei costi di manutenzione, consulta Manutenzione dei job di aggiornamento.
Archiviazione delle tabelle delle vista materializzata.

La seguente tabella illustra i componenti dei prezzi per le viste materializzate:

Componente	Prezzi on demand	Prezzi basati sulla capacità
Esecuzione di query	Byte elaborati dalle viste materializzate e da eventuali parti necessarie delle tabelle di base.¹	Gli slot vengono utilizzati durante il tempo di esecuzione delle query.
Manutenzione	Byte elaborati durante il tempo di aggiornamento.	Gli slot vengono utilizzati durante il tempo di aggiornamento.
Archiviazione	Byte archiviati nelle viste materializzate.	Byte archiviati nelle viste materializzate.

¹ Se possibile, BigQuery legge solo le modifiche apportate da ll'ultimo aggiornamento della vista. Per maggiori dettagli, consulta Aggiornamenti incrementali.

Dettagli sui costi di archiviazione

Il modo in cui BigQuery archivia determinati valori aggregati influisce sul calcolo delle dimensioni di archiviazione. Per i valori aggregati AVG, ARRAY_AGG e APPROX_COUNT_DISTINCT in una vista materializzata, il valore finale non viene archiviato direttamente. Invece, BigQuery archivia internamente una vista materializzata come uno sketch intermedio, utilizzato per produrre il valore finale.

Ad esempio, considera una vista materializzata creata con il seguente comando:

CREATE MATERIALIZED VIEW project-id.my_dataset.my_mv_table AS
SELECT date, AVG(net_paid) AS avg_paid
FROM project-id.my_dataset.my_base_table
GROUP BY date

Sebbene la colonna avg_paid venga visualizzata come NUMERIC o FLOAT64, internamente viene archiviata come BYTES, con il suo contenuto come sketch intermedio in un formato proprietario. Per il calcolo delle dimensioni dei dati, la colonna viene trattata come BYTES.

Workflow di configurazione

La configurazione delle viste materializzate prevede il seguente workflow:

Progettazione e verifica della query. Crea la query di aggregazione utilizzando le linee guida di GoogleSQL.
Creazione della vista materializzata. Esegui l'istruzione CREATE MATERIALIZED VIEW utilizzando la Google Cloud console, lo strumento a riga di comando bq o l'API BigQuery.
Esecuzione dell'ottimizzazione intelligente. BigQuery reindirizza automaticamente le query sulla tabella di base per utilizzare la vista materializzata. Non è necessario riscrivere le destinazioni di query o applicazioni.

Per iniziare a creare, consulta Creare viste materializzate.