Memorizzazione nella cache dei metadati per le tabelle esterne

Questo documento descrive come utilizzare la memorizzazione nella cache dei metadati (nota anche come indicizzazione dei metadati delle colonne) per migliorare il rendimento delle query sulle tabelle degli oggetti e su alcuni tipi di tabelle BigLake.

Le tabelle degli oggetti e alcuni tipi di tabelle BigLake possono memorizzare nella cache le informazioni sui metadati dei file in datastore esterni, ad esempio Cloud Storage. I seguenti tipi di tabelle BigLake supportano la memorizzazione nella cache dei metadati:

  • Tabelle BigLake Amazon S3
  • Tabelle BigLake Cloud Storage

I metadati includono nomi di file, informazioni di partizionamento e metadati per i file, come i conteggi delle righe. Puoi scegliere se abilitare la memorizzazione nella cache dei metadati in una tabella. Le query con un numero elevato di file e con filtri di partizione Hive traggono il massimo vantaggio dalla memorizzazione nella cache dei metadati.

Se non abiliti la memorizzazione nella cache dei metadati, le query sulla tabella devono leggere l'origine dati esterna per ottenere i metadati degli oggetti. La lettura di questi dati aumenta la latenza delle query; l'elenco di milioni di file dall'origine dati esterna può richiedere diversi minuti. Se abiliti la memorizzazione nella cache dei metadati, le query possono evitare di elencare i file dall'origine dati esterna e possono partizionare ed eliminare i file più rapidamente.

Puoi abilitare la memorizzazione nella cache dei metadati in una tabella BigLake o di oggetti quando crei la tabella. Per saperne di più sulla creazione di tabelle degli oggetti, consulta Crea tabelle degli oggetti. Per saperne di più sulla creazione di tabelle BigLake, consulta uno dei seguenti argomenti:

Impostazioni di memorizzazione nella cache dei metadati

Esistono due proprietà che controllano il comportamento di questa funzionalità:

  • Stato di obsolescenza massimo specifica quando le query utilizzano i metadati memorizzati nella cache.
  • Modalità cache dei metadati specifica come vengono raccolti i metadati.

Quando la memorizzazione nella cache dei metadati è abilitata, devi specificare l'intervallo massimo di obsolescenza dei metadati accettabile per le operazioni sulla tabella. Ad esempio, se specifichi un intervallo di 1 ora, le operazioni sulla tabella utilizzano i metadati memorizzati nella cache se sono stati aggiornati nell'ultima ora. Se i metadati memorizzati nella cache sono più vecchi, l'operazione torna a recuperare i metadati dal datastore (Amazon S3 o Cloud Storage). Puoi specificare un intervallo di obsolescenza compreso tra 30 minuti e 7 giorni.

Puoi scegliere di aggiornare la cache automaticamente o manualmente:

  • Per gli aggiornamenti automatici, la cache viene aggiornata a un intervallo definito dal sistema, in genere tra 30 e 60 minuti. L'aggiornamento automatico della cache è un buon approccio se i file nel datastore vengono aggiunti, eliminati o modificati a intervalli casuali. Se devi controllare la tempistica dell'aggiornamento, ad esempio per attivare l'aggiornamento alla fine di un job di estrazione, trasformazione e caricamento, utilizza l'aggiornamento manuale.
  • Per gli aggiornamenti manuali, esegui la BQ.REFRESH_EXTERNAL_METADATA_CACHE procedura di sistema per aggiornare la cache dei metadati in base alla pianificazione che hai stabilito. Per le tabelle BigLake, puoi aggiornare i metadati in modo selettivo fornendo le sottodirectory della directory dei dati della tabella. Questo approccio ti consente di evitare l'elaborazione non necessaria dei metadati. L'aggiornamento manuale della cache è un buon approccio se i file nel datastore vengono aggiunti, eliminati o modificati a intervalli noti, ad esempio come output di una pipeline.

Sia gli aggiornamenti manuali che quelli automatici della cache vengono eseguiti con INTERACTIVE priorità di query.

Se scegli di utilizzare gli aggiornamenti automatici, ti consigliamo di creare una prenotazione e poi un' assegnazione con un tipo di prestazione BACKGROUND per il progetto che esegue i job di aggiornamento della cache dei metadati. In questo modo, i job di aggiornamento non competono con le query utente per le risorse e potrebbero non riuscire se non sono disponibili risorse sufficienti.

Prima di impostare i valori dell'intervallo di obsolescenza e della modalità di memorizzazione nella cache dei metadati, devi considerare come interagiranno tra loro. Ecco alcuni esempi:

  • Se la cache dei metadati di una tabella è impostata in modo da richiedere aggiornamenti manuali e l'intervallo di obsolescenza è impostato su 2 giorni, devi eseguire la procedura di sistema BQ.REFRESH_EXTERNAL_METADATA_CACHE ogni 2 giorni o meno se vuoi che le operazioni sulla tabella utilizzino i metadati memorizzati nella cache.
  • Se la cache dei metadati di una tabella è impostata per l'aggiornamento automatico e l'intervallo di obsolescenza è impostato su 30 minuti, alcune delle operazioni sulla tabella potrebbero leggere dal datastore se l'aggiornamento della cache dei metadati richiede più tempo rispetto alla finestra di 30-60 minuti.

Per saperne di più sull'impostazione delle opzioni di memorizzazione nella cache dei metadati per le tabelle BigLake, consulta Crea tabelle esterne BigLake Amazon S3 o Crea tabelle esterne BigLake per Cloud Storage.

Per saperne di più sull'impostazione delle opzioni di memorizzazione nella cache dei metadati per le tabelle degli oggetti, consulta Crea tabelle degli oggetti.

Recupera informazioni sui job di aggiornamento della cache dei metadati

Per trovare informazioni sui job di aggiornamento della cache dei metadati, esegui una query sulla INFORMATION_SCHEMA.JOBS vista, come mostrato nell'esempio seguente:

SELECT *
FROM `region-us.INFORMATION_SCHEMA.JOBS`
WHERE job_id LIKE '%metadata_cache_refresh%'
AND creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 6 HOUR)
ORDER BY start_time DESC
LIMIT 10;

Utilizza le chiavi di crittografia gestite dal cliente con i metadati memorizzati nella cache

I metadati memorizzati nella cache sono protetti dalla chiave di crittografia gestita dal cliente (CMEK) utilizzata per la tabella a cui sono associati. Può trattarsi di una CMEK applicata direttamente alla tabella o di una CMEK che la tabella eredita dal set di dati o dal progetto.

Se viene impostata una CMEK predefinita per il progetto o il set di dati oppure se la CMEK esistente per il progetto o il set di dati viene modificata, ciò non influisce sulle tabelle esistenti o sui relativi metadati memorizzati nella cache. Devi modificare la chiave per la tabella per applicare la nuova chiave sia alla tabella sia ai relativi metadati memorizzati nella cache.

Le CMEK create in BigQuery non si applicano ai file di Cloud Storage utilizzati dalle tabelle BigLake e degli oggetti. Per ottenere la crittografia CMEK end-to-end, configura le CMEK in Cloud Storage per questi file.

Recupera informazioni sull'utilizzo della cache dei metadati da parte dei job di query

Per ottenere informazioni sull'utilizzo della cache dei metadati per un job di query, chiama il jobs.get metodo per quel job e cerca il MetadataCacheStatistics campo nella JobStatistics2 sezione della risorsa Job. Questo campo fornisce informazioni sulle tabelle con la cache dei metadati abilitata utilizzate dalla query, se la query ha utilizzato la cache dei metadati e, in caso contrario, il motivo.

Statistiche delle tabelle

Per le tabelle BigLake basate su file Parquet, le statistiche delle tabelle vengono raccolte quando viene aggiornata la cache dei metadati. La raccolta delle statistiche delle tabelle avviene durante gli aggiornamenti automatici e manuali e le statistiche vengono conservate per lo stesso periodo della cache dei metadati.

Le statistiche delle tabelle raccolte includono informazioni sui file, come conteggi delle righe, dimensioni fisiche e non compresse dei file e cardinalità delle colonne. Quando esegui una query su una tabella BigLake basata su Parquet, queste statistiche vengono fornite all'ottimizzatore di query per consentire una migliore pianificazione delle query e potenzialmente migliorare il rendimento delle query per alcuni tipi di query. Ad esempio, un'ottimizzazione comune delle query è la propagazione dinamica dei vincoli, in cui l'ottimizzatore di query deduce dinamicamente i predicati sulle tabelle dei fatti più grandi in un join dalle tabelle delle dimensioni più piccole. Sebbene questa ottimizzazione possa velocizzare le query utilizzando schemi di tabelle normalizzati, richiede statistiche delle tabelle accurate. Le statistiche delle tabelle raccolte dalla memorizzazione nella cache dei metadati consentono una maggiore ottimizzazione dei piani di query sia in BigQuery sia in Apache Spark.

Limitazioni

Alla cache dei metadati si applicano le seguenti limitazioni:

  • Se invii più aggiornamenti manuali simultanei, solo uno avrà esito positivo.
  • La cache dei metadati scade dopo 7 giorni se non viene aggiornata.
  • Se aggiorni l'URI di origine di una tabella, la cache dei metadati non viene aggiornata automaticamente e le query successive restituiscono i dati dalla cache obsoleta. Per evitare questo problema, aggiorna manualmente la cache dei metadati. Se la cache dei metadati della tabella è impostata per l'aggiornamento automatico, devi impostare la modalità di aggiornamento della tabella su manuale, eseguire l'aggiornamento manuale e poi impostare di nuovo la modalità di aggiornamento della tabella su automatica.

  • Se stai aggiornando manualmente la cache dei metadati e il set di dati di destinazione e il bucket Cloud Storage si trovano in una località regionale, devi specificare esplicitamente questa località quando esegui la BQ.REFRESH_EXTERNAL_METADATA_CACHE chiamata alla procedura. Puoi farlo in uno dei seguenti modi:

    Console

    1. Vai alla pagina BigQuery.

      Vai a BigQuery

    2. Seleziona una scheda nell'editor.

    3. Fai clic su Altro e poi su fai clic su Impostazioni query.

    4. Nella sezione Località , deseleziona la casella di controllo Selezione automatica della località e poi specifica la regione di destinazione.

    5. Fai clic su Salva.

    6. Esegui la query contenente la chiamata alla procedura BQ.REFRESH_EXTERNAL_METADATA_CACHE nella scheda dell'editor.

    bq

    Se esegui la query contenente la BQ.REFRESH_EXTERNAL_METADATA_CACHE chiamata alla procedura utilizzando bq query, assicurati di specificare il --location flag.

Passaggi successivi