Panoramica della federazione dei lakehouse in AlloyDB

Questa pagina presenta Lakehouse Federation in AlloyDB per PostgreSQL, una soluzione di gestione dei dati unificata che estende le funzionalità di query di AlloyDB. Questa integrazione ti consente di eseguire query senza problemi su una serie di risorse BigQuery, tra cui:

Con Lakehouse Federation, puoi utilizzare il motore di query di AlloyDB per alimentare i carichi di lavoro transazionali e analitici della tua applicazione dalla stessa interfaccia. Puoi anche materializzare o importare questi dati su AlloyDB per un accesso più rapido da utilizzare nelle tue applicazioni, il che ti consente di utilizzare AlloyDB AI e il motore colonnare.

Lakehouse Federation per AlloyDB ti consente di caricare e trasformare i dati da BigQuery o Iceberg in AlloyDB per supportare le tue applicazioni operative o per unire i dati storici con i dati transazionali in tempo reale. Questo caso d'uso supporta l'analisi unificata e una visione completa della tua attività nel contesto dell'applicazione.

Puoi utilizzare AlloyDB come database transazionale e avere anche grandi quantità di dati in BigQuery o BigLake. In genere, le applicazioni si integrano in modo indipendente con entrambi i sistemi per accedere ai dati su questi diversi Google Cloud servizi. Lakehouse Federation ti consente di utilizzare il supporto per le query federate di AlloyDB implementato come foreign data wrapper per accedere ai dati di BigQuery e AlloyDB utilizzando un'interfaccia SQL in AlloyDB.

Push-down

Puoi utilizzare le tecniche di push-down di filtri e aggregazioni, che velocizzano le query e riducono i costi filtrando o riepilogando i dati in BigQuery prima che vengano spostati o elaborati da AlloyDB. Questo approccio riduce al minimo il traffico di rete e la memoria utilizzata, consentendoti di analizzare set di dati di grandi dimensioni in modo rapido ed efficiente senza superare i limiti delle risorse.

Push-down dei filtri

Il push-down dei filtri, noto anche come push-down dei predicati, è una tecnica di ottimizzazione che sposta il filtraggio dei dati il più vicino possibile al livello di archiviazione. Anziché leggere una tabella di grandi dimensioni in memoria e poi eliminare le righe di cui non hai bisogno, il database "spinge" il filtro (utilizzando la clausola WHERE) nella scansione iniziale dei dati.

Con il push-down dei filtri, puoi utilizzare le query SQL con una clausola WHERE per accedere a un sottoinsieme di dati dalla tabella remota. Questi dati possono anche essere materializzati in una tabella locale o collegati come partizione locale a una tabella PostgreSQL.

Filtri supportati

Le seguenti operazioni di confronto e aritmetiche vengono eseguite in push-down su BigQuery utilizzando l'API BigQuery se vengono visualizzate nelle espressioni nella clausola di filtraggio (WHERE) della query PostgreSQL:

Operatori di confronto

=, >, <, >=, <=, <>, ~~, !~~

Operatori aritmetici

+, -, *, /

Push-down delle aggregazioni

Il push-down delle aggregazioni è un'ottimizzazione avanzata del database che esegue calcoli, ad esempio SUM, COUNT, AVG o GROUP BY, il più vicino possibile al livello di archiviazione. Mentre il push-down dei filtri rimuove le righe non necessarie, il push-down delle aggregazioni riepiloga le righe necessarie prima che il motore del database le elabori ulteriormente.

Aggregazioni supportate

Le seguenti funzioni di aggregazione vengono eseguite in push-down su BigQuery utilizzando l'API BigQuery, se applicabili ai tipi di dati supportati:

  • SUM
  • AVG
  • MIN
  • MAX
  • COUNT

Costi e fatturazione di BigQuery

Il foreign data wrapper di BigQuery dipende da quanto segue:

  • Prezzi di computing di BigQuery
  • Prezzi dell'API BigQuery Storage

Per informazioni, vedi Prezzi di BigQuery.

Limitazioni

  • AlloyDB e BigQuery potrebbero utilizzare regole di confronto diverse, il che può comportare un ordinamento dei dati diverso tra i due sistemi. Per qualsiasi parte di una query eseguita in remoto su BigQuery, la regola di confronto segue le impostazioni di BigQuery.
  • Le query che restituiscono una quantità molto elevata di dati da BigQuery, dopo il push-down, non sono ottimizzate.

Passaggi successivi