En esta página, se presenta Lakehouse Federation en AlloyDB para PostgreSQL, una solución unificada de administración de datos que extiende las capacidades de consulta de AlloyDB. Esta integración te permite consultar sin problemas una variedad de recursos de BigQuery, incluidos los siguientes:
- Tablas nativas y vistas materializadas
- Vistas de BigQuery (vistas lógicas)
- Tablas externas de BigLake, incluidas las de las tablas administradas de Apache Iceberg
- Tablas externas estándar
Con Lakehouse Federation, puedes usar el motor de consultas de AlloyDB para potenciar las cargas de trabajo transaccionales y analíticas de tu aplicación desde la misma interfaz. También puedes materializar o importar estos datos en AlloyDB para acceder a ellos más rápido y usarlos en tus aplicaciones, lo que te permite usar AlloyDB AI y el motor de columnas.
La federación de Lakehouse para AlloyDB te permite cargar y transformar datos de BigQuery o Iceberg en AlloyDB para admitir tus aplicaciones operativas o unir datos históricos con datos transaccionales en tiempo real. Este caso de uso admite análisis unificados y una vista completa de tu empresa en el contexto de tu aplicación.
Puedes usar AlloyDB como una base de datos transaccional y también tener grandes cantidades de datos en BigQuery o BigLake. Por lo general, tus aplicaciones se integran de forma independiente con ambos sistemas para acceder a los datos en estos diferentes servicios de Google Cloud. La federación de Lakehouse te permite usar la compatibilidad con consultas federadas de AlloyDB implementada como un wrapper de datos externos para acceder a los datos de BigQuery y AlloyDB con una interfaz SQL en AlloyDB.
Desplegable
Puedes usar técnicas de reducción de filtros y agregaciones, que aceleran las consultas y reducen los costos, ya que filtran o resumen los datos en BigQuery antes de que AlloyDB los mueva o procese. Este enfoque minimiza el tráfico de red y el uso de memoria, lo que te permite analizar conjuntos de datos masivos de forma rápida y eficiente sin exceder los límites de recursos.
Pushdown de filtros
El envío de filtros, también conocido como envío de predicados, es una técnica de optimización que acerca el filtrado de datos lo más posible a la capa de almacenamiento.
En lugar de leer una tabla masiva en la memoria y, luego, descartar las filas que no necesitas, la base de datos "envía" el filtro (con la cláusula WHERE) al análisis de datos inicial.
Con la transferencia de filtros, puedes usar consultas de SQL con una cláusula WHERE para acceder a un subconjunto de datos de la tabla remota. Estos datos también se pueden materializar en una tabla local o adjuntar como una partición local a una tabla de PostgreSQL.
Filtros compatibles
Las siguientes operaciones aritméticas y de comparación se envían a BigQuery con la API de BigQuery si aparecen en expresiones en la cláusula de filtrado (WHERE) de la consulta de PostgreSQL:
Operadores de comparación
=, >, <, >=, <=, <>, ~~, !~~
Operadores aritméticos
+, -, *, /
Pushdown de agregación
La transferencia de agregaciones es una optimización avanzada de la base de datos que realiza cálculos (por ejemplo, SUM, COUNT, AVG o GROUP BY) lo más cerca posible de la capa de almacenamiento. Si bien la transferencia de filtros quita las filas innecesarias, la transferencia de agregaciones resume las filas necesarias antes de que el motor de base de datos las procese más.
Agregados admitidos
Las siguientes funciones de agregación se envían a BigQuery a través de la API de BigQuery, cuando son aplicables a los tipos de datos admitidos:
- SUM
- AVG
- MIN
- MAX
- COUNT
Costos y facturación de BigQuery
El wrapper de datos externos de BigQuery depende de lo siguiente:
- Precios de procesamiento de BigQuery
- Precios de la API de BigQuery Storage
Para obtener más información, consulta Precios de BigQuery.
Limitaciones
- AlloyDB y BigQuery pueden usar diferentes intercalaciones, lo que puede generar un orden de datos diferente entre los dos sistemas. Para cualquier parte de una consulta que se ejecute de forma remota en BigQuery, la intercalación sigue la configuración de BigQuery.
- Las consultas que devuelven una gran cantidad de datos de BigQuery, después de la transferencia, no están optimizadas.
¿Qué sigue?
- Accede a los datos de BigQuery desde AlloyDB.
- Sincroniza datos de BigQuery y de Iceberg con AlloyDB.
- Obtén más información sobre los tipos de datos y las asignaciones de columnas de BigQuery compatibles.