Introducción a las vistas materializadas
Las vistas materializadas son vistas procesadas previamente que almacenan periódicamente los resultados de una consulta en SQL. Las vistas materializadas pueden reducir el tiempo total de procesamiento y los cargos relacionados con las consultas, ya que almacenan los resultados de las consultas y reducen la cantidad de datos que se deben analizar para cada consulta. BigQuery verifica que las vistas materializadas proporcionen datos actualizados calculando las actualizaciones en segundo plano. Este proceso se realiza de forma incremental usando solo los datos modificados en la tabla base, sujeto a una serie de consideraciones. Las vistas materializadas se pueden consultar directamente o BigQuery puede usarlas para optimizar las consultas en sus tablas base.
Las características clave de las vistas materializadas incluyen las siguientes:
- No requieren mantenimiento. Las vistas materializadas se precalculan en segundo plano cuando las tablas base cambian. Cualquier cambio en los datos incrementales de las tablas base se agrega de forma automática a las vistas materializadas, sin necesidad de que el usuario realice ninguna acción.
- Datos nuevos. Las vistas materializadas muestran datos nuevos. Si los cambios en las tablas base pueden invalidar la vista materializada, los datos se leen de forma directa desde las tablas base. Si los cambios en las tablas base no invalidan la vista materializada, los demás datos se leerán desde la vista materializada y solo se leerán los cambios desde las tablas base.
- Ajuste inteligente. Si alguna parte de una consulta en la tabla de base se puede resolver mediante una consulta en la vista materializada, se redirige la consulta con BigQuery para usar la vista materializada y así mejorar el rendimiento y la eficiencia.
Comparación con las vistas lógicas
En la siguiente tabla, se resumen las similitudes y diferencias entre las vistas lógicas y las vistas materializadas de BigQuery.
Componente | Vistas lógicas | Vistas materializadas |
---|---|---|
Optimiza el procesamiento | No | Sí |
Compatibilidad con consulta en SQL | Todos | Limitado1 |
Partición y agrupamiento en clústeres | N/A | Sí |
Actualización incremental | No | Sí |
Almacenamiento adicional | No | Sí |
Reescritura de consultas | No | Sí |
Costos de mantenimiento | No | Sí |
Inactividad de los datos | Nunca | Opcional 2 |
1 La opción --allow_non_incremental_definition
admite un rango expandido de consultas de SQL para crear vistas materializadas. Para obtener una lista de las vistas materializadas admitidas, consulta Limitaciones de las consultas.
2 La opción --max_staleness
proporciona un rendimiento alto constante con costos controlados cuando se procesan conjuntos de datos grandes que cambian con frecuencia.
Casos de uso
Las vistas materializadas pueden optimizar las consultas con un costo de procesamiento elevado y resultados con conjuntos de datos pequeños. Los procesos que se benefician de las vistas materializadas incluyen operaciones de procesamiento analítico en línea (OLAP) que requieren un procesamiento significativo con consultas predecibles y repetidas, como las de procesos de extracción, transformación y carga (ETL) o las canalizaciones de inteligencia empresarial (IE).
En los siguientes casos de uso, se destaca el valor de las vistas materializadas. Las vistas materializadas pueden mejorar el rendimiento de las consultas si sueles requerir lo siguiente:
- Agregación previa de datos. Agregación de datos de transmisión.
- Filtro previo de datos. Ejecuta consultas que solo lean un subconjunto específico de la tabla.
- Unión previa de datos. Uniones de consultas, en especial entre tablas grandes y pequeñas.
- Reagrupación de los datos en clústeres. Ejecuta consultas que se beneficiarían de un esquema de agrupamiento en clústeres que difiera de las tablas base.
Ajuste inteligente
Las vistas materializadas se pueden usar para mejorar de forma transparente el rendimiento de las consultas sin modificarlas. Puedes usar una vista materializada para optimizar conjuntos de consultas con patrones comunes, como las que genera una herramienta de IE. Para obtener más información, consulta Usa vistas materializadas.
Vistas materializadas autorizadas
Puedes crear una vista materializada autorizada para compartir un subconjunto de datos de un conjunto de datos de origen con una vista en un conjunto de datos secundario. Luego, puedes compartir esta vista con usuarios y grupos específicos (principales) que pueden ver los datos que compartes. Las entidades principales pueden consultar los datos que proporcionas en una vista, pero no pueden acceder directamente al conjunto de datos de origen.
Las vistas autorizadas y las vistas materializadas autorizadas se autorizan de la misma manera. Para obtener más información, consulta Vistas autorizadas.
Interacción con otras funciones de BigQuery
Las siguientes características de BigQuery funcionan de manera transparente con vistas materializadas:
Explicación del plan de consultas: El plan de consultas refleja las vistas materializadas que se analizan (si las hay) y muestra cuántos bytes se leen de las vistas materializadas y las tablas base combinadas.
Almacenamiento de consultas en caché: Los resultados de una consulta que BigQuery vuelve a escribir con una vista materializada pueden almacenarse en caché, de acuerdo con las limitaciones habituales (uso de funciones deterministas, sin transmisión a las tablas base, etcétera).
Restricción de costos: Si estableciste un valor para la cantidad máxima de bytes facturados y una consulta lee una cantidad de bytes que supera el límite, la consulta falla sin incurrir en cargos, sin importar si la consulta usa vistas materializadas, las tablas base o ambas.
Estimación de costos mediante ejecuciones de prueba: Una ejecución de prueba repite la lógica de reescritura de la consulta con las vistas materializadas disponibles y proporciona una estimación de costos. Puedes usar esta función como una forma de probar si una consulta específica usa vistas materializadas.
Tablas habilitadas para caché de metadatos de BigLake
Vistas materializadas enTablas habilitadas para caché de metadatos de BigLake puede hacer referencia a datos estructurados almacenados en Cloud Storage y Amazon Simple Storage Service (Amazon S3). Estas vistas materializadas funcionan como vistas materializadas en tablas de almacenamiento administradas por BigQuery, incluidos los beneficios de actualización automática y ajuste inteligente. Otros beneficios incluyen la agregación, el filtrado previo y la unión previa de los datos almacenados fuera de BigQuery. Las vistas materializadas en tablas de BigLake se almacenan en el almacenamiento administrado de BigQuery y tienen todas las características de este.
Cuando creas una vista materializada en una tabla de BigLake de Amazon S3, los datos de la vista materializada no están disponibles para las uniones con datos de BigQuery. Si deseas que los datos de Amazon S3 en una vista materializada estén disponibles para las uniones, crea una réplica de la vista materializada. Solo puedes crear réplicas de vistas materializadas en vistas materializadas autorizadas.
Limitaciones
- Es posible que se apliquen límites a las referencias de tablas base y otras restricciones. Para obtener más información sobre los límites de vistas materializadas, consulta Cuotas y límites.
- Los datos de una vista materializada no se pueden actualizar ni manipular directamente mediante operaciones como
COPY
,EXPORT
,LOAD
,WRITE
o declaraciones de lenguaje de manipulación de datos (DML). - No puedes reemplazar una vista materializada existente con una vista del mismo nombre.
- La vista de SQL no se puede actualizar después de crear la vista materializada.
- Una vista materializada debe residir en la misma organización que las tablas base o en el mismo proyecto si este no pertenece a una organización.
- Las vistas materializadas admiten una sintaxis de SQL restringida y un conjunto limitado de funciones de agregación. Para obtener más información, consulta Vistas materializadas admitidas.
- Las vistas materializadas no se pueden anidar en otras vistas materializadas.
- Las vistas materializadas no pueden consultar tablas externas o comodín, vistas lógicas1 ni instantáneas.
- Solo se admite el dialecto de GoogleSQL para las vistas materializadas.
- Puedes establecer descripciones para las vistas materializadas, pero no puedes establecer descripciones de las columnas individuales en la vista materializada.
- Si borras una tabla base sin borrar primero la vista materializada, las consultas y las actualizaciones de la vista materializada fallarán. Si vuelves a crear la tabla base, también debes volver a crear la vista materializada.
- Si una vista materializada tiene una tabla base habilitada para la captura de datos de cambios, no se puede hacer referencia a esa tabla en la misma consulta que la vista materializada.
- Solo las vistas materializadas no incrementales pueden tener tablas base de conjuntos de datos externos de Spanner.
Si la última actualización de una vista materializada no incremental se produjo fuera del intervalo
max_staleness
, la consulta lee las tablas del conjunto de datos externo de Spanner base. Para obtener más información sobre las tablas de conjuntos de datos externos de Spanner, consulta Crea vistas materializadas sobre conjuntos de datos externos de Spanner.
1La compatibilidad con referencias de vistas lógicas se encuentra en vista previa. Para obtener más información, consulta Vistas lógicas de referencia.
Limitaciones de las vistas materializadas en tablas de BigLake
- No se admite la partición de la vista materializada. Las tablas base pueden usar la partición en Hive, pero el almacenamiento de vista materializada no se puede particionar en tablas de BigLake. Esto significa que cualquier eliminación de una tabla base provoca una actualización completa de la vista materializada. Para obtener más detalles, consulta Actualizaciones incrementales.
- El valor de la opción
-max_staleness
de la vista materializada debe ser mayor que el de la tabla base de BigLake. - Las uniones entre las tablas administradas de BigQuery y las tablas de BigLake no son compatibles con una sola definición de vista materializada.
- BigQuery BI Engine no admite la aceleración de vistas materializadas sobre tablas de BigLake.
Precios de las vistas materializadas
Los costos se asocian con los siguientes aspectos de las vistas materializadas:
- Consulta de vistas materializadas
- Mantenimiento de vistas materializadas, como cuando se actualizan las vistas materializadas. El costo de la actualización automática se factura al proyecto en el que reside la vista. El costo de la actualización manual se factura al proyecto en el que se ejecuta el trabajo de actualización manual. Para obtener más información sobre cómo controlar el costo de mantenimiento, consulta Actualiza el mantenimiento del trabajo.
- Almacenamiento de tablas de vistas materializadas
Componente | Precios según demanda | Precios basados en la capacidad |
---|---|---|
Realiza consultas | Bytes procesados por vistas materializadas y las partes necesarias de las tablas base.1 | Las ranuras se consumen con el tiempo de consulta. |
Mantenimiento | Bytes procesados durante el momento de la actualización. | Las ranuras se consumen con el tiempo de actualización. |
Almacenamiento | Bytes almacenados en vistas materializadas. | Bytes almacenados en vistas materializadas. |
1Cuando es posible, BigQuery solo lee los cambios desde la última vez que se actualizó la vista. Para obtener más información, consulta Actualizaciones incrementales.
Detalles del costo de almacenamiento
Para los valores agregados AVG
, ARRAY_AGG
y APPROX_COUNT_DISTINCT
de una vista materializada, el valor final no se almacena directamente. En vez de eso, BigQuery almacena de forma interna una vista materializada como un esbozo intermedio que se usa para producir el valor final.
Por ejemplo, considera la vista materializada que se crea con el siguiente comando:
CREATE MATERIALIZED VIEW project-id.my_dataset.my_mv_table AS SELECT date, AVG(net_paid) AS avg_paid FROM project-id.my_dataset.my_base_table GROUP BY date
Aunque la columna avg_paid
se procesa como NUMERIC
o FLOAT64
para el usuario, se almacena como BYTES
de forma interna, y su contenido es un esbozo intermedio de formato propietario. Para el cálculo del tamaño de los datos, la columna se trata como BYTES
.