Introducción a las vistas materializadas
Las vistas materializadas son vistas precalculadas que almacenan de forma periódica los resultados de una consulta en SQL. En algunos casos de uso, las vistas materializadas reducen el tiempo total de procesamiento y los cargos relacionados, ya que disminuyen la cantidad de datos que se deben analizar para cada consulta. Puedes consultar vistas materializadas como lo harías con otros recursos de datos.
En los siguientes casos de uso, se destaca el valor de las vistas materializadas:
- Procesamiento previo de datos : Mejora el rendimiento de las consultas mediante la preparación de agregaciones, filtros, uniones y clústeres.
- Aceleración del panel. Potencia las herramientas de BI, como Looker, que consultan con frecuencia las mismas métricas agregadas, por ejemplo, los usuarios activos por día.
- Análisis en tiempo real en transmisiones grandes. Puede proporcionar respuestas más rápidas en tablas que reciben datos de transmisión de alta velocidad.
- Administración de costos. Reduce el costo de las consultas repetitivas y costosas en conjuntos de datos grandes.
Las características clave de las vistas materializadas incluyen las siguientes:
- No requieren mantenimiento. Las vistas materializadas se precalculan en segundo plano cuando las tablas base cambian. Cualquier cambio en los datos incrementales de las tablas base se agrega de forma automática a las vistas materializadas, sin necesidad de que el usuario realice ninguna acción.
- Datos nuevos. Las vistas materializadas muestran datos nuevos. Si los cambios en las tablas base pueden invalidar la vista materializada, los datos se leen de forma directa desde las tablas base. Si los cambios en las tablas base no invalidan la vista materializada, los demás datos se leerán desde la vista materializada y solo se leerán los cambios desde las tablas base.
- Ajuste inteligente. Si alguna parte de una consulta en una tabla base se puede resolver mediante una consulta en la vista materializada, BigQuery redirige la consulta para usar la vista materializada y, así, mejorar el rendimiento y la eficiencia. Para obtener información sobre cómo y cuándo el ajuste inteligente puede mejorar las consultas, consulta Usa vistas materializadas.
Vistas materializadas incrementales y no incrementales
Existen dos tipos básicos de vistas materializadas:
- Las vistas materializadas incrementales admiten un conjunto limitado de funciones. Para obtener más información sobre la sintaxis de SQL admitida para las vistas materializadas, consulta Crea vistas materializadas. Solo las vistas materializadas incrementales pueden aprovechar el ajuste inteligente.
- Las funciones no incrementales admiten la mayoría de las sintaxis que no admiten las vistas materializadas incrementales.
Cuando creas vistas materializadas, de forma predeterminada, BigQuery solo te permite crear
vistas basadas en consultas incrementales. Para crear una vista no incremental, puedes
especificar allow_non_incremental_definition = true en la definición de la vista materializada.
El mejor tipo de vista materializada que se puede usar depende de tu situación. En la siguiente tabla, se comparan las funciones de las vistas materializadas incrementales y no incrementales:
| Categoría | Incremental | No incremental |
|---|---|---|
| Consulta admitida | Limitado | La mayoría de las consultas |
| Costo de mantenimiento | Puede reducir el costo de las consultas que se usan con frecuencia. Para obtener información sobre cómo se actualizan las vistas materializadas, consulta Actualizaciones incrementales. | Cada actualización ejecuta la consulta completa. |
| Compatibilidad con el ajuste inteligente | Compatible con la mayoría de las consultas de vistas. | No |
| Resultados siempre nuevos | Compatible. Las vistas incrementales muestran resultados de consultas nuevos, incluso cuando las tablas base cambiaron desde la última actualización. | No |
Vistas materializadas autorizadas
Puedes crear una vista materializada autorizada para compartir un subconjunto de datos de un conjunto de datos de origen en una vista en un conjunto de datos secundario. Luego, puedes compartir esta vista con usuarios y grupos (principales) específicos que pueden ver los datos que compartes. Los principales pueden consultar los datos que proporcionas en una vista, pero no pueden acceder al conjunto de datos de origen directamente.
Las vistas autorizadas y las vistas materializadas autorizadas se autorizan de la misma manera. Para obtener más detalles, consulta Vistas autorizadas.
Interacción con otras funciones de BigQuery
Las siguientes características de BigQuery funcionan de manera transparente con vistas materializadas:
Explicación del plan de consultas: El plan de consultas refleja las vistas materializadas que se analizan (si las hay) y muestra cuántos bytes se leen de las vistas materializadas y las tablas base combinadas.
Almacenamiento de consultas en caché: Los resultados de una consulta que BigQuery vuelve a escribir con una vista materializada pueden almacenarse en caché, de acuerdo con las limitaciones habituales (uso de funciones deterministas, sin transmisión a las tablas base, etcétera).
Restricción de costos: Si estableciste un valor para la cantidad máxima de bytes facturados y una consulta lee una cantidad de bytes que supera el límite, la consulta falla sin incurrir en cargos, sin importar si la consulta usa vistas materializadas, las tablas base o ambas.
Estimación de costos mediante ejecuciones de prueba: Una ejecución de prueba repite la lógica de reescritura de la consulta con las vistas materializadas disponibles y proporciona una estimación de costos. Puedes usar esta función como una forma de probar si una consulta específica usa vistas materializadas.
Tablas habilitadas para caché de metadatos de BigLake
Vistas materializadas en Tablas habilitadas para caché de metadatos de BigLake puede hacer referencia a datos estructurados almacenados en Cloud Storage y Amazon Simple Storage Service (Amazon S3). Estas vistas materializadas funcionan como vistas materializadas en tablas de almacenamiento administradas por BigQuery, incluidos los beneficios de actualización automática y ajuste inteligente. Otros beneficios incluyen la agregación, el filtrado previo y la unión previa de los datos almacenados fuera de BigQuery. Las vistas materializadas en tablas de BigLake se almacenan en el almacenamiento administrado de BigQuery y tienen todas las características de este.
Cuando creas una vista materializada en una tabla de BigLake de Amazon S3, los datos de la vista materializada no están disponibles para las uniones con datos de BigQuery. Si deseas que los datos de Amazon S3 en una vista materializada estén disponibles para las uniones, crea una réplica de la vista materializada. Solo puedes crear réplicas de vistas materializadas en vistas materializadas autorizadas.
Limitaciones
- Es posible que se apliquen límites a las referencias de tablas base y otras restricciones. Para obtener más información sobre los límites de vistas materializadas, consulta Cuotas y límites.
- Los datos de una vista materializada no se pueden actualizar ni manipular directamente mediante operaciones como
COPY,EXPORT,LOAD,WRITEo declaraciones de lenguaje de manipulación de datos (DML). - No puedes reemplazar una vista materializada existente con una vista materializada del mismo nombre.
- La vista de SQL no se puede actualizar después de crear la vista materializada.
- Una vista materializada debe residir en la misma organización que las tablas base, o en el mismo proyecto si este no pertenece a una organización.
- Las vistas materializadas admiten una sintaxis de SQL restringida y un conjunto limitado de funciones de agregación. Para obtener más información, consulta Vistas materializadas admitidas.
- Las vistas materializadas no se pueden anidar en otras vistas materializadas.
- Las vistas materializadas no pueden consultar tablas externas o comodín, vistas lógicas1, ni instantáneas.
- Solo se admite el dialecto de GoogleSQL para las vistas materializadas.
- Puedes establecer descripciones para las vistas materializadas, pero no puedes establecer descripciones de las columnas individuales en la vista materializada.
- Si borras una tabla base sin borrar primero la vista materializada, las consultas y las actualizaciones de la vista materializada fallarán. Si vuelves a crear la tabla base, también debes volver a crear la vista materializada.
- Si una vista materializada tiene una tabla base habilitada para la captura de datos modificados, no se puede hacer referencia a esa tabla en la misma consulta que la vista materializada.
- Solo las vistas materializadas no incrementales pueden tener Spanner
tablas base de conjuntos de datos externos.
Si la última actualización de una vista materializada no incremental se produjo
fuera del intervalo
max_staleness, la consulta lee las tablas base de conjuntos de datos externos de Spanner. Para obtener más información sobre las tablas de conjuntos de datos externos de Spanner, consulta Crea vistas materializadas en conjuntos de datos externos de Spanner.
1La compatibilidad con referencias de vistas lógicas se encuentra en vista previa. Para obtener más información, consulta Vistas lógicas de referencia.
Limitaciones de las vistas materializadas en tablas de BigLake
- No se admite la partición de la vista materializada. Las tablas base pueden usar la partición en Hive, pero el almacenamiento de vista materializada no se puede particionar en tablas de BigLake. Esto significa que cualquier eliminación de una tabla base provoca una actualización completa de la vista materializada. Para obtener más detalles, consulta Actualizaciones incrementales.
- El valor de la opción
--max_stalenessde la vista materializada debe ser mayor que el de la tabla base de BigLake. - Las uniones entre las tablas administradas de BigQuery y las tablas de BigLake no son compatibles con una sola definición de vista materializada.
- BigQuery BI Engine no admite la aceleración de vistas materializadas en tablas de BigLake.
Precios de las vistas materializadas
Los costos se asocian con los siguientes aspectos de las vistas materializadas:
- Consulta de vistas materializadas
- Mantenimiento de vistas materializadas, como cuando se actualizan las vistas materializadas. El costo de la actualización automática se factura al proyecto en el que reside la vista. El costo de la actualización manual se factura al proyecto en el que se ejecuta el trabajo de actualización manual. Para obtener más información sobre cómo controlar el costo de mantenimiento, consulta Actualiza el mantenimiento del trabajo.
- Almacenamiento de tablas de vistas materializadas
| Componente | Precios según demanda | Precios basados en la capacidad |
|---|---|---|
| Realiza consultas | Bytes procesados por vistas materializadas y las partes necesarias de las tablas base.1 | Las ranuras se consumen con el tiempo de consulta. |
| Mantenimiento | Bytes procesados durante el momento de la actualización. | Las ranuras se consumen con el tiempo de actualización. |
| Almacenamiento | Bytes almacenados en vistas materializadas. | Bytes almacenados en vistas materializadas. |
1Cuando es posible, BigQuery solo lee los cambios desde la última vez que se actualizó la vista. Para obtener más información, consulta Actualizaciones incrementales.
Detalles del costo de almacenamiento
Para los valores agregados AVG, ARRAY_AGG y APPROX_COUNT_DISTINCT de una vista materializada, el valor final no se almacena directamente. En vez de eso, BigQuery almacena de forma interna una vista materializada como un esbozo intermedio que se usa para producir el valor final.
Por ejemplo, considera la vista materializada que se crea con el siguiente comando:
CREATE MATERIALIZED VIEW project-id.my_dataset.my_mv_table AS SELECT date, AVG(net_paid) AS avg_paid FROM project-id.my_dataset.my_base_table GROUP BY date
Aunque la columna avg_paid se procesa como NUMERIC o FLOAT64 para el usuario, se almacena como BYTES de forma interna, y su contenido es un esbozo intermedio de formato propietario. Para el cálculo del tamaño de los datos,
la columna se trata como BYTES.
¿Qué sigue?
- Descripción general de las vistas lógicas y materializadas
- Crea vistas materializadas
- Usa vistas materializadas
- Administra vistas materializadas