Configurar BigQuery en el centro de diseño de aplicaciones

BigQuery es un almacén de datos de analíticas rentable, totalmente gestionado y a escala de petabytes con el que puedes ejecutar analíticas de grandes cantidades de datos casi en tiempo real. Para obtener más información, consulta la introducción a BigQuery.

En este documento se describen los componentes y los parámetros que puede configurar al usar App Design Center para crear un conjunto de datos de BigQuery. Los parámetros de configuración se basan en el módulo de Terraform terraform-google-bigquery.

Conexiones de componentes

En la siguiente tabla se incluyen los componentes que puede conectar a un conjunto de datos de BigQuery, así como las actualizaciones resultantes en su aplicación y en el código de Terraform generado.

Componente conectado

Actualizaciones de aplicaciones

Información general

Plantilla de instancia de Compute Engine

  • Las instancias de Compute Engine pueden leer y escribir datos en el conjunto de datos de BigQuery.
  • Los metadatos de recursos de BigQuery se añaden a la plantilla de instancia de Compute Engine.
  • El rol roles/bigquery.dataEditor se añade a la cuenta de servicio de la plantilla de instancia de Compute Engine.
Plantillas de instancias
Cuenta de servicio
  • Los servicios, como Cloud Run, pueden usar la cuenta de servicio para leer y modificar datos del conjunto de datos de BigQuery.
  • El rol roles/bigquery.dataEditor de BigQuery se añade a la cuenta de servicio.
Roles y permisos de gestión de identidades y accesos de BigQuery
Cloud Run
  • El servicio de Cloud Run puede interactuar con el conjunto de datos de BigQuery.
  • Los metadatos de recursos de BigQuery se añaden a las variables de entorno de Cloud Run.
  • El rol roles/bigquery.dataEditor de BigQuery se añade a la cuenta de servicio de Cloud Run.
Qué es Cloud Run

Pub/Sub

  • La suscripción de Pub/Sub puede escribir mensajes en el conjunto de datos de BigQuery.
  • La información del conjunto de datos de BigQuery se añade a los campos de suscripción de BigQuery.
Suscripciones de BigQuery

Parámetros de configuración obligatorios

Si tu plantilla incluye un componente de BigQuery, debes configurar los siguientes parámetros antes de implementarla.

Nombre del parámetro

Descripción y restricciones

Información general

ID de conjunto de datos

id Introducción a los conjuntos de datos

ID del proyecto

El proyecto en el que quieras desplegar el conjunto de datos y la tabla de BigQuery.

Configurar componentes

Parámetros de configuración opcionales

Los siguientes parámetros son opcionales. Para mostrar los parámetros avanzados, en el área Configuración, selecciona Mostrar campos avanzados.

Función

Subfunción

Nombre del parámetro

Descripción e información de las restricciones

Información general

Tablas

ID de tabla

id Introducción a las tablas

Descripción

description Introducción a las tablas

Nombre de la tabla

friendlyName Nombres de tablas

Esquema

esquema Especificar un esquema

Clustering

agrupación Introducción a las tablas agrupadas en clústeres

Requisito de filtro de partición

requirePartitionFilter Definir los requisitos de los filtros de partición
Partición por tiempo

MS de caducidad

expirationMs Definir la caducidad de la partición

Campo

campo Crear una tabla con particiones por columnas de unidades de tiempo

Tipo

type Crear una tabla con particiones por columnas de unidades de tiempo
Partición por intervalo

Campo

campo Definir los requisitos de los filtros de partición

Inicio del intervalo

range.start Partición por intervalo de números enteros

Fin del intervalo

range.end Partición por intervalo de números enteros

Intervalo de rango

range.interval Partición por intervalo de números enteros

Hora de vencimiento

expirationTime Actualizar la hora de caducidad de una tabla

Protección contra la eliminación

Selecciona la casilla para evitar que Terraform elimine esta tabla. Si no se selecciona, se usa el ajuste Protección contra eliminación a nivel de componente.

deletion_protection
Etiquetas

Clave

labels Añadir etiquetas a tablas y vistas

Valor

labels Añadir etiquetas a tablas y vistas

Nombre del conjunto de datos

friendlyName Asignar nombres a los conjuntos de datos

Descripción

description Actualizar la descripción de un conjunto de datos

Region

ubicación Ubicaciones de BigQuery

Eliminar contenido al destruir

Selecciona esta opción para eliminar todas las tablas del conjunto de datos al destruir el recurso. Si no se selecciona, no se podrá eliminar el recurso si hay tablas.

delete_contents_on_destroy

Protección contra la eliminación

Si se selecciona, se producirá un error en terraform apply o terraform destroy que eliminaría tablas. Si no está seleccionada, las tablas se pueden eliminar. Puedes anular este ajuste con el ajuste de protección contra eliminación de cada tabla.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Actualizar las horas de caducidad predeterminadas de las tablas

Default Partition Expiration MS

defaultPartitionExpirationMs Actualizar las horas de caducidad predeterminadas de las particiones

Horas máximas de viaje en el tiempo

maxTimeTravelHours Actualizar las ventanas de viajes en el tiempo

Modelo de facturación del almacenamiento

StorageBillingModel Modelos de facturación del almacenamiento

Clave de cifrado

kmsKeyName Encriptado en reposo
Etiquetas de conjuntos de datos

Clave

labels Añadir etiquetas a conjuntos de datos

Valor

value Añadir etiquetas a conjuntos de datos
Etiquetas de recursos

Clave

resourceTags Definiciones e identificadores de etiquetas

Valor

resourceTags Definiciones e identificadores de etiquetas
Vistas

ID de vista

id Ver nomenclatura

Descripción

description Introducción a las vistas

Consulta

query Actualizar la consulta de SQL de una vista

Usar SQL antiguo

useLegacySql Migrar a GoogleSQL
Etiquetas

Clave

labels Añadir etiquetas a tablas y vistas

Valor

labels Añadir etiquetas a tablas y vistas
Vistas materializadas

ID de vista

id Ver nomenclatura

Descripción

description Introducción a las vistas materializadas

Consulta

query Compatibilidad con consultas de vistas materializadas

Habilitar actualización

enableRefresh Actualizar vistas materializadas

Intervalo de actualización en milisegundos

refreshIntervalMs Definir el límite de frecuencia de actualización

Clustering

fields[] Clúster de vistas materializadas
Partición por tiempo

MS de caducidad

expirationMs Definir la caducidad de la partición

Campo

campo Crear una tabla con particiones por columnas de unidades de tiempo

Tipo

type Crear una tabla con particiones por columnas de unidades de tiempo

Requisito de filtro de partición

requirePartitionFilter Definir los requisitos de los filtros de partición
Partición por intervalo

Campo

campo Vistas materializadas particionadas

Inicio del intervalo

range.start Partición por intervalo de números enteros

Fin del intervalo

range.end Partición por intervalo de números enteros

Intervalo de rango

range.interval Partición por intervalo de números enteros

Hora de vencimiento

expirationTime Actualizar la fecha de vencimiento de una vista

Antigüedad máxima

maxStaleness Usar vistas materializadas con la opción max_staleness
Etiquetas

Clave

labels Añadir etiquetas a tablas y vistas

Valor

labels Añadir etiquetas a tablas y vistas
Tablas externas

ID de tabla

id Introducción a las tablas externas

Descripción

Descripción de la tabla externa. description

Detección automática

detección automática Usar la marca de detección automática

Compresión

compresión Cargar datos comprimidos y sin comprimir

Ignorar valores desconocidos

ignoreUnknownValues Crear un archivo de definición de tabla para una fuente de datos externa

Máximo de registros incorrectos

maxBadRecords Crear un archivo de definición de tabla para una fuente de datos externa

Esquema

esquema Crear un archivo de definición de tabla para una fuente de datos externa

Formato de origen

sourceFormat Crear un archivo de definición de tabla para una fuente de datos externa

URIs de origen

sourceUris Crear un archivo de definición de tabla para una fuente de datos externa
Opciones de CSV

Presupuesto

quote Cargar datos CSV de Cloud Storage

Permitir filas escalonadas

allowJaggedRows Cargar datos CSV de Cloud Storage

Permitir saltos de línea entrecomillados

allowQuotedNewlines Cargar datos CSV de Cloud Storage

Codificación

codificación Codificación

Delimitador de campo

FieldDelimiter Delimitadores de campos

Saltar filas superiores

skipLeadingRows Opciones de CSV
Opciones de Hojas de cálculo de Google

Intervalo

intervalo Crear tablas externas de Google Drive

Saltar filas superiores

skipLeadingRows Crear tablas externas de Google Drive
Opciones de partición de Hive

Modo

modo Modos de detección

Prefijo del URI de origen

sourceUriPrefix Usar datos con particiones externas

Hora de vencimiento

expirationTime Actualizar la hora de caducidad de una tabla

Antigüedad máxima

maxStaleness Gestionar la antigüedad de las tablas

Protección contra la eliminación

Selecciona la casilla para evitar que Terraform elimine esta tabla. Si no se selecciona, se usa el ajuste Protección contra eliminación a nivel de componente.

deletion_protection
Etiquetas

Clave

labels Añadir etiquetas a tablas y vistas

Valor

labels Añadir etiquetas a tablas y vistas
Rutinas

ID de rutina

routineId Gestionar rutinas

Tipo de rutina

routineType RoutineType

Idioma

language Idioma

Cuerpo de la definición

definitionBody Ver el cuerpo de una rutina

Tipo de valor devuelto

returnType StandardSqlDataType

Descripción

Descripción de la rutina. description
Argumentos

Nombre

Nombre del argumento. name

Tipo de datos

dataType StandardSqlDataType

Tipo de argumento

argumentKind ArgumentKind

Modo

modo Modo