Configura BigQuery en Application Design Center

BigQuery es un almacén de datos de estadísticas rentable, a escala de petabytes y completamente administrado que te permite ejecutar estadísticas en grandes cantidades de datos casi en tiempo real. Para obtener más información, consulta la introducción a BigQuery.

En este documento, se describen los componentes y parámetros que puedes configurar cuando usas el Centro de diseño de apps para crear un conjunto de datos de BigQuery. Los parámetros de configuración se basan en el módulo de Terraform terraform-google-bigquery.

Conexiones de componentes

En la siguiente tabla, se incluyen los componentes que puedes conectar a un conjunto de datos de BigQuery y las actualizaciones resultantes en tu aplicación y su código de Terraform generado.

Componente conectado

Actualizaciones de la aplicación

Información general

Plantilla de instancia de Compute Engine

  • Las instancias de Compute Engine pueden leer y escribir datos en el conjunto de datos de BigQuery.
  • Los metadatos del recurso de BigQuery se agregan a la plantilla de instancia de Compute Engine.
  • Se agrega el rol roles/bigquery.dataEditor a la cuenta de servicio de la plantilla de instancia de Compute Engine.
Plantillas de instancia
Cuenta de servicio
  • Los servicios, como Cloud Run, pueden usar la cuenta de servicio para leer y modificar datos en el conjunto de datos de BigQuery.
  • Se agrega el rol roles/bigquery.dataEditor de BigQuery a la cuenta de servicio.
Roles y permisos de IAM de BigQuery
Cloud Run
  • El servicio de Cloud Run puede interactuar con el conjunto de datos de BigQuery.
  • Los metadatos del recurso de BigQuery se agregan a las variables de entorno de Cloud Run.
  • Se agrega el rol roles/bigquery.dataEditor de BigQuery a la cuenta de servicio de Cloud Run.
¿Qué es Cloud Run?

Pub/Sub

  • La suscripción a Pub/Sub puede escribir mensajes en el conjunto de datos de BigQuery.
  • La información del conjunto de datos de BigQuery se agrega a los campos de suscripción de BigQuery.
Suscripciones a BigQuery

Parámetros de configuración obligatorios

Si tu plantilla incluye un componente de BigQuery, debes configurar los siguientes parámetros antes de implementarla.

Nombre del parámetro

Descripción y restricciones

Información general

ID de conjunto de datos

id Introducción a los conjuntos de datos

ID del proyecto

Es el proyecto en el que deseas implementar el conjunto de datos y la tabla de BigQuery.

Configura componentes

Parámetros de configuración opcionales

Los siguientes parámetros son opcionales. Para mostrar los parámetros avanzados, en el área Configuración, selecciona Mostrar campos avanzados.

Función

Subcaracterística

Nombre del parámetro

Información de descripción y restricción

Información general

Tablas

ID de la tabla

id Introducción a las tablas

Descripción

description Introducción a las tablas

Nombre de la tabla

friendlyName Nombres de las tablas

Esquema

Esquema Especifica un esquema

Agrupamiento en clústeres

Agrupamiento en clústeres Introducción a las tablas agrupadas

Require Partition Filter

requirePartitionFilter Establece requisitos del filtro de partición
Partición por tiempo

Expiration MS

expirationMs Establece el vencimiento de la partición

Campo

field Crea una tabla particionada por columnas de unidad de tiempo

Tipo

type Crea una tabla particionada por columnas de unidad de tiempo
Particionamiento por rango

Campo

field Establece requisitos del filtro de partición

Inicio del rango

range.start Partición por rangos de números enteros

Final del rango

range.end Partición por rangos de números enteros

Intervalo

range.interval Partición por rangos de números enteros

Hora de vencimiento

expirationTime Actualiza la fecha de vencimiento de una tabla

Protección contra la eliminación

Selecciona la casilla de verificación para evitar que Terraform borre esta tabla. Si no se selecciona, se usará el parámetro de configuración de Protección contra borrado a nivel del componente.

deletion_protection
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas

Nombre del conjunto de datos

friendlyName Asigna nombres a los conjuntos de datos

Descripción

description Actualiza la descripción del conjunto de datos

Región

ubicación Ubicaciones de BigQuery

Delete Contents on Destroy

Selecciona esta opción para borrar todas las tablas del conjunto de datos cuando se destruya el recurso. Si no se selecciona, la destrucción del recurso falla si hay tablas presentes.

delete_contents_on_destroy

Protección contra la eliminación

Si se selecciona esta opción, fallará cualquier terraform apply o terraform destroy que borre tablas. Cuando no está seleccionada, se pueden borrar las tablas. Puedes anular este parámetro de configuración con el parámetro de configuración de protección contra eliminación de cada tabla.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Actualiza los tiempos de vencimiento predeterminados de la tabla

Default Partition Expiration MS

defaultPartitionExpirationMs Actualiza el vencimiento predeterminado de las particiones

Horas máximas de viaje en el tiempo

maxTimeTravelHours Actualiza los períodos de tiempo

Modelo de facturación de almacenamiento

StorageBillingModel Modelos de facturación de almacenamiento

Clave de encriptación

kmsKeyName Encriptación en reposo
Etiquetas de conjuntos de datos

Clave

labels Agrega etiquetas a los conjuntos de datos

Valor

value Agrega etiquetas a los conjuntos de datos
Etiquetas de recursos

Clave

resourceTags Identificadores y definiciones de etiquetas

Valor

resourceTags Identificadores y definiciones de etiquetas
Vistas

ID de vista

id Nombres de las vistas

Descripción

description Introducción a las vistas

Consulta

query Actualiza una consulta de SQL de una vista

Usar SQL heredado

useLegacySql Migración a GoogleSQL
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Vistas materializadas

ID de vista

id Nombres de las vistas

Descripción

description Introducción a las vistas materializadas

Consulta

query Compatibilidad con consultas de vistas materializadas

Habilitar actualización

enableRefresh Actualizar vistas materializadas

Intervalo de actualización en ms

refreshIntervalMs Cómo establecer la limitación de frecuencia de actualización

Agrupamiento en clústeres

fields[] Vistas materializadas de clústeres
Partición por tiempo

Expiration MS

expirationMs Establece el vencimiento de la partición

Campo

field Crea una tabla particionada por columnas de unidad de tiempo

Tipo

type Crea una tabla particionada por columnas de unidad de tiempo

Require Partition Filter

requirePartitionFilter Establece requisitos del filtro de partición
Particionamiento por rango

Campo

field Vistas materializadas particionadas

Inicio del rango

range.start Partición por rangos de números enteros

Final del rango

range.end Partición por rangos de números enteros

Intervalo

range.interval Partición por rangos de números enteros

Hora de vencimiento

expirationTime Actualiza la hora de vencimiento de una vista

Max Staleness

maxStaleness Usa vistas materializadas con la opción max_staleness
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Tablas externas

ID de la tabla

id Introducción a las tablas externas

Descripción

Es una descripción de la tabla externa. description

Detección automática

autodetect Usa la marca autodetect

Compresión

compresión Carga datos comprimidos y sin comprimir

Ignorar valores desconocidos

ignoreUnknownValues Crea un archivo de definición de tablas para una fuente de datos externa

Max Bad Records

maxBadRecords Crea un archivo de definición de tablas para una fuente de datos externa

Esquema

Esquema Crea un archivo de definición de tablas para una fuente de datos externa

Formato de origen

sourceFormat Crea un archivo de definición de tablas para una fuente de datos externa

URIs de origen

sourceUris Crea un archivo de definición de tablas para una fuente de datos externa
Opciones de CSV

Cotización

quote Carga datos de CSV desde Cloud Storage

Permitir filas irregulares

allowJaggedRows Carga datos de CSV desde Cloud Storage

Permitir saltos de línea en secciones entrecomilladas

allowQuotedNewlines Carga datos de CSV desde Cloud Storage

Codificación

encoding Codificación

Delimitador de campos

FieldDelimiter Delimitadores de campo

Omitir filas principales

skipLeadingRows Opciones de CSV
Opciones de Hojas de cálculo de Google

Range

rango Crea tablas externas de Google Drive

Omitir filas principales

skipLeadingRows Crea tablas externas de Google Drive
Opciones de partición de subárbol

Mode

modo Modos de detección

Prefijo del URI de origen

sourceUriPrefix Usa datos particionados de forma externa

Hora de vencimiento

expirationTime Actualiza la fecha de vencimiento de una tabla

Max Staleness

maxStaleness Administra la obsolescencia de la tabla

Protección contra la eliminación

Selecciona la casilla de verificación para evitar que Terraform borre esta tabla. Si no se selecciona, se usará el parámetro de configuración de Protección contra borrado a nivel del componente.

deletion_protection
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Rutinas

ID de rutina

routineId Administrar rutinas

Tipo de rutina

routineType RoutineType

Idioma

language Idioma

Cuerpo de la definición

definitionBody Cómo ver el cuerpo de una rutina

Tipo de datos que se muestra

returnType StandardSqlDataType

Descripción

Es una descripción de la rutina. description
Argumentos

Nombre

Es el nombre del argumento. name

Tipo de datos

dataType StandardSqlDataType

Tipo de argumento

argumentKind ArgumentKind

Mode

modo Mode