Configura un conjunto de datos de BigQuery

Application Design Center te permite crear y configurar conjuntos de datos de BigQuery para el análisis de datos empresariales. Los componentes y parámetros del conjunto de datos se basan en el módulo de Terraform terraform-google-bigquery.

Conexiones de componentes

En la siguiente tabla, se incluyen los componentes que puedes conectar a un conjunto de datos de BigQuery y las actualizaciones resultantes en tu aplicación y su código de Terraform generado.

Componente conectado

Actualizaciones de la aplicación

Información general

Plantilla de instancias de Compute Engine

  • Las instancias de Compute Engine pueden leer y escribir datos en el conjunto de datos de BigQuery.
  • Los metadatos del recurso de BigQuery se agregan a la plantilla de instancias de Compute Engine.
  • El rol roles/bigquery.dataEditor se agrega a la cuenta de servicio de la plantilla de instancias de Compute Engine.
Plantillas de instancia
Cuenta de servicio
  • Los servicios, como Cloud Run, pueden usar la cuenta de servicio para leer y modificar datos en el conjunto de datos de BigQuery.
  • El rol roles/bigquery.dataEditor de BigQuery se agrega a la cuenta de servicio.
Roles y permisos de IAM para BigQuery
Cloud Run
  • El servicio de Cloud Run puede interactuar con el conjunto de datos de BigQuery.
  • Los metadatos de recursos de BigQuery se agregan a las variables de entorno de Cloud Run.
  • El rol roles/bigquery.dataEditor de BigQuery se agrega a la cuenta de servicio de Cloud Run.
¿Qué es Cloud Run?

Pub/Sub

  • La suscripción a Pub/Sub puede escribir mensajes en el conjunto de datos de BigQuery.
  • La información del conjunto de datos de BigQuery se agrega a los campos de la suscripción a BigQuery.
Suscripciones de BigQuery

Parámetros de configuración obligatorios

Si tu plantilla incluye un componente de BigQuery, debes configurar los siguientes parámetros antes de la implementación.

Nombre del parámetro

Descripción y restricciones

Información general

ID de conjunto de datos

id Introducción a los conjuntos de datos

ID del proyecto

Es el proyecto en el que deseas implementar el conjunto de datos y la tabla de BigQuery.

Configura componentes

Parámetros de configuración opcionales

Los siguientes parámetros son opcionales. Para mostrar los parámetros avanzados, en el área Configuración, selecciona Mostrar campos avanzados.

Función

Subfunción

Nombre del parámetro

Información sobre la descripción y la restricción

Información general

Tablas

ID de la tabla

id Introducción a las tablas

Descripción

description Introducción a las tablas

Nombre de la tabla

friendlyName Nombres de las tablas

Esquema

Esquema Especifica un esquema

Agrupamiento en clústeres

agrupamiento en clústeres Introducción a las tablas agrupadas

Exigir filtro de partición

requirePartitionFilter Establece requisitos del filtro de partición
Partición por tiempo

Expiration MS

expirationMs Establece el vencimiento de la partición

Campo

field Crea una tabla particionada por columnas de unidad de tiempo

Tipo

type Crea una tabla particionada por columnas de unidad de tiempo
Partición por rango

Campo

field Establece requisitos del filtro de partición

Inicio del rango

range.start Partición por rangos de números enteros

Fin del rango

range.end Partición por rangos de números enteros

Intervalo de rango

range.interval Partición por rangos de números enteros

Hora de vencimiento

expirationTime Actualiza la fecha de vencimiento de una tabla

Protección contra eliminaciones

Selecciona la casilla de verificación para evitar que Terraform borre esta tabla. Si no se selecciona, se usa el parámetro de configuración de protección contra eliminaciones a nivel del componente.

deletion_protection
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas

Nombre del conjunto de datos

friendlyName Asigna nombres a los conjuntos de datos

Descripción

description Actualiza la descripción del conjunto de datos

Región

ubicación Ubicaciones de BigQuery

Borrar el contenido cuando se destruya

Selecciona esta opción para borrar todas las tablas del conjunto de datos cuando se destruya el recurso. Si no se selecciona, la destrucción del recurso falla si hay tablas presentes.

delete_contents_on_destroy

Protección contra eliminaciones

Cuando se selecciona, fallará un terraform apply o terraform destroy que borraría tablas. Cuando no se selecciona, las tablas se pueden borrar. Puedes anular este parámetro de configuración con el parámetro de protección contra eliminaciones de cada tabla.

deletion_protection

Vencimiento predeterminado de la tabla en milisegundos

defaultTableExpirationMs Actualiza los tiempos de vencimiento predeterminados de la tabla

Default Partition Expiration MS

defaultPartitionExpirationMs Actualiza los tiempos de vencimiento predeterminados de las particiones

Cantidad máxima de horas de viaje en el tiempo

maxTimeTravelHours Actualiza los períodos de tiempo

Modelo de facturación de almacenamiento

StorageBillingModel Modelos de facturación de almacenamiento

Clave de encriptación

kmsKeyName Encriptación en reposo
Etiquetas de conjuntos de datos

Clave

labels Agrega etiquetas a los conjuntos de datos

Valor

value Agrega etiquetas a los conjuntos de datos
Etiquetas de recursos

Clave

resourceTags Identificadores y definiciones de etiquetas

Valor

resourceTags Identificadores y definiciones de etiquetas
Vistas

ID de vista

id Nombres de las vistas

Descripción

description Introducción a las vistas

Consulta

query Actualiza una consulta de SQL de una vista

Usa SQL heredado

useLegacySql Migra a GoogleSQL
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Vistas materializadas

ID de vista

id Nombres de las vistas

Descripción

description Introducción a las vistas materializadas

Consulta

query Compatibilidad de las consultas de vistas materializadas

Habilita la actualización

enableRefresh Actualizar vistas materializadas

Intervalo de actualización en ms

refreshIntervalMs Establece la limitación de frecuencia de actualización

Agrupamiento en clústeres

fields[] Vistas materializadas de clústeres
Partición por tiempo

Expiration MS

expirationMs Establece el vencimiento de la partición

Campo

field Crea una tabla particionada por columnas de unidad de tiempo

Tipo

type Crea una tabla particionada por columnas de unidad de tiempo

Exigir filtro de partición

requirePartitionFilter Establece requisitos del filtro de partición
Partición por rango

Campo

field Vistas materializadas particionadas

Inicio del rango

range.start Partición por rangos de números enteros

Fin del rango

range.end Partición por rangos de números enteros

Intervalo de rango

range.interval Partición por rangos de números enteros

Hora de vencimiento

expirationTime Actualiza la hora de vencimiento de una vista

Inactividad máxima

maxStaleness Usa vistas materializadas con la opción max_staleness
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Tablas externas

ID de la tabla

id Introducción a las tablas externas

Descripción

Es una descripción de la tabla externa. description

Detección automática

autodetect Usa la marca autodetect

Compresión

compression Carga datos comprimidos y sin comprimir

Ignorar valores desconocidos

ignoreUnknownValues Crea un archivo de definición de tablas para una fuente de datos externa

Cantidad máx. de registros erróneos

maxBadRecords Crea un archivo de definición de tablas para una fuente de datos externa

Esquema

Esquema Crea un archivo de definición de tablas para una fuente de datos externa

Formato de origen

sourceFormat Crea un archivo de definición de tablas para una fuente de datos externa

URIs de origen

sourceUris Crea un archivo de definición de tablas para una fuente de datos externa
Opciones de CSV

Cotización

quote Carga datos de CSV desde Cloud Storage

Permitir filas irregulares

allowJaggedRows Carga datos de CSV desde Cloud Storage

Permitir saltos de línea entre comillas

allowQuotedNewlines Carga datos de CSV desde Cloud Storage

Codificación

codificación Codificación

Delimitador de campos

FieldDelimiter Delimitadores de campo

Omitir filas iniciales

skipLeadingRows Opciones de CSV
Opciones de Hojas de cálculo de Google

Range

rango Crea tablas externas de Google Drive

Omitir filas principales

skipLeadingRows Crea tablas externas de Google Drive
Opciones de partición de subárbol

Mode

modo Modos de detección

Prefijo del URI de origen

sourceUriPrefix Usa datos particionados de forma externa

Hora de vencimiento

expirationTime Actualiza la fecha de vencimiento de una tabla

Inactividad máxima

maxStaleness Administra la obsolescencia de la tabla

Protección contra eliminaciones

Selecciona la casilla de verificación para evitar que Terraform borre esta tabla. Si no se selecciona, se usa el parámetro de configuración de protección contra eliminaciones a nivel del componente.

deletion_protection
Etiquetas

Clave

labels Agrega etiquetas a las tablas y vistas

Valor

labels Agrega etiquetas a las tablas y vistas
Rutinas

ID de rutina

routineId Administra rutinas

Tipo de rutina

routineType RoutineType

Idioma

language Idioma

Cuerpo de la definición

definitionBody Ve el cuerpo de una rutina

Tipo de datos que se devuelve

returnType StandardSqlDataType

Descripción

Es una descripción de la rutina. description
Argumentos

Nombre

Es el nombre del argumento. name

Tipo de datos

dataType StandardSqlDataType

Tipo de argumento

argumentKind ArgumentKind

Mode

modo Mode