Configure o BigQuery no Application Design Center

O BigQuery é um armazém de dados de estatísticas rentável, com capacidade para petabytes de dados e totalmente gerido que lhe permite executar estatísticas em enormes quantidades de dados quase em tempo real. Para mais informações, consulte a introdução ao BigQuery.

Este documento descreve os componentes e os parâmetros que pode configurar quando usa o App Design Center para criar um conjunto de dados do BigQuery. Os parâmetros de configuração baseiam-se no módulo do Terraform terraform-google-bigquery.

Ligações de componentes

A tabela seguinte inclui os componentes que pode associar a um conjunto de dados do BigQuery e as atualizações resultantes à sua aplicação e ao respetivo código Terraform gerado.

Componente ligado

Atualizações de aplicações

Informações gerais

Modelo de instância do Compute Engine

  • As instâncias do Compute Engine podem ler e escrever dados no conjunto de dados do BigQuery.
  • Os metadados de recursos do BigQuery são adicionados ao modelo de instância do Compute Engine.
  • A função roles/bigquery.dataEditor é adicionada à conta de serviço do modelo de instância do Compute Engine.
Modelos de instâncias
Conta de serviço
  • A conta de serviço pode ser usada por serviços, como o Cloud Run, para ler e modificar dados no conjunto de dados do BigQuery.
  • A função roles/bigquery.dataEditor do BigQuery é adicionada à conta de serviço.
Funções e autorizações de IAM do BigQuery
Cloud Run
  • O serviço do Cloud Run pode interagir com o conjunto de dados do BigQuery.
  • Os metadados de recursos do BigQuery são adicionados às variáveis de ambiente do Cloud Run.
  • A função roles/bigquery.dataEditor do BigQuery é adicionada à conta de serviço do Cloud Run.
O que é o Cloud Run

Pub/Sub

  • A subscrição do Pub/Sub pode escrever mensagens no conjunto de dados do BigQuery.
  • As informações do conjunto de dados do BigQuery são adicionadas aos campos de subscrição do BigQuery.
Subscrições do BigQuery

Parâmetros de configuração obrigatórios

Se o seu modelo incluir um componente do BigQuery, tem de configurar os seguintes parâmetros antes da implementação.

Nome do parâmetro

Descrição e restrições

Informações gerais

ID do conjunto de dados

id Introdução aos conjuntos de dados

ID do projeto

O projeto onde quer implementar o conjunto de dados e a tabela do BigQuery.

Configure os componentes

Parâmetros de configuração opcionais

Os parâmetros seguintes são opcionais. Para apresentar parâmetros avançados, na área Configuração, selecione Mostrar campos avançados.

Funcionalidade

Subfeature

Nome do parâmetro

Informações de descrição e restrição

Informações gerais

Tabelas

ID da tabela

id Introdução às tabelas

Descrição

description Introdução às tabelas

Nome da tabela

friendlyName Nomenclatura das tabelas

Esquema

schema Especificar um esquema

Agrupamento

clustering Introdução às tabelas agrupadas

Exigir filtro de partição

requirePartitionFilter Defina os requisitos do filtro de partição
Partição por tempo

Expiration MS

expirationMs Defina a validade da partição

Campo

campo Crie uma tabela particionada por colunas de unidades de tempo

Tipo

type Crie uma tabela particionada por colunas de unidades de tempo
Partição por intervalo

Campo

campo Defina os requisitos do filtro de partição

Início do intervalo

range.start Partição de intervalo de números inteiros

Fim do intervalo

range.end Partição de intervalo de números inteiros

Intervalo de alcance

range.interval Partição de intervalo de números inteiros

Prazo de validade

expirationTime Atualize a hora de validade de uma tabela

Proteção contra eliminação

Selecione a caixa de verificação para impedir que esta tabela seja eliminada pelo Terraform. Se não for selecionada, é usada a definição de proteção contra eliminação ao nível do componente.

deletion_protection
Etiquetas

Chave

etiquetas Adicione etiquetas a tabelas e vistas

Valor

etiquetas Adicione etiquetas a tabelas e vistas

Nome do conjunto de dados

friendlyName Nomeie conjuntos de dados

Descrição

description Atualize a descrição do conjunto de dados

Região

localização Localizações do BigQuery

Delete Contents on Destroy

Selecione esta opção para eliminar todas as tabelas no conjunto de dados quando destruir o recurso. Se não estiver selecionada, a destruição do recurso falha se existirem tabelas.

delete_contents_on_destroy

Proteção contra eliminação

Quando selecionada, uma aplicação ou uma destruição do Terraform que eliminaria tabelas falha. Quando não está selecionada, é possível eliminar tabelas. Pode substituir esta definição através da definição de proteção contra eliminação para cada tabela.

deletion_protection

Default Table Expiration MS

defaultTableExpirationMs Atualize os tempos de expiração predefinidos das tabelas

Default Partition Expiration MS

defaultPartitionExpirationMs Atualize os tempos de expiração da partição predefinidos

Horas máximas de viagem no tempo

maxTimeTravelHours Atualize as janelas de viagem no tempo

Modelo de faturação de armazenamento

StorageBillingModel Modelos de faturação de armazenamento

Chave de encriptação

kmsKeyName Encriptação em repouso
Etiquetas do conjunto de dados

Chave

etiquetas Adicione etiquetas a conjuntos de dados

Valor

valor Adicione etiquetas a conjuntos de dados
Etiquetas de recursos

Chave

resourceTags Definições e identificadores de etiquetas

Valor

resourceTags Definições e identificadores de etiquetas
Visualizações

ID da visualização

id Veja a nomenclatura

Descrição

description Introdução às visualizações

Consulta

consulta Atualizar a consulta SQL de uma vista

Usar SQL antigo

useLegacySql Migrar para o GoogleSQL
Etiquetas

Chave

etiquetas Adicione etiquetas a tabelas e vistas

Valor

etiquetas Adicione etiquetas a tabelas e vistas
Vistas materializadas

ID da visualização

id Veja a nomenclatura

Descrição

description Introdução às vistas materializadas

Consulta

consulta Suporte de consultas de vistas materializadas

Ativar atualização

enableRefresh Atualize vistas materializadas

Intervalo de atualização em MS

refreshIntervalMs Defina o limite de frequência de atualização

Agrupamento

fields[] Agrupe vistas materializadas
Partição por tempo

Expiration MS

expirationMs Defina a validade da partição

Campo

campo Crie uma tabela particionada por colunas de unidades de tempo

Tipo

type Crie uma tabela particionada por colunas de unidades de tempo

Exigir filtro de partição

requirePartitionFilter Defina os requisitos do filtro de partição
Partição por intervalo

Campo

campo Vistas materializadas particionadas

Início do intervalo

range.start Partição de intervalo de números inteiros

Fim do intervalo

range.end Partição de intervalo de números inteiros

Intervalo de alcance

range.interval Partição de intervalo de números inteiros

Prazo de validade

expirationTime Atualizar o tempo de expiração de uma vista

Max Staleness

maxStaleness Use vistas materializadas com a opção max_staleness
Etiquetas

Chave

etiquetas Adicione etiquetas a tabelas e vistas

Valor

etiquetas Adicione etiquetas a tabelas e vistas
Tabelas externas

ID da tabela

id Introdução às tabelas externas

Descrição

Uma descrição da tabela externa. description

Deteção automática

autodetect Use a opção de deteção automática

Compressão

compressão Carregar dados comprimidos e não comprimidos

Ignorar valores desconhecidos

ignoreUnknownValues Crie um ficheiro de definição de tabela para uma origem de dados externa

Max Bad Records

maxBadRecords Crie um ficheiro de definição de tabela para uma origem de dados externa

Esquema

schema Crie um ficheiro de definição de tabela para uma origem de dados externa

Formato de origem

sourceFormat Crie um ficheiro de definição de tabela para uma origem de dados externa

URIs de origem

sourceUris Crie um ficheiro de definição de tabela para uma origem de dados externa
Opções de CSV

Citação

quote Carregar dados CSV do Cloud Storage

Permitir linhas irregulares

allowJaggedRows Carregar dados CSV do Cloud Storage

Allow Quoted Newlines

allowQuotedNewlines Carregar dados CSV do Cloud Storage

Codificação

codificação Codificação

Delimitador de campo

FieldDelimiter Delimitadores de campos

Ignorar linhas iniciais

skipLeadingRows Opções de CSV
Opções do Google Sheets

Intervalo

range Crie tabelas externas do Google Drive

Ignorar linhas iniciais

skipLeadingRows Crie tabelas externas do Google Drive
Opções de particionamento do Hive

Modo

mode Modos de deteção

Prefixo do URI de origem

sourceUriPrefix Use dados particionados externamente

Prazo de validade

expirationTime Atualize a hora de validade de uma tabela

Max Staleness

maxStaleness Faça a gestão da desatualização das tabelas

Proteção contra eliminação

Selecione a caixa de verificação para impedir que esta tabela seja eliminada pelo Terraform. Se não for selecionada, é usada a definição de proteção contra eliminação ao nível do componente.

deletion_protection
Etiquetas

Chave

etiquetas Adicione etiquetas a tabelas e vistas

Valor

etiquetas Adicione etiquetas a tabelas e vistas
Rotinas

ID da rotina

routineId Faça a gestão das rotinas

Tipo de rotina

routineType RoutineType

Idioma

language Idioma

Corpo da definição

definitionBody Veja o corpo de uma rotina

Tipo de devolução

returnType StandardSqlDataType

Descrição

Uma descrição da rotina. description
Argumentos

Nome

O nome do argumento. name

Tipo de dados

dataType StandardSqlDataType

Argument Kind

argumentKind ArgumentKind

Modo

mode Modo