Configurar o BigQuery no App Design Center

O BigQuery é um data warehouse de análise totalmente gerenciado, econômico e em escala de petabytes que permite executar análises em grandes quantidades de dados quase em tempo real. Para mais informações, consulte Introdução ao BigQuery.

Neste documento, descrevemos os componentes e parâmetros que podem ser configurados ao usar o App Design Center para criar um conjunto de dados do BigQuery. Os parâmetros de configuração são baseados no módulo do Terraform terraform-google-bigquery.

Conexões de componentes

A tabela a seguir inclui os componentes que podem ser conectados a um conjunto de dados do BigQuery e as atualizações resultantes no aplicativo e no código Terraform gerado.

Componente conectado

Atualizações de aplicativos

Informações prévias

Modelo de instância do Compute Engine

  • As instâncias do Compute Engine podem ler e gravar dados no conjunto de dados do BigQuery.
  • Os metadados de recursos do BigQuery são adicionados ao modelo de instância do Compute Engine.
  • O papel roles/bigquery.dataEditor é adicionado à conta de serviço do modelo de instância do Compute Engine.
Modelos de instância
Conta de serviço
  • A conta de serviço pode ser usada por serviços, como o Cloud Run, para ler e modificar dados no conjunto de dados do BigQuery.
  • O papel roles/bigquery.dataEditor do BigQuery é adicionado à conta de serviço.
Permissões e papéis do IAM do BigQuery
Cloud Run
  • O serviço do Cloud Run pode interagir com o conjunto de dados do BigQuery.
  • Os metadados de recursos do BigQuery são adicionados às variáveis de ambiente do Cloud Run.
  • O papel roles/bigquery.dataEditor do BigQuery é adicionado à conta de serviço do Cloud Run.
O que é o Cloud Run

Pub/Sub

  • A assinatura do Pub/Sub pode gravar mensagens no conjunto de dados do BigQuery.
  • As informações do conjunto de dados do BigQuery são adicionadas aos campos de assinatura do BigQuery.
Assinaturas do BigQuery

Parâmetros de configuração obrigatórios

Se o modelo incluir um componente do BigQuery, configure os seguintes parâmetros antes da implantação.

Nome do parâmetro

Descrição e restrições

Informações prévias

ID do conjunto de dados

id Introdução aos conjuntos de dados

ID do projeto

O projeto em que você quer implantar o conjunto de dados e a tabela do BigQuery.

Configurar componentes

Parâmetros de configuração opcionais

Os seguintes parâmetros são opcionais. Para mostrar parâmetros avançados, na área Configuração, selecione Mostrar campos avançados.

Recurso

Subrecurso

Nome do parâmetro

Descrição e informações de restrição

Informações prévias

Tabelas

ID da tabela

id Introdução a tabelas

Descrição

description Introdução a tabelas

Nome da tabela

friendlyName Nomenclatura de tabelas

Esquema

schema Como especificar um esquema

Clustering

clustering Introdução às tabelas em cluster

Exigir filtro de particionamento

requirePartitionFilter Definir requisitos de filtro de partição
Particionamento por tempo

MS de validade

expirationMs Definir a expiração da partição

Campo

campo Criar uma tabela particionada por coluna de unidade de tempo

Tipo

type Criar uma tabela particionada por coluna de unidade de tempo
Particionamento por intervalo

Campo

campo Definir requisitos de filtro de partição

Início do intervalo

range.start Particionamento por intervalo de números inteiros

Fim do intervalo

range.end Particionamento por intervalo de números inteiros

Intervalo de intervalo

range.interval Particionamento por intervalo de números inteiros

Prazo de validade

expirationTime Atualizar o prazo de validade de uma tabela

Proteção contra exclusão

Marque a caixa de seleção para impedir que essa tabela seja excluída pelo Terraform. Se não for selecionada, será usada a configuração de proteção contra exclusão no nível do componente.

deletion_protection
Rótulos

Key

labels Adicionar rótulos a tabelas e visualizações

Valor

labels Adicionar rótulos a tabelas e visualizações

Nome do conjunto de dados

friendlyName Nomear conjuntos de dados

Descrição

description Atualizar a descrição do conjunto de dados

Região

local Locais do BigQuery

Excluir conteúdo ao destruir

Selecione para excluir todas as tabelas do conjunto de dados ao destruir o recurso. Se não estiver selecionada, a destruição do recurso vai falhar se houver tabelas.

delete_contents_on_destroy

Proteção contra exclusão

Quando selecionada, uma ação "terraform apply" ou "terraform destroy" que excluiria tabelas vai falhar. Quando não está selecionada, as tabelas podem ser excluídas. É possível substituir essa configuração usando a proteção contra exclusão de cada tabela.

deletion_protection

MS de validade da tabela padrão

defaultTableExpirationMs Atualizar os prazos de validade padrão da tabela

MS de expiração da partição padrão

defaultPartitionExpirationMs Atualizar os prazos de validade padrão de partições

Máximo de horas de viagem no tempo

maxTimeTravelHours Atualizar janelas de viagem no tempo

Modelo de faturamento do armazenamento

StorageBillingModel Modelos de faturamento do Storage

Chave de criptografia

kmsKeyName Criptografia em repouso
Rótulos do conjunto de dados

Key

labels Adicionar rótulos a conjuntos de dados

Valor

value Adicionar rótulos a conjuntos de dados
Tags de recursos

Key

resourceTags Definições e identificadores de tags

Valor

resourceTags Definições e identificadores de tags
Visualizações

ID da visualização

id Nomenclatura de visualizações

Descrição

description Introdução às visualizações

Consulta

query Como atualizar a consulta SQL de uma visualização

Usar SQL legado

useLegacySql Como migrar para o GoogleSQL
Rótulos

Key

labels Adicionar rótulos a tabelas e visualizações

Valor

labels Adicionar rótulos a tabelas e visualizações
Visualizações materializadas

ID da visualização

id Nomenclatura de visualizações

Descrição

description Introdução às visualizações materializadas

Consulta

query Compatibilidade com consultas de visualizações materializadas

Ativar atualização

enableRefresh Atualizar visualizações materializadas

Intervalo de atualização em MS

refreshIntervalMs Definir o limite de frequência de atualização

Clustering

fields[] Visualizações materializadas em cluster
Particionamento por tempo

MS de validade

expirationMs Definir a expiração da partição

Campo

campo Criar uma tabela particionada por coluna de unidade de tempo

Tipo

type Criar uma tabela particionada por coluna de unidade de tempo

Exigir filtro de particionamento

requirePartitionFilter Definir requisitos de filtro de partição
Particionamento por intervalo

Campo

campo Visualizações materializadas particionadas

Início do intervalo

range.start Particionamento por intervalo de números inteiros

Fim do intervalo

range.end Particionamento por intervalo de números inteiros

Intervalo de intervalo

range.interval Particionamento por intervalo de números inteiros

Prazo de validade

expirationTime Como atualizar o prazo de validade de uma visualização

Máximo de inatividade

maxStaleness Usar visualizações materializadas com a opção max_staleness
Rótulos

Key

labels Adicionar rótulos a tabelas e visualizações

Valor

labels Adicionar rótulos a tabelas e visualizações
Tabelas externas

ID da tabela

id Introdução a tabelas externas

Descrição

Uma descrição da tabela externa. description

Detecção automática

autodetect Usar a flag de detecção automática

Compactação

compression Como carregar dados compactados e descompactados

Ignorar valores desconhecidos

ignoreUnknownValues Criar um arquivo de definição de tabela para uma fonte de dados externa

Máximo de registros corrompidos

maxBadRecords Criar um arquivo de definição de tabela para uma fonte de dados externa

Esquema

schema Criar um arquivo de definição de tabela para uma fonte de dados externa

Formato de origem

sourceFormat Criar um arquivo de definição de tabela para uma fonte de dados externa

URIs de origem

sourceUris Criar um arquivo de definição de tabela para uma fonte de dados externa
Opções de CSV

Citação

quote Como carregar dados CSV do Cloud Storage

Permitir linhas dentadas

allowJaggedRows Como carregar dados CSV do Cloud Storage

Permitir novas linhas com citação direta

allowQuotedNewlines Como carregar dados CSV do Cloud Storage

Codificação

codificação Codificação

Delimitador de campo

FieldDelimiter Delimitadores de campo

Pular linhas iniciais

skipLeadingRows Opções de CSV
Opções do Google Planilhas

Intervalo

Intervalo Criar tabelas externas no Google Drive

Pular linhas iniciais

skipLeadingRows Criar tabelas externas no Google Drive
Opções de particionamento do Hive

Moda

mode Modos de detecção

Prefixo do URI de origem

sourceUriPrefix Usar dados particionados externamente

Prazo de validade

expirationTime Atualizar o prazo de validade de uma tabela

Máximo de inatividade

maxStaleness Gerenciar inatividade da tabela

Proteção contra exclusão

Marque a caixa de seleção para impedir que essa tabela seja excluída pelo Terraform. Se não for selecionada, será usada a configuração de proteção contra exclusão no nível do componente.

deletion_protection
Rótulos

Key

labels Adicionar rótulos a tabelas e visualizações

Valor

labels Adicionar rótulos a tabelas e visualizações
Rotinas

ID da rotina

routineId Gerenciar rotinas

Tipo de rotina

routineType RoutineType

Idioma

idioma: Idioma

Corpo da definição

definitionBody Ver o corpo de uma rotina

Tipo de retorno

returnType StandardSqlDataType

Descrição

Uma descrição da rotina. description
Argumentos

Nome

O nome do argumento. name

Tipo de dado

dataType StandardSqlDataType

Tipo de argumento

argumentKind ArgumentKind

Moda

mode Moda