在应用设计中心内配置 BigQuery

BigQuery 是一种经济实惠的全代管式 PB 级分析数据仓库,可让您近乎实时地分析大量数据。如需了解详情,请参阅 BigQuery 简介

本文档介绍了使用应用设计中心创建 BigQuery 数据集时可以配置的组件和参数。配置参数基于 terraform-google-bigquery Terraform 模块。

组件连接

下表列出了可连接到 BigQuery 数据集的组件,以及对应用及其生成的 Terraform 代码的相应更新。

关联的组成部分

申请动态

背景信息

Compute Engine 实例模板

  • Compute Engine 实例可以读取和写入 BigQuery 数据集中的数据。
  • BigQuery 资源元数据已添加到 Compute Engine 实例模板。
  • roles/bigquery.dataEditor 角色已添加到 Compute Engine 实例模板服务账号。
实例模板
服务账号
  • Cloud Run 等服务可以使用该服务账号来读取和修改 BigQuery 数据集中的数据。
  • BigQuery roles/bigquery.dataEditor 角色已添加到服务账号。
BigQuery IAM 角色和权限
Cloud Run
  • Cloud Run 服务可以与 BigQuery 数据集进行交互。
  • BigQuery 资源元数据会添加到 Cloud Run 环境变量中。
  • BigQuery roles/bigquery.dataEditor 角色已添加到 Cloud Run 服务账号。
Cloud Run 是什么

Pub/Sub

  • Pub/Sub 订阅可以将消息写入 BigQuery 数据集。
  • BigQuery 数据集信息会添加到 BigQuery 订阅字段中。
BigQuery 订阅

必需的配置参数

如果您的模板包含 BigQuery 组件,则必须在部署之前配置以下参数。

参数名称

说明和限制

背景信息

数据集 ID

id 数据集简介

项目 ID

您要部署 BigQuery 数据集和表的项目。

配置组件

可选配置参数

以下参数为可选参数。如需显示高级参数,请在配置区域中选择显示高级字段

功能

子功能

参数名称

说明和限制条件信息

背景信息

表 ID

id 表简介

说明

description 表简介

表名称

friendlyName 表命名

架构

schema 指定架构

聚簇

聚类 聚簇表简介

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
时间分区

Expiration MS

expirationMs 设置分区失效时间

字段

字段 创建时间单位列分区表

类型

type 创建时间单位列分区表
范围分区

字段

字段 设置分区过滤条件要求

范围开始

range.start 整数范围分区

范围结束

range.end 整数范围分区

范围间隔

range.interval 整数范围分区

到期时间

expirationTime 更新表的到期时间

删除防护

选中此复选框可防止 Terraform 删除此表。如果未选择,则使用组件级删除保护设置。

deletion_protection
标签

labels 为表和视图添加标签

labels 为表和视图添加标签

数据集名称

friendlyName 命名数据集

说明

description 更新数据集说明

区域

location BigQuery 位置

在销毁时删除内容

选择在销毁资源时删除数据集中的所有表。如果未选择,则在存在表的情况下销毁资源会失败。

delete_contents_on_destroy

删除防护

如果选中此选项,则会使将删除表的 terraform apply 或 terraform destroy 失败。如果未选中此复选框,则可以删除表格。您可以使用每个表的删除保护设置来替换此设置。

deletion_protection

默认表过期时间(以毫秒为单位)

defaultTableExpirationMs 更新默认表到期时间

默认分区失效时间(毫秒)

defaultPartitionExpirationMs 更新默认分区到期时间

时间旅行小时数上限

maxTimeTravelHours 更新时间旅行窗口

存储空间结算模式

StorageBillingModel 存储空间结算模式

加密密钥

kmsKeyName 静态加密
数据集标签

labels 为数据集添加标签

value 为数据集添加标签
资源标记

resourceTags 标记定义和标识符

resourceTags 标记定义和标识符
视图

观看 ID

id 查看命名

说明

description 视图简介

查询

query 更新视图的 SQL 查询

使用旧版 SQL

useLegacySql 迁移到 GoogleSQL
标签

labels 为表和视图添加标签

labels 为表和视图添加标签
具体化视图

观看 ID

id 查看命名

说明

description 物化视图简介

查询

query 具体化视图查询支持

启用刷新

enableRefresh 刷新具体化视图

刷新间隔时间(毫秒)

refreshIntervalMs 设置刷新频次上限

聚簇

fields[] 聚簇具体化视图
时间分区

Expiration MS

expirationMs 设置分区失效时间

字段

字段 创建时间单位列分区表

类型

type 创建时间单位列分区表

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
范围分区

字段

字段 分区具体化视图

范围开始

range.start 整数范围分区

范围结束

range.end 整数范围分区

范围间隔

range.interval 整数范围分区

到期时间

expirationTime 更新视图的到期时间

最长过时期限

maxStaleness 将物化视图与 max_staleness 选项结合使用
标签

labels 为表和视图添加标签

labels 为表和视图添加标签
外部表

表 ID

id 外部表简介

说明

外部表的说明。 description

自动检测

自动检测 使用自动检测标志

压缩

compression 加载压缩和未压缩的数据

忽略未知值

ignoreUnknownValues 为外部数据源创建表定义文件

错误记录数上限

maxBadRecords 为外部数据源创建表定义文件

架构

schema 为外部数据源创建表定义文件

来源格式

sourceFormat 为外部数据源创建表定义文件

来源 URI

sourceUris 为外部数据源创建表定义文件
CSV 选项

引用

报价 从 Cloud Storage 加载 CSV 数据

允许使用可选列留空的行

allowJaggedRows 从 Cloud Storage 加载 CSV 数据

允许引用的数据中包含换行符

allowQuotedNewlines 从 Cloud Storage 加载 CSV 数据

编码

编码 编码

字段分隔符

FieldDelimiter 字段分隔符

跳过前面的行

skipLeadingRows CSV 选项
Google 表格选项

Range

range 创建 Google 云端硬盘外部表

跳过前面的行

skipLeadingRows 创建 Google 云端硬盘外部表
Hive 分区选项

Mode

mode 检测模式

来源 URI 前缀

sourceUriPrefix 使用外部分区数据

到期时间

expirationTime 更新表的到期时间

最长过时期限

maxStaleness 管理表格过时情况

删除防护

选中此复选框可防止 Terraform 删除此表。如果未选择,则使用组件级删除保护设置。

deletion_protection
标签

labels 为表和视图添加标签

labels 为表和视图添加标签
例程

例程 ID

routineId 管理例程

例程类型

routineType RoutineType

语言

language 语言

定义正文

definitionBody 查看例程的正文

返回类型

returnType StandardSqlDataType

说明

例程的说明。 description
参数

名称

实参的名称。 name

数据类型

dataType StandardSqlDataType

实参类型

argumentKind ArgumentKind

Mode

mode Mode