配置 BigQuery 数据集

借助 Application Design Center,您可以创建和配置 BigQuery 数据集,以进行企业数据分析。数据集组件和参数基于 terraform-google-bigquery Terraform 模块。

组件连接

下表列出了您可以连接到 BigQuery 数据集的组件,以及对应用及其生成的 Terraform 代码进行的相应更新。

关联的组成部分

应用更新

背景信息

Compute Engine 实例模板

  • Compute Engine 实例可以读取和写入 BigQuery 数据集中的数据。
  • BigQuery 资源元数据已添加到 Compute Engine 实例模板中。
  • roles/bigquery.dataEditor 角色已添加到 Compute Engine 实例模板服务账号。
实例模板
服务账号
  • Cloud Run 等服务可以使用该服务账号读取和修改 BigQuery 数据集中的数据。
  • BigQuery roles/bigquery.dataEditor 角色已添加到服务账号。
BigQuery IAM 角色和权限
Cloud Run
  • Cloud Run 服务可以与 BigQuery 数据集进行交互。
  • BigQuery 资源元数据会添加到 Cloud Run 环境变量中。
  • BigQuery roles/bigquery.dataEditor 角色已添加到 Cloud Run 服务账号。
Cloud Run 是什么

Pub/Sub

  • Pub/Sub 订阅可以将消息写入 BigQuery 数据集。
  • BigQuery 数据集信息会添加到 BigQuery 订阅字段中。
BigQuery 订阅

必需的配置参数

如果您的模板包含 BigQuery 组件,则必须在部署之前配置以下参数。

参数名称

说明和限制

背景信息

数据集 ID

id 数据集简介

项目 ID

您要在其中部署 BigQuery 数据集和表的项目。

配置组件

可选配置参数

以下参数是可选的。如需显示高级参数,请在配置区域中选择显示高级字段。

功能

子功能

参数名称

说明和限制条件信息

背景信息

表

表 ID

id 表简介

说明

description 表简介

表名称

friendlyName 表命名

架构

schema 指定架构

聚簇

聚类 聚簇表简介

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
时间分区

Expiration MS

expirationMs 设置分区失效时间

字段

field 创建时间单位列分区表

类型

type 创建时间单位列分区表
范围分区

字段

field 设置分区过滤条件要求

范围开始

range.start 整数范围分区

范围结束

range.end 整数范围分区

Range Interval

range.interval 整数范围分区

到期时间

expirationTime 更新表的到期时间

防删除保护

选中此复选框可防止此表被 Terraform 删除。如果未选择,系统会使用组件级防删除保护设置。

deletion_protection
标签

键

labels 为表和视图添加标签

值

labels 为表和视图添加标签

数据集名称

friendlyName 命名数据集

说明

description 更新数据集说明

区域

location BigQuery 位置

销毁时删除内容

选择此选项可在销毁资源时删除数据集中的所有表。如果未选择,则在存在表的情况下销毁资源会失败。

delete_contents_on_destroy

防删除保护

如果选择此选项,则会删除表的 terraform apply 或 terraform destroy 将失败。如果未选中,则可以删除表。您可以使用每个表的防删除保护设置来覆盖此设置。

deletion_protection

默认表到期时间(毫秒)

defaultTableExpirationMs 更新默认表到期时间

默认分区到期时间(毫秒)

defaultPartitionExpirationMs 更新默认分区到期时间

时间旅行小时数上限

maxTimeTravelHours 更新时间旅行窗口

存储空间结算模式

StorageBillingModel 存储空间结算模式

加密密钥

kmsKeyName 静态加密
数据集标签

键

labels 为数据集添加标签

值

value 为数据集添加标签
资源标记

键

resourceTags 标记定义和标识符

值

resourceTags 标记定义和标识符
视图

数据视图 ID

id 视图命名

说明

description 视图简介

查询

query 更新视图的 SQL 查询

使用旧版 SQL

useLegacySql 迁移到 GoogleSQL
标签

键

labels 为表和视图添加标签

值

labels 为表和视图添加标签
物化视图

数据视图 ID

id 视图命名

说明

description 物化视图简介

查询

query 物化视图查询支持

启用刷新

enableRefresh 刷新物化视图

刷新间隔(毫秒)

refreshIntervalMs 设置刷新频次上限

聚簇

fields[] 聚簇物化视图
时间分区

Expiration MS

expirationMs 设置分区失效时间

字段

field 创建时间单位列分区表

类型

type 创建时间单位列分区表

需要分区过滤条件

requirePartitionFilter 设置分区过滤条件要求
范围分区

字段

field 分区物化视图

范围开始

range.start 整数范围分区

范围结束

range.end 整数范围分区

范围间隔

range.interval 整数范围分区

到期时间

expirationTime 更新视图的到期时间

最长过时期限

maxStaleness 将物化视图与 max_staleness 选项结合使用
标签

键

labels 为表和视图添加标签

值

labels 为表和视图添加标签
外部表

表 ID

id 外部表简介

说明

外部表的说明。 description

自动检测

autodetect 使用自动检测标志

压缩

compression 加载经过压缩和未经压缩的数据

忽略未知值

ignoreUnknownValues 为外部数据源创建表定义文件

错误记录数上限

maxBadRecords 为外部数据源创建表定义文件

架构

schema 为外部数据源创建表定义文件

来源格式

sourceFormat 为外部数据源创建表定义文件

来源 URI

sourceUris 为外部数据源创建表定义文件
CSV 选项

引言

quote 从 Cloud Storage 加载 CSV 数据

允许使用可选列留空的行

allowJaggedRows 从 Cloud Storage 加载 CSV 数据

允许引用的数据中包含换行符

allowQuotedNewlines 从 Cloud Storage 加载 CSV 数据

编码

编码 编码

字段分隔符

FieldDelimiter 字段分隔符

前面被跳过的行数

skipLeadingRows CSV 选项
Google 表格选项

Range

range 创建 Google 云端硬盘外部表

前面被跳过的行数

skipLeadingRows 创建 Google 云端硬盘外部表
Hive 分区选项

Mode

mode 检测模式

来源 URI 前缀

sourceUriPrefix 使用外部分区数据

到期时间

expirationTime 更新表的到期时间

最长过时期限

maxStaleness 管理表格过时情况

防删除保护

选中该复选框可防止此表被 Terraform 删除。如果未选择,系统会使用组件级防删除保护设置。

deletion_protection
标签

键

labels 为表和视图添加标签

值

labels 为表和视图添加标签
例程

例程 ID

routineId 管理日常安排

日常安排类型

routineType RoutineType

语言

language 语言

定义正文

definitionBody 查看例程的正文

返回值类型

returnType StandardSqlDataType

说明

例程的说明。 description
参数

名称

参数的名称。 name

数据类型

dataType StandardSqlDataType

参数类型

argumentKind ArgumentKind

Mode

mode Mode