在 Application Design Center 中設定 BigQuery

BigQuery 是全代管、PB 級且具成本效益的數據分析資料倉儲,可對大量資料執行近乎即時的分析。詳情請參閱 BigQuery 簡介

本文說明使用應用程式設計中心建立 BigQuery 資料集時,可設定的元件和參數。設定參數是以 terraform-google-bigquery Terraform 模組為依據。

元件連線

下表列出可連結至 BigQuery 資料集的元件,以及應用程式和產生的 Terraform 程式碼的更新結果。

已連結的元件

應用程式更新

背景資訊

Compute Engine 執行個體範本

  • Compute Engine 執行個體可以讀取及寫入 BigQuery 資料集中的資料。
  • BigQuery 資源中繼資料會新增至 Compute Engine 執行個體範本。
  • roles/bigquery.dataEditor 角色已新增至 Compute Engine 執行個體範本服務帳戶。
執行個體範本
服務帳戶
  • 服務 (例如 Cloud Run) 可使用服務帳戶讀取及修改 BigQuery 資料集中的資料。
  • BigQuery roles/bigquery.dataEditor 角色會新增至服務帳戶。
BigQuery IAM 角色和權限
Cloud Run
  • Cloud Run 服務可以與 BigQuery 資料集互動。
  • BigQuery 資源中繼資料會新增至 Cloud Run 環境變數。
  • BigQuery roles/bigquery.dataEditor 角色會新增至 Cloud Run 服務帳戶。
什麼是 Cloud Run?

Pub/Sub

  • Pub/Sub 訂閱項目可將訊息寫入 BigQuery 資料集。
  • BigQuery 資料集資訊會新增至 BigQuery 訂閱欄位。
BigQuery 訂閱項目

必要設定參數

如果範本包含 BigQuery 元件,您必須先設定下列參數,才能部署範本。

參數名稱

說明和限制

背景資訊

資料集 ID

id 資料集簡介

專案 ID

要部署 BigQuery 資料集和資料表的專案。

設定元件

選用設定參數

以下是視需要選用的參數。如要顯示進階參數,請在「設定」區域選取「顯示進階欄位」

功能

子功能

參數名稱

說明和限制資訊

背景資訊

資料表

資料表 ID

id 資料表簡介

說明

description 資料表簡介

資料表名稱

friendlyName 資料表命名

結構定義

結構定義 指定結構定義

分群

分群 叢集資料表簡介

必須使用分區篩選器

requirePartitionFilter 設定分區篩選器必要條件
時間分區

Expiration MS

expirationMs 設定分區有效期限

欄位

欄位 建立時間單位資料欄分區資料表

類型

type 建立時間單位資料欄分區資料表
範圍分區

欄位

欄位 設定分區篩選器必要條件

範圍開始

range.start 整數範圍分區

範圍結尾

range.end 整數範圍分區

範圍間隔

range.interval 整數範圍分區

到期時間

expirationTime 更新資料表的到期時間

防刪除功能

勾選這個核取方塊,即可防止 Terraform 刪除這個資料表。如未選取,系統會使用元件層級的刪除保護設定。

deletion_protection
標籤

金鑰

labels 為資料表和檢視表新增標籤

labels 為資料表和檢視表新增標籤

資料集名稱

friendlyName 為資料集命名

說明

description 更新資料集說明

區域

location BigQuery 位置

刪除銷毀內容

選取這個選項,即可在資源毀損時刪除資料集中的所有資料表。如未選取,且存在資料表,則資源會無法銷毀。

delete_contents_on_destroy

防刪除功能

選取後,如果 terraform apply 或 terraform destroy 會刪除資料表,就會失敗。如未選取,則可刪除表格。您可以針對每個資料表使用刪除保護設定,覆寫這項設定。

deletion_protection

預設資料表到期時間 (毫秒)

defaultTableExpirationMs 更新預設資料表的到期時間

預設分區到期時間 (毫秒)

defaultPartitionExpirationMs 更新預設分區到期時間

懷舊片時數上限

maxTimeTravelHours 更新時間回溯期

儲存空間計費模式

StorageBillingModel 儲存空間計費模式

加密金鑰

kmsKeyName 靜態資料加密
資料集標籤

金鑰

labels 為資料集新增標籤

value 為資料集新增標籤
資源標記

金鑰

resourceTags 標記定義和 ID

resourceTags 標記定義和 ID
瀏覽次數

查看 ID

id 查看命名

說明

description 檢視畫面簡介

查詢

query 更新檢視表的 SQL 查詢

使用舊版 SQL

useLegacySql 遷移至 GoogleSQL
標籤

金鑰

labels 為資料表和檢視表新增標籤

labels 為資料表和檢視表新增標籤
具體化檢視表

查看 ID

id 查看命名

說明

description 具體化檢視表簡介

查詢

query 支援具體化檢視表查詢

啟用重新整理

enableRefresh 重新整理具體化檢視表

重新整理間隔 (毫秒)

refreshIntervalMs 設定重新整理頻率上限

分群

fields[] 叢集具體化檢視表
時間分區

Expiration MS

expirationMs 設定分區有效期限

欄位

欄位 建立時間單位資料欄分區資料表

類型

type 建立時間單位資料欄分區資料表

必須使用分區篩選器

requirePartitionFilter 設定分區篩選器必要條件
範圍分區

欄位

欄位 已分割的具體化檢視表

範圍開始

range.start 整數範圍分區

範圍結尾

range.end 整數範圍分區

範圍間隔

range.interval 整數範圍分區

到期時間

expirationTime 更新檢視表的到期時間

過時程度上限

maxStaleness 使用具體化檢視表和 max_staleness 選項
標籤

金鑰

labels 為資料表和檢視表新增標籤

labels 為資料表和檢視表新增標籤
外部資料表

資料表 ID

id 外部資料表簡介

說明

外部資料表的說明。 description

自動偵測

autodetect 使用自動偵測標記

壓縮

壓縮 載入壓縮與未壓縮資料

忽略不明的值

ignoreUnknownValues 針對外部資料來源建立資料表定義檔

損壞記錄數量上限

maxBadRecords 針對外部資料來源建立資料表定義檔

結構定義

結構定義 針對外部資料來源建立資料表定義檔

來源格式

sourceFormat 針對外部資料來源建立資料表定義檔

來源 URI

sourceUris 針對外部資料來源建立資料表定義檔
CSV 選項

引述

quote 從 Cloud Storage 載入 CSV 資料

允許不規則資料列

allowJaggedRows 從 Cloud Storage 載入 CSV 資料

允許引用換行符號

allowQuotedNewlines 從 Cloud Storage 載入 CSV 資料

編碼

編碼 編碼

欄位分隔符號

FieldDelimiter 欄位分隔符號

略過標頭列

skipLeadingRows CSV 選項
Google 試算表選項

範圍

範圍 建立 Google 雲端硬碟外部資料表

略過標頭列

skipLeadingRows 建立 Google 雲端硬碟外部資料表
Hive 分區選項

眾數

mode 偵測模式

來源 URI 前置字串

sourceUriPrefix 使用外部分區資料

到期時間

expirationTime 更新資料表的到期時間

過時程度上限

maxStaleness 管理資料表過時程度

防刪除功能

勾選這個核取方塊,即可防止 Terraform 刪除這個資料表。如未選取,系統會使用元件層級的刪除保護設定。

deletion_protection
標籤

金鑰

labels 為資料表和檢視表新增標籤

labels 為資料表和檢視表新增標籤
處理常式

處理常式 ID

routineId 管理日常安排

日常安排類型

routineType RoutineType

語言

language 語言

定義主體

definitionBody 查看日常安排的內容

傳回型別

returnType StandardSqlDataType

說明

處理常式的說明。 description
引數

名稱

引數名稱。 name

資料類型

dataType StandardSqlDataType

引數種類

argumentKind ArgumentKind

眾數

mode 眾數