BigQuery データセットを構成する

Application Design Center を使用すると、エンタープライズ データ分析用の BigQuery データセットを作成して構成できます。データセットのコンポーネントとパラメータは、terraform-google-bigquery Terraform モジュールに基づいています。

コンポーネントの接続

次の表に、BigQuery データセットに接続できるコンポーネントと、アプリケーションとその生成された Terraform コードに対する更新を示します。

連結成分

アプリケーションの更新

背景情報

Compute Engine インスタンス テンプレート

  • Compute Engine インスタンスは、BigQuery データセットに対してデータの読み取りと書き込みを行うことができます。
  • BigQuery リソースのメタデータが Compute Engine インスタンス テンプレートに追加されます。
  • roles/bigquery.dataEditor ロールが Compute Engine インスタンス テンプレートのサービス アカウントに追加されます。
インスタンス テンプレート
サービス アカウント
  • このサービス アカウントは、Cloud Run などのサービスで BigQuery データセットのデータの読み取りと変更に使用できます。
  • BigQuery roles/bigquery.dataEditor ロールがサービス アカウントに追加されます。
BigQuery の IAM ロールと権限
Cloud Run
  • Cloud Run サービスは BigQuery データセットを操作できます。
  • BigQuery リソースのメタデータが Cloud Run の環境変数に追加されます。
  • BigQuery の roles/bigquery.dataEditor ロールが Cloud Run サービス アカウントに追加されます。
Cloud Run とは

Pub/Sub

  • Pub/Sub サブスクリプションは、BigQuery データセットにメッセージを書き込むことができます。
  • BigQuery データセットの情報が BigQuery サブスクリプション フィールドに追加されます。
BigQuery サブスクリプション

必須の構成パラメータ

テンプレートに BigQuery コンポーネントが含まれている場合は、デプロイする前に次のパラメータを構成する必要があります。

パラメータ名

説明と制約

背景情報

データセット ID

id データセットの概要

プロジェクト ID

BigQuery データセットとテーブルをデプロイするプロジェクト。

コンポーネントを構成する

オプションの構成パラメータ

次のパラメータは省略可能です。詳細パラメータを表示するには、[構成] 領域で [詳細フィールドを表示] を選択します。

機能

サブ機能

パラメータ名

説明と制約に関する情報

背景情報

テーブル

テーブル ID

id テーブルの概要

説明

description テーブルの概要

テーブル名

friendlyName テーブルの命名

スキーマ

スキーマ スキーマの指定

クラスタリング

クラスタリング クラスタ化テーブルの概要

パーティション フィルタを要求

requirePartitionFilter パーティション フィルタ要件を設定する
時間パーティショニング

有効期限(ミリ秒)

expirationMs パーティションの有効期限を設定する

フィールド

field 時間単位列パーティション分割テーブルを作成する

型

type 時間単位列パーティション分割テーブルを作成する
範囲パーティショニング

フィールド

field パーティション フィルタ要件を設定する

範囲の開始

range.start 整数範囲パーティショニング

範囲の終了

range.end 整数範囲パーティショニング

インターバル

range.interval 整数範囲パーティショニング

有効期限

expirationTime テーブルの有効期限を更新する

削除からの保護

このテーブルが Terraform によって削除されないようにするには、このチェックボックスをオンにします。選択しない場合、コンポーネント レベルの削除からの保護設定が使用されます。

deletion_protection
ラベル

Key(キー)

labels テーブルとビューにラベルを追加する

値

labels テーブルとビューにラベルを追加する

データセット名

friendlyName データセットに名前を付ける

説明

description データセットの説明を更新する

リージョン

location BigQuery のロケーション

破棄時にコンテンツを削除する

リソースを破棄するときに、データセット内のすべてのテーブルを削除する場合に選択します。選択されていない場合、テーブルが存在するとリソースの破棄が失敗します。

delete_contents_on_destroy

削除からの保護

選択すると、テーブルを削除する terraform apply または terraform destroy が失敗します。選択されていない場合、テーブルを削除できます。この設定は、各テーブルの削除からの保護設定を使用してオーバーライドできます。

deletion_protection

デフォルトのテーブル有効期限(ミリ秒)

defaultTableExpirationMs デフォルトのテーブルの有効期限を更新する

デフォルトのパーティション有効期限(ミリ秒)

defaultPartitionExpirationMs デフォルトのパーティションの有効期限を更新する

タイムトラベルの最大時間

maxTimeTravelHours タイムトラベル ウィンドウを更新する

ストレージの課金モデル

StorageBillingModel ストレージの課金モデル

暗号鍵

kmsKeyName 保存データの暗号化
データセット ラベル

Key(キー)

labels データセットにラベルを追加する

値

value データセットにラベルを追加する
リソースタグ

Key(キー)

resourceTags タグの定義と識別子

値

resourceTags タグの定義と識別子
ビュー

ビュー ID

id ビューの命名

説明

description ビューの概要

クエリ

query ビューの SQL クエリの更新

レガシー SQL を使用する

useLegacySql GoogleSQL への移行
ラベル

Key(キー)

labels テーブルとビューにラベルを追加する

値

labels テーブルとビューにラベルを追加する
マテリアライズド ビュー

ビュー ID

id ビューの命名

説明

description マテリアライズド ビューの概要

クエリ

query マテリアライズド ビュー クエリのサポート

更新を有効にする

enableRefresh マテリアライズド ビューの更新

更新間隔(ミリ秒)

refreshIntervalMs フリークエンシー キャップを設定する

クラスタリング

fields[] クラスタのマテリアライズド ビュー
時間パーティショニング

有効期限(ミリ秒)

expirationMs パーティションの有効期限を設定する

フィールド

field 時間単位列パーティション分割テーブルを作成する

型

type 時間単位列パーティション分割テーブルを作成する

パーティション フィルタを要求

requirePartitionFilter パーティション フィルタ要件を設定する
範囲パーティショニング

フィールド

field パーティション分割されたマテリアライズド ビュー

範囲の開始

range.start 整数範囲パーティショニング

範囲の終了

range.end 整数範囲パーティショニング

インターバル

range.interval 整数範囲パーティショニング

有効期限

expirationTime ビューの有効期限の更新

最大未更新

maxStaleness max_staleness オプションを指定してマテリアライズド ビューを使用する
ラベル

Key(キー)

labels テーブルとビューにラベルを追加する

値

labels テーブルとビューにラベルを追加する
外部テーブル

テーブル ID

id 外部テーブルの概要

説明

外部テーブルの説明。 description

自動検出

autodetect 自動検出フラグを使用する

圧縮

compression 圧縮データと非圧縮データを読み込む

不明な値を無視

ignoreUnknownValues 外部データソース用のテーブル定義ファイルを作成する

不良レコードの最大数

maxBadRecords 外部データソース用のテーブル定義ファイルを作成する

スキーマ

スキーマ 外部データソース用のテーブル定義ファイルを作成する

ソース形式

sourceFormat 外部データソース用のテーブル定義ファイルを作成する

ソース URI

sourceUris 外部データソース用のテーブル定義ファイルを作成する
CSV のオプション

見積もり

quote Cloud Storage からの CSV データの読み込み

ジャグ行を許可

allowJaggedRows Cloud Storage からの CSV データの読み込み

引用符で囲まれた改行を許可

allowQuotedNewlines Cloud Storage からの CSV データの読み込み

エンコード

エンコード エンコード

フィールド区切り文字

FieldDelimiter フィールド区切り文字

先頭行をスキップ

skipLeadingRows CSV のオプション
Google スプレッドシートのオプション

Range

range Google ドライブの外部テーブルを作成する

先頭行をスキップ

skipLeadingRows Google ドライブの外部テーブルを作成する
Hive パーティショニング オプション

Mode

モード 検出モード

ソース URI の接頭辞

sourceUriPrefix 外部でパーティションに分割されたデータを使用する

有効期限

expirationTime テーブルの有効期限を更新する

最大未更新

maxStaleness テーブルの未更新を管理する

削除からの保護

このテーブルが Terraform によって削除されないようにするには、このチェックボックスをオンにします。選択しない場合、コンポーネント レベルの削除からの保護設定が使用されます。

deletion_protection
ラベル

Key(キー)

labels テーブルとビューにラベルを追加する

値

labels テーブルとビューにラベルを追加する
ルーティン

ルーティン ID

routineId ルーティンを管理する

ルーティンの種類

routineType RoutineType

言語

language 言語

定義本文

definitionBody ルーティンの本文を表示する

戻り値の型

returnType StandardSqlDataType

説明

ルーティンの説明。 description
引数

名前

引数の名前。 name

データ型

dataType StandardSqlDataType

引数の種類

argumentKind ArgumentKind

Mode

モード Mode