システムルール テンプレートのリスト

Knowledge Catalog（以前の Dataplex Universal Catalog）は、データ品質とデータ検証のプロセスを定義して自動化するために使用できるさまざまなルール テンプレートをサポートしています。これらのテンプレートの実装は、データ ガバナンスの重要な部分であり、データセットの正確性と一貫性を維持するために不可欠です。

使用するテンプレートを特定するには、リソースでデータ プロファイリングを実行して、潜在的な品質の問題を特定します。必要な品質チェックを特定したら、このページから適切なテンプレートを選択して、リソースのルールを定義できます。

このページでは、どのリージョンでも使用できるシステムルールのテンプレートの一覧を示します。

テーブルの形状

名前 説明
Column Count Equality Expectation テーブル内の列の数が指定された値と等しいかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
Column Count Range Expectation テーブル内の列数が指定された範囲内にあるかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
列の存在の期待値 テーブルに特定の列が存在するかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
鮮度の期待値 列の最新のデータが指定された間隔よりも新しいかどうかを評価する集計ルール。
グループ化された鮮度に関する期待値 列の最新のグループ化されたデータが指定された間隔よりも新しいかどうかを評価する集計ルール。
順序付きスキーマ一致の期待値 テーブル内の順序付きの列が、指定された順序付きのリストと完全に一致するかどうかを評価する集計ルール。
行数の等価性に関する期待値 テーブル内の行数が指定された値と等しいかどうかを評価する集計ルール。
行数の範囲の期待値 テーブル内の行数が指定された範囲内にあるかどうかを評価する集計ルール。
スキーマの包含の期待値 テーブル内の列のセットに、指定されたセット内のすべての列が含まれているかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
スキーマ除外の期待値 テーブル内の列が指定されたセットに含まれていないかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
スキーマ一致の期待値 テーブル内の列が指定されたセットと完全に一致するかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
Table Comparison Aggregate Equality Expectation 集計式の結果が現在のテーブルと指定された参照テーブルで等しいかどうかを評価する集計ルール。
Table Comparison Aggregate Range Expectation 現在のテーブルの集計式の結果が、指定された許容範囲を超えて参照テーブルから逸脱しているかどうかを評価する集計ルール。
Table Comparison Row Count Equality Expectation 現在のテーブルの行数が指定された参照テーブルの行数と等しいかどうかを評価する集計ルール。カウント前にオプションで行をフィルタリングできます。
Table Comparison Row Count Factor Equality Expectation 現在のテーブルの行数が、指定された参照テーブルの行数の因数と等しいかどうかを評価する集計ルール。カウント前にオプションの行フィルタリングを行うことができます。

欠損値、固有値、型

名前 説明
Column Type Expectation（列の型の期待値） 列のデータ型が指定された型と一致するかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
Column Type List Expectation 列のデータ型が指定されたセットに含まれているかどうかを評価する集計ルール。このルールでは、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
Non Null Expectation 各列の値が null でないかどうかを評価する行レベルのルール。
Null の期待値 各列の値が null かどうかを評価する行レベルのルール。
文字列のケースの期待値 各列値の文字列が指定された大文字と小文字の区別と一致するかどうかを評価する行レベルのルール。
一意性の期待値 各列の値が一意かどうかを評価する行レベルのルール。

セットと範囲

名前 説明
期待値の減少 列の値が減少しているかどうかを評価する集計ルール。NULL 値は無視されます。期待値が満たされていない最初の行を返します。
高まる期待 列の値が増加しているかどうかを評価する集計ルール。NULL 値は無視されます。期待値が満たされていない最初の行を返します。
範囲の期待値 各列の値が指定された範囲内にあるかどうかを評価する行レベルのルール。
リファレンス セットの期待値 各列の値が指定された参照セットに含まれているかどうかを評価する行レベルのルール。
除外の期待値を設定する 各列の値が指定されたセットに含まれていないかどうかを評価する行レベルのルール。
見通しを示す 各列の値が指定されたセットに含まれているかどうかを評価する行レベルのルール。

文字列照合

名前 説明
柄の除外の想定 各列の値が指定された SQL LIKE パターンと一致しないかどうかを評価する行レベルのルール。
パターン除外の期待値リスト 指定された SQL LIKE パターンのいずれにも一致しない列の値があるかどうかを評価する行レベルのルール。
柄の期待値 各列の値が指定された SQL LIKE パターンと一致するかどうかを評価する行レベルのルール。
パターン期待値リスト 各列の値が、指定された SQL LIKE パターンのいずれかに一致するかどうかを評価する行レベルのルール。
Regex Exclusion Expectation 各列の値が指定された正規表現と一致しないかどうかを評価する行レベルのルール。
正規表現除外の期待値リスト 各列の値が指定された正規表現のいずれにも一致しないかどうかを評価する行レベルのルール。
正規表現の期待値 各列の値が指定された正規表現と一致するかどうかを評価する行レベルのルール。
正規表現の期待値リスト 各列の値が指定された正規表現の少なくとも 1 つと一致するかどうかを評価する行レベルのルール。
文字列の長さの等価性に関する期待値 各列の値の文字列の長さが指定された値と等しいかどうかを評価する行レベルのルール。
文字列の長さの範囲の期待値 各列の値の文字列の長さが指定された範囲内にあるかどうかを評価する行レベルのルール。

集計関数

名前 説明
Distinct Values Containment Expectation 一意の列値のセットに、指定されたセット内のすべての値が含まれているかどうかを評価する集計ルール。
Distinct Values Count Equality Expectation 列内の一意の値の数が指定された値と等しいかどうかを評価する集計ルール。
一意の値の数の範囲の期待値 列内の一意の値の数が指定された範囲内にあるかどうかを評価する集計ルール。
Distinct Values Match Expectation 個別の列値のセットが指定されたセットと完全に一致するかどうかを評価する集計ルール。
Distinct Values Proportion Expectation 列内の一意の値の割合（一意の値の数 / 行の合計数）が指定された範囲内にあるかどうかを評価する集計ルール。
Distinct Values Set Expectation 個別の列値が指定されたセットに含まれているかどうかを評価する集計ルール。
最大範囲の期待値 列の最大値が指定された範囲内にあるかどうかを評価する集計ルール。
平均範囲の期待値 列の平均が指定された範囲内にあるかどうかを評価する集計ルール。浮動小数点型が返される場合、AVG() 関数の結果は変動する可能性があります。
中央値の範囲の期待値 列の中央値が指定された範囲内にあるかどうかを評価する集計ルール。
最小範囲の期待値 列の最小値が指定された範囲内にあるかどうかを評価する集計ルール。
モード範囲の期待値 すべての列モード（最頻値）が指定された範囲内にあるかどうかを評価する集計ルール。複数のモードがある場合は、それぞれが範囲に対してチェックされ、失敗したモードが返されます。
モード設定の期待値 すべての列のモード（最頻値）が指定されたセット内にあるかどうかを評価する集計ルール。最頻値の計算時には NULL 値は無視されます。同じ最高頻度のモードが複数ある場合は、それぞれがセットに対してチェックされ、失敗したモードは配列で返されます。
分位範囲の期待値 列の指定された分位点の値が指定された範囲内にあるかどうかを評価する集計ルール。
標準偏差の範囲の期待値 列の標準偏差が指定された範囲内にあるかどうかを評価する集計ルール。
合計範囲の期待値 列の合計が指定された範囲内にあるかどうかを評価する集計ルール。浮動小数点型が返される場合、SUM() 関数の結果は変動する可能性があります。
Table Comparison Unique Values Count Equality Expectation 指定された列の一意の値の数が、現在のテーブルと参照テーブルで等しいかどうかを評価する集計ルール。

段組み

名前 説明
列の比較の等価性に関する想定 各行について、列 A の値が列 B の値と等しいかどうかを評価する行レベルのルール。
列の比較の期待値 各行について、列 A の値が列 B の値より大きいかどうかを評価する行レベルのルール。
Column Pairs Set Expectation 列 A と列 B のペアの値が指定されたセットに含まれているかどうかを評価する集計ルール。
Multi Column Sum Equality Expectation 指定された列のリストのすべての行の合計が指定された値と等しいかどうかを評価する集計ルール。浮動小数点型が返される場合、SUM() 関数の結果は変動する可能性があります。
Multi Column Uniqueness Expectation 指定された列のリストにわたる値の組み合わせが各行で一意であるかどうかを評価する行レベルのルール（複数列の主キーなど）。
レコード列の一意性の期待値 指定された列のリストの値が各レコード（行）内で一意かどうかを評価する行レベルのルール。レコードは重複する可能性があります。

分布関数

名前 説明
日付部分の完全性の期待値 期間内のすべての間隔（毎日など）のデータがテーブルに含まれているかどうかを評価する集計ルール。
標準偏差値の期待値 各列の値が列の平均から指定された標準偏差の範囲内にあるかどうかを評価する行レベルのルール。

一般的な条件

名前 説明
行条件の期待値 テーブル内の各行が指定された条件を満たしているかどうかを評価する行レベルのルール。
SQL アサーション 指定されたステートメントに対して返された行数を評価する集計ルール。行が返された場合、このルールは失敗します。
テーブル条件の期待値 指定された式がテーブルに対して true かどうかを評価する集計ルール。

次のステップ