システムルール テンプレートのリスト

Knowledge Catalog（旧称 Dataplex Universal Catalog）は、一般的な行レベルと集計データの検証チェック用に、任意のリージョンで事前定義されたシステムルール テンプレートを提供します。これらのテンプレートを再利用して、データ品質の検証を自動化し、データ ガバナンス ワークフロー全体で正確で一貫性のあるデータセットを維持できます。

利用可能なシステムルール テンプレート

リソースに適したテンプレートを特定するには、データ プロファイリングを実行して、テーブルの統計情報を分析し、潜在的な品質の問題を特定して、ルールの推奨事項を生成します。必要なチェックを選択したら、次のカテゴリからテンプレートを選択して、リソースのルールを定義します。

テーブルの形状

名前 説明
列数の等価性の期待値 テーブル内の列数が指定された値と等しいかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
列数の範囲の期待値 テーブル内の列数が指定された範囲内にあるかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
列の存在の期待値 テーブルに特定の列が存在するかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
鮮度の期待値 列の最新のデータが指定された間隔よりも新しいかどうかを評価する集計ルール。
グループ化された鮮度の期待値 列の最新のグループ化されたデータが指定された間隔よりも新しいかどうかを評価する集計ルール。
Ordered Schema Match Expectation テーブル内の順序付き列が、順序付きの指定されたリストと完全に一致するかどうかを評価する集計ルール。
行数の等価性の期待値 テーブルの行数が指定された値と等しいかどうかを評価する集計ルール。
行数の範囲の期待値 テーブル内の行数が指定された範囲内にあるかどうかを評価する集計ルール。
スキーマの包含の期待値 テーブルの列のセットに、指定されたセットのすべての列が含まれているかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
スキーマ除外の期待値 テーブル内の列が指定されたセットに含まれていないかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
スキーマの一致の期待値 テーブル内の列が指定されたセットと完全に一致するかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
テーブル比較集計の等価性の期待値 集計式の結果が現在のテーブルと指定された参照テーブルの間で等しいかどうかを評価する集計ルール。
テーブル比較集計範囲の期待値 現在のテーブルの集計式の結果が、指定された許容範囲を超えて参照テーブルから逸脱しているかどうかを評価する集計ルール。
テーブル比較の行数の等価性の期待値 現在のテーブルの行数が、指定された参照テーブルの行数と等しいかどうかを評価する集計ルール。カウント前に行をフィルタリングすることもできます。
テーブル比較の行数係数の等価性の期待値 現在のテーブルの行数が、指定された参照テーブルの行数の係数と等しいかどうかを評価する集計ルール。カウント前に行をフィルタリングすることもできます。

欠損値、一意の値、型

名前 説明
列の型の期待値 列のデータ型が指定された型と一致するかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
列タイプのリストの期待値 列のデータ型が指定されたセットに含まれているかどうかを評価する集計ルール。このルールには、クエリ対象のテーブルとデータセットに対する bigquery.tables.get、bigquery.tables.list、bigquery.datasets.get 権限が必要です。
非 null の期待値 各列の値が null でないかどうかを評価する行レベルのルール。
Null Expectation 各列の値が null かどうかを評価する行レベルのルール。
文字列の大文字と小文字の期待値 各列の値の文字列が指定された大文字と小文字の区別に一致するかどうかを評価する行レベルのルール。
一意性の期待値 各列の値が一意かどうかを評価する行レベルのルール。

セットと範囲

名前 説明
期待値の低下 列の値が減少しているかどうかを評価する集計ルール。NULL 値は無視されます。期待値が満たされていない最初の行を返します。
高まる期待 列の値が増加しているかどうかを評価する集計ルール。NULL 値は無視されます。期待値が満たされていない最初の行を返します。
航続距離の目安 各列の値が指定された範囲内にあるかどうかを評価する行レベルのルール。
参照セットの期待値 各列の値が指定された参照セットに含まれているかどうかを評価する行レベルのルール。
除外の期待値を設定する 各列の値が指定されたセットに含まれていないかどうかを評価する行レベルのルール。
見通しを伝える 各列の値が指定されたセットに含まれているかどうかを評価する行レベルのルール。

文字列の一致

名前 説明
パターン除外の期待値 各列の値が指定された SQL LIKE パターンと一致しないかどうかを評価する行レベルのルール。
パターン除外期待リスト 各列の値が指定された SQL LIKE パターンのいずれとも一致しないかどうかを評価する行レベルのルール。
パターン期待値 各列の値が指定された SQL LIKE パターンと一致するかどうかを評価する行レベルのルール。
パターン期待値リスト 各列の値が、指定された SQL LIKE パターンの少なくとも 1 つと一致するかどうかを評価する行レベルのルール。
正規表現の除外の期待値 各列の値が指定された正規表現と一致しないかどうかを評価する行レベルのルール。
正規表現除外期待リスト 各列の値が指定された正規表現のいずれとも一致しないかどうかを評価する行レベルのルール。
正規表現の期待値 各列の値が指定された正規表現と一致するかどうかを評価する行レベルのルール。
正規表現の期待値リスト 各列の値が、指定された正規表現の少なくとも 1 つと一致するかどうかを評価する行レベルのルール。
文字列長の等価性の期待値 各列の値の文字列の長さが指定された値と等しいかどうかを評価する行レベルのルール。
文字列長の範囲の期待値 各列の値の文字列の長さが指定された範囲内にあるかどうかを評価する行レベルのルール。

集計関数

名前 説明
Distinct Values Containment Expectation 一意の列値のセットに、指定されたセット内のすべての値が含まれているかどうかを評価する集計ルール。
個別値のカウントの等価性の期待値 列内の一意の値の数が指定された値と等しいかどうかを評価する集計ルール。
Distinct Values Count Range Expectation 列内の一意の値の数が指定された範囲内にあるかどうかを評価する集計ルール。
Distinct Values Match Expectation 一意の列値のセットが指定されたセットと完全に一致するかどうかを評価する集計ルール。
Distinct Values Proportion Expectation 列内の一意の値の割合（一意の値の数 / 行の総数）が指定された範囲内にあるかどうかを評価する集計ルール。
Distinct Values Set Expectation 各列の一意の値が指定されたセットに含まれているかどうかを評価する集計ルール。
最大航続距離の予測 列の最大値が指定された範囲内にあるかどうかを評価する集計ルール。
平均航続距離の予測 列の平均が指定された範囲内にあるかどうかを評価する集計ルール。浮動小数点型が返される場合、AVG() 関数の結果は変動する可能性があります。
中央値範囲の期待値 列の中央値が指定された範囲内にあるかどうかを評価する集計ルール。
最小範囲の期待値 列の最小値が指定された範囲内にあるかどうかを評価する集計ルール。
モード範囲の期待値 すべての列モード（最も頻繁に出現する値）が指定された範囲内にあるかどうかを評価する集計ルール。複数のモードがある場合、各モードが範囲に対してチェックされ、不合格となったモードが返されます。
モード設定の期待値 すべての列の最頻値（最も頻繁に出現する値）が指定されたセット内にあるかどうかを評価する集計ルール。最頻値を計算する際、NULL 値は無視されます。同じ最高頻度のモードが複数ある場合、それぞれがセットに対してチェックされ、失敗したモードが配列で返されます。
分位範囲の期待値 列の指定された分位数の値が指定された範囲内にあるかどうかを評価する集計ルール。
標準偏差範囲の期待値 列の標準偏差が指定された範囲内にあるかどうかを評価する集計ルール。
合計範囲の期待値 列の合計が指定された範囲内にあるかどうかを評価する集計ルール。浮動小数点型が返される場合、SUM() 関数の結果は変動する可能性があります。
テーブル比較の一意の値の数の等価性の期待値 指定された列の一意の値の数が、現在のテーブルと参照テーブルの間で等しいかどうかを評価する集計ルール。

複数列

名前 説明
列比較の等価性の期待値 各行の列 A の値が列 B の値と等しいかどうかを評価する行レベルのルール。
列比較の Greater Expectation 各行の列 A の値が列 B の値より大きいかどうかを評価する行レベルのルール。
列ペアセットの期待値 列 A と列 B のペアの値が指定されたセットに含まれているかどうかを評価する集計ルール。
複数列の合計の等価性の期待値 指定された列リストのすべての行の合計が指定された値と等しいかどうかを評価する集計ルール。浮動小数点型が返される場合、SUM() 関数の結果は変動する可能性があります。
複数列の一意性の期待値 指定された列リストの値の組み合わせが各行で一意であるかどうか（複数列の主キーなど）を評価する行レベルのルール。
レコード列の一意性の期待値 指定された列のリストの値が各レコード（行）内で一意かどうかを評価する行レベルのルール。レコードが重複する可能性があることに注意してください。

分布関数

名前 説明
日付部分の完全性の期待値 テーブルに、期間内のすべての間隔（毎日など）のデータがあるかどうかを評価する集計ルール。
標準偏差値の期待値 各列の値が、列の平均から指定された標準偏差の範囲内にあるかどうかを評価する行レベルのルール。

一般的な条件

名前 説明
行条件の期待値 テーブル内の各行が指定された条件を満たしているかどうかを評価する行レベルのルール。
SQL アサーション 指定されたステートメントに対して返された行数を評価する集計ルール。行が返された場合、このルールは失敗します。
テーブルの条件の期待値 指定された式がテーブルに対して true かどうかを評価する集計ルール。

次のステップ