系統規則範本清單

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 在任何區域都提供預先定義的系統規則範本,可用於常見的資料列層級和匯總資料驗證檢查。您可以重複使用這些範本,自動驗證資料品質,並在資料治理工作流程中,協助維護準確、一致的資料集。

可用的系統規則範本

如要判斷哪些範本適合您的資源,可以執行資料剖析,分析資料表統計資料、找出潛在品質問題,並產生規則建議。選擇所需檢查後,請從下列類別中選取範本,為資源定義規則。

桌面形狀

名稱 說明
資料欄數量相等預期 這項匯總規則會評估資料表中的資料欄數量是否等於指定值。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
資料欄數量範圍預期 這項匯總規則會評估資料表中的資料欄數量是否在指定範圍內。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
資料欄存在預期 評估資料表中是否存在特定資料欄的匯總規則。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
資料更新預期時間 匯總規則,用於評估資料欄中的最新資料是否比指定間隔新。
分組資料更新預期時間 匯總規則,用於評估資料欄中最新的分組資料是否比指定間隔新。
Ordered Schema Match Expectation 匯總規則,用於評估資料表中排序的資料欄是否與排序的指定清單完全相符。
資料列數量相等預期 評估資料表中的資料列數量是否等於指定值的匯總規則。
資料列數量範圍預期 匯總規則,用於評估資料表中的資料列數量是否在指定範圍內。
結構定義包含預期 這項匯總規則會評估資料表中的資料欄組合,是否包含指定組合中的所有資料欄。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
結構定義排除預期行為 評估資料表中的資料欄是否不在指定集合中的匯總規則。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
結構定義相符預期 匯總規則,用於評估資料表中的資料欄是否與指定組合完全相符。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
Table Comparison Aggregate Equality Expectation 匯總規則,用於評估目前資料表和指定參照資料表的匯總運算式結果是否相等。
資料表比較匯總範圍預期 這項匯總規則會評估目前資料表的匯總運算式結果,是否與參照資料表有偏差,且偏差值超過指定容許範圍。
資料表比較列數相等預期 這項匯總規則會評估目前資料表的資料列數量,是否等於指定參照資料表的資料列數量,並可選擇在計算前篩選資料列。
資料表比較列數係數相等預期 這項匯總規則會評估目前資料表的列數,是否等於指定參照資料表列數的因數,並可選擇在計算前篩選資料列。

遺漏值、不重複值和類型

名稱 說明
資料欄類型預期行為 這項匯總規則會評估資料欄資料類型是否與指定類型相符。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
欄類型清單預期 評估資料欄資料類型是否在指定集合中的匯總規則。這項規則需要對查詢的資料表和資料集具備 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 權限。
非空值預期 資料列層級規則,用於評估每個資料欄值是否不為空值。
空值預期 資料列層級規則,用於評估各欄值是否為空值。
字串大小寫預期 資料列層級規則,用於評估每個資料欄值字串是否符合指定的大小寫。
不重複性預期 資料列層級規則,用於評估每個資料欄值是否不重複。

組合和範圍

名稱 說明
預期值遞減 評估資料欄中的值是否遞減的匯總規則。系統會忽略 NULL 值。傳回不符合預期的第一個資料列。
期望值增加 評估資料欄中的值是否遞增的匯總規則。系統會忽略 NULL 值。傳回不符合預期的第一個資料列。
預期範圍 資料列層級規則,用於評估每個資料欄值是否在指定範圍內。
參考集預期行為 資料列層級規則,用於評估每個資料欄值是否包含在指定的參照集中。
設定排除預期 資料列層級規則,用於評估每個資料欄值是否不包含在指定組合中。
設定預期行為 資料列層級規則,用於評估每個資料欄值是否包含在指定組合中。

字串比對

名稱 說明
模式排除預期行為 資料列層級規則,用於評估每個資料欄值是否不符合指定的 SQL LIKE 模式。
模式排除預期清單 資料列層級規則,用於評估每個資料欄值是否不符合任何指定的 SQL LIKE 模式。
模式預期 資料列層級規則,用於評估每個資料欄值是否符合指定的 SQL LIKE 模式。
模式預期清單 資料列層級規則,用於評估每個資料欄值是否符合至少一個指定的 SQL LIKE 模式。
規則運算式排除預期行為 資料列層級規則,用於評估每個資料欄值是否不符合指定的規則運算式。
規則運算式排除預期清單 資料列層級規則,用於評估各資料欄值是否與任何指定規則運算式不符。
規則運算式預期行為 資料列層級規則,用於評估每個資料欄值是否符合指定的規則運算式。
規則運算式預期清單 資料列層級規則,用於評估每個資料欄值是否至少符合其中一個指定的規則運算式。
字串長度相等預期 資料列層級規則,用於評估每個資料欄值的字串長度是否等於指定值。
字串長度範圍預期 資料列層級規則,用於評估每個資料欄值的字串長度是否在指定範圍內。

匯總函式

名稱 說明
不重複值包含預期 匯總規則,用於評估一組不重複的資料欄值是否包含指定組合中的所有值。
Distinct Values Count Equality Expectation 匯總規則,用於評估資料欄中不重複值的數量是否等於指定值。
不重複值數量範圍預期 匯總規則,用於評估資料欄中不重複值的數量是否在指定範圍內。
不重複值比對預期 匯總規則,用於評估一組不重複的資料欄值是否與指定組合完全相符。
不重複值比例預期 這項匯總規則會評估資料欄中不重複值的比例 (即不重複值數量 / 資料列總數) 是否在指定範圍內。
不重複值集預期 匯總規則,用於評估每個不重複的資料欄值是否包含在指定組合中。
預期最大範圍 匯總規則,用於評估資料欄最大值是否在指定範圍內。
平均範圍預期 評估資料欄平均值是否在指定範圍內的匯總規則。如果傳回浮點類型,AVG() 函式的結果不具確定性。
預期中位數範圍 匯總規則,用於評估資料欄中位數是否在指定範圍內。
預期範圍下限 匯總規則,用於評估資料欄最小值是否在指定範圍內。
模式範圍預期 這項匯總規則會評估所有資料欄眾數 (最常出現的值) 是否在指定範圍內。如果有多個眾數,系統會檢查每個眾數是否在範圍內,並傳回不符合條件的眾數。
模式設定預期行為 匯總規則,用於評估所有資料欄眾數 (最常出現的值) 是否在指定組合內。計算眾數時,系統會忽略 NULL 值。如果有多個眾數的頻率相同且最高,系統會根據資料集檢查每個眾數,並以陣列形式傳回不符合條件的眾數。
分位數範圍預期 匯總規則,用於評估資料欄指定分位數的值是否在指定範圍內。
標準差範圍預期 匯總規則,用於評估資料欄標準差是否在指定範圍內。
總和範圍預期 匯總規則,用於評估資料欄總和是否在指定範圍內。如果傳回浮點類型,SUM() 函式的結果不具決定性。
資料表比較不重複值計數相等期望值 這項匯總規則會評估目前資料表和參照資料表中,指定資料欄的不重複值數量是否相等。

多欄

名稱 說明
資料欄比較相等預期 資料列層級規則,用於評估每個資料列中 A 欄的值是否等於 B 欄的值。
Column Comparison Greater Expectation 資料列層級規則,用於評估每個資料列中 A 欄的值是否大於 B 欄的值。
Column Pairs Set Expectation 匯總規則,用於評估 A 欄和 B 欄的配對值是否包含在指定組合中。
多欄總和相等預期 匯總規則,用於評估指定資料欄清單中所有資料列的總和是否等於指定值。如果傳回浮點類型,SUM() 函式的結果不具確定性。
多欄唯一性預期 資料列層級規則,用於評估指定資料欄清單中的值組合,在每個資料列是否不重複 (例如多欄主鍵)。
記錄資料欄不重複性預期 資料列層級規則,用於評估指定資料欄清單中的值,在每筆記錄 (資料列) 中是否不重複。請注意,記錄可以重複。

分布函式

名稱 說明
日期部分完整性預期 匯總規則,用於評估資料表是否包含日期範圍內每個間隔 (例如每天) 的資料。
標準差值預期 資料列層級規則,用於評估每個資料欄值是否在資料欄平均值的指定標準差範圍內。

一般條件

名稱 說明
資料列條件預期 資料列層級規則,用於評估資料表中的每個資料列是否符合指定條件。
SQL 斷言 匯總規則,用於評估指定陳述式傳回的資料列數。如果傳回任何資料列,即代表這項規則失敗。
資料表條件預期 匯總規則,評估指定運算式在資料表中是否為 true。

後續步驟