系统规则模板列表

Knowledge Catalog(以前称为 Dataplex Universal Catalog)在任何区域都提供预定义的系统规则模板,用于常见的行级和汇总数据验证检查。您可以重复使用这些模板来自动执行数据质量验证,并帮助在数据治理工作流中维护准确、一致的数据集。

可用的系统规则模板

如需确定哪些模板适合您的资源,您可以运行数据分析来分析表统计信息、发现潜在质量问题并生成规则建议。选择所需的检查后,请从以下类别中选择模板,为您的资源定义规则。

桌子形状

名称 说明
列数相等性预期 用于评估表中的列数是否等于指定值的汇总规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
列数范围预期 用于评估表中的列数是否在指定范围内的汇总规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
列存在预期 用于评估表中是否存在特定列的汇总规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
时效性预期 用于评估列中的最新数据是否比指定时间间隔更新的汇总规则。
分组新鲜度预期 用于评估列中的最新分组数据是否比指定时间间隔更新的汇总规则。
有序架构匹配预期 用于评估表中的有序列是否与指定的有序列表完全匹配的汇总规则。
行数相等预期 用于评估表中的行数是否等于指定值的汇总规则。
行数范围预期 用于评估表中的行数是否在指定范围内的汇总规则。
架构包含预期 汇总规则,用于评估表中的列集是否包含指定集中的所有列。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
架构排除预期 用于评估表中的列是否不在指定集合中的聚合规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
架构匹配预期 聚合规则,用于评估表中的列是否与指定集合完全匹配。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
表比较汇总相等性预期 用于评估当前表与指定参考表之间的汇总表达式结果是否相等的汇总规则。
表比较汇总范围预期 汇总规则,用于评估当前表上的汇总表达式的结果与参考表的偏差是否超过指定的容差。
表比较行数相等预期 汇总规则,用于评估当前表中的行数是否等于指定参考表中的行数,并可在计数前选择性地过滤行。
表比较行数因子相等性预期 汇总规则,用于评估当前表中的行数是否等于指定参考表中的行数的倍数,并可选择在计数前进行行过滤。

缺失值、唯一值和类型

名称 说明
列类型预期 用于评估列数据类型是否与指定类型匹配的汇总规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
列类型列表预期 用于评估列数据类型是否在指定集内的汇总规则。此规则要求对所查询的表和数据集拥有 bigquery.tables.get、bigquery.tables.list 和 bigquery.datasets.get 权限。
非 Null 预期 行级规则,用于评估每个列值是否不为 null。
Null 预期 行级规则,用于评估每个列值是否为 null。
字符串大小写预期 行级规则,用于评估每个列值字符串是否与指定的大小写匹配。
唯一性预期 行级规则,用于评估每个列值是否唯一。

集合和范围

名称 说明
预期降低 用于评估列中的值是否在减少的汇总规则。系统会忽略 NULL 值。返回不符合预期的第一行。
Increasing Expectation 用于评估列中的值是否在增加的聚合规则。系统会忽略 NULL 值。返回不符合预期的第一行。
范围预期 行级规则,用于评估每个列值是否在指定范围内。
参考集预期 行级规则,用于评估每个列值是否包含在指定的参考集中。
设定排除预期 行级规则,用于评估每个列值是否不包含在指定集合中。
设定预期 行级规则,用于评估每个列值是否包含在指定集合中。

字符串匹配

名称 说明
模式排除预期 行级规则,用于评估每个列值是否与指定的 SQL LIKE 模式不匹配。
模式排除预期列表 行级规则,用于评估每个列值是否与任何指定的 SQL LIKE 模式都不匹配。
模式预期 行级规则,用于评估每个列值是否与指定的 SQL LIKE 模式匹配。
模式预期列表 行级规则,用于评估每个列值是否至少与一个指定的 SQL LIKE 模式匹配。
正则表达式排除预期 行级规则,用于评估每个列值是否与指定的正则表达式不匹配。
正则表达式排除预期列表 行级规则,用于评估每个列值是否与任何指定的正则表达式都不匹配。
正则表达式预期 行级规则,用于评估每个列值是否与指定的正则表达式匹配。
正则表达式预期列表 行级规则,用于评估每个列值是否与至少一个指定的正则表达式匹配。
字符串长度相等性预期 行级规则,用于评估每个列值字符串长度是否等于指定值。
字符串长度范围预期 行级规则,用于评估每个列值字符串长度是否在指定范围内。

聚合函数

名称 说明
非重复值包含预期 汇总规则,用于评估一组不同的列值是否包含指定集合中的所有值。
Distinct Values Count Equality Expectation 用于评估列中不同值的数量是否等于指定值的汇总规则。
Distinct Values Count Range Expectation 汇总规则,用于评估列中不同值的数量是否在指定范围内。
Distinct Values Match Expectation 汇总规则,用于评估一组不同的列值是否与指定集合完全匹配。
Distinct Values Proportion Expectation 聚合规则,用于评估列中不同值的比例(即不同值计数 / 总行数)是否在指定范围内。
Distinct Values Set Expectation 用于评估每个不同的列值是否包含在指定集合中的聚合规则。
最大范围预期 用于评估列最大值是否在指定范围内的汇总规则。
平均范围预期 用于评估列平均值是否在指定范围内的汇总规则。如果返回浮点类型,则 AVG() 函数的结果是不确定的。
中位数范围预期 用于评估列中位数是否在指定范围内的汇总规则。
最小范围预期 用于评估列最小值是否在指定范围内的聚合规则。
模式范围预期 汇总规则,用于评估所有列众数(最频繁值)是否在指定范围内。如果有多个模式,系统会根据范围检查每个模式,并返回所有失败的模式。
模式设置预期 用于评估所有列众数(最常见的值)是否在指定集合内的汇总规则。计算众数时,系统会忽略 NULL 值。如果存在多个具有相同最高频率的众数,系统会根据集合检查每个众数,并以数组形式返回所有不符合条件的众数。
分位数范围预期 聚合规则,用于评估列中指定分位数的值是否在指定范围内。
标准差范围预期 用于评估列标准差是否在指定范围内的汇总规则。
求和范围预期 用于评估列总和是否在指定范围内的汇总规则。如果返回浮点类型,则 SUM() 函数的结果是不确定的。
表比较唯一值计数相等性预期 汇总规则,用于评估当前表和参考表中指定列的唯一值数量是否相等。

多列

名称 说明
列比较相等性预期 行级规则,用于评估每行中 A 列的值是否等于 B 列的值。
列比较大于预期 行级规则,用于评估每行中 A 列的值是否大于 B 列的值。
列对集预期 汇总规则,用于评估 A 列和 B 列中的配对值是否包含在指定集合中。
多列总和相等性预期 汇总规则,用于评估指定列列表中所有行的总和是否等于指定值。如果返回浮点类型,则 SUM() 函数的结果是不确定的。
多列唯一性预期 行级规则,用于评估指定列列表中各列的值组合对于每一行是否唯一(例如,多列主键)。
记录列唯一性预期 行级规则,用于评估指定列列表中的值在每条记录(行)中是否唯一。请注意,记录可能会重复。

分布函数

名称 说明
日期部分完整性预期 用于评估表在日期范围内的每个时间间隔(例如,每天)是否有数据的汇总规则。
标准差值预期 行级规则,用于评估每个列值是否在列平均值的指定标准差范围内。

一般条件

名称 说明
行条件预期 行级规则,用于评估表中的每一行是否符合指定条件。
SQL 断言 用于评估为所提供语句返回的行数的汇总规则。如果系统返回了任何行,表示此规则失败。
表条件预期 汇总规则,用于评估所提供的表达式对于表是否为 true。

后续步骤