Lista de plantillas de reglas del sistema

Knowledge Catalog (anteriormente, Dataplex Universal Catalog) admite una variedad de plantillas de reglas que puedes usar para definir y automatizar los procesos de calidad y validación de datos. La implementación de estas plantillas es una parte fundamental de la administración de datos, ya que garantiza que los conjuntos de datos sigan siendo precisos y coherentes.

Para identificar qué plantillas usar, puedes realizar la generación de perfiles de datos en tus recursos para identificar posibles problemas de calidad. Después de identificar las verificaciones de calidad necesarias, puedes seleccionar las plantillas adecuadas de esta página para definir reglas para tus recursos.

En esta página, se enumeran las plantillas de reglas del sistema disponibles que puedes usar en cualquier región.

Forma de la tabla

Nombre Descripción
Column Count Equality Expectation Regla de agregación que evalúa si la cantidad de columnas de la tabla es igual a un valor especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Column Count Range Expectation Regla de agregación que evalúa si la cantidad de columnas de la tabla se encuentra dentro de un rango especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Column Existence Expectation Regla de agregación que evalúa si existe una columna específica en la tabla. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Freshness Expectation Regla de agregación que evalúa si los datos más recientes de una columna son más recientes que un intervalo especificado.
Grouped Freshness Expectation Regla de agregación que evalúa si los datos agrupados más recientes de una columna son más recientes que un intervalo especificado.
Ordered Schema Match Expectation Regla de agregación que evalúa si las columnas ordenadas de la tabla coinciden exactamente con una lista ordenada y especificada.
Row Count Equality Expectation Regla de agregación que evalúa si la cantidad de filas de la tabla es igual a un valor especificado.
Row Count Range Expectation Regla de agregación que evalúa si la cantidad de filas de la tabla se encuentra dentro de un rango especificado.
Schema Containment Expectation Regla de agregación que evalúa si el conjunto de columnas de la tabla contiene todas las columnas de un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Schema Exclusion Expectation Regla de agregación que evalúa si las columnas de la tabla no están en un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Schema Match Expectation Regla de agregación que evalúa si las columnas de la tabla coinciden exactamente con un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Table Comparison Aggregate Equality Expectation Regla de agregación que evalúa si el resultado de una expresión agregada es igual entre la tabla actual y una tabla de referencia especificada.
Table Comparison Aggregate Range Expectation Regla de agregación que evalúa si el resultado de una expresión agregada en la tabla actual se desvía de la tabla de referencia en más de una tolerancia especificada.
Table Comparison Row Count Equality Expectation Regla de agregación que evalúa si la cantidad de filas de la tabla actual es igual a la cantidad de filas de una tabla de referencia especificada, con un filtrado de filas opcional antes del recuento.
Table Comparison Row Count Factor Equality Expectation Regla de agregación que evalúa si la cantidad de filas de la tabla actual es igual a un factor de la cantidad de filas de una tabla de referencia especificada, con un filtrado de filas opcional antes del recuento.

Valores faltantes, valores únicos y tipos

Nombre Descripción
Column Type Expectation Regla de agregación que evalúa si el tipo de datos de la columna coincide con un tipo especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Column Type List Expectation Regla de agregación que evalúa si el tipo de datos de la columna está en un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Non Null Expectation Regla a nivel de fila que evalúa si cada valor de columna no es nulo.
Null Expectation Regla a nivel de fila que evalúa si cada valor de columna es nulo.
String Case Expectation Regla a nivel de fila que evalúa si cada cadena de valor de columna coincide con un uso de mayúsculas y minúsculas especificado.
Uniqueness Expectation Regla a nivel de fila que evalúa si cada valor de columna es único.

Conjuntos y rangos

Nombre Descripción
Decreasing Expectation Regla de agregación que evalúa si los valores de una columna disminuyen. Se ignoran los valores NULL. Muestra la primera fila en la que no se cumple la expectativa.
Increasing Expectation Regla de agregación que evalúa si los valores de una columna aumentan. Se ignoran los valores NULL. Muestra la primera fila en la que no se cumple la expectativa.
Range Expectation Regla a nivel de fila que evalúa si cada valor de columna se encuentra dentro de un rango especificado.
Reference Set Expectation Regla a nivel de fila que evalúa si cada valor de columna está contenido en un conjunto de referencia especificado.
Set Exclusion Expectation Regla a nivel de fila que evalúa si cada valor de columna no está contenido en un conjunto especificado.
Set Expectation Regla a nivel de fila que evalúa si cada valor de columna está contenido en un conjunto especificado.

Comparación de cadenas

Nombre Descripción
Pattern Exclusion Expectation Regla a nivel de fila que evalúa si cada valor de columna no coincide con un patrón LIKE de SQL especificado.
Pattern Exclusion Expectation List Regla a nivel de fila que evalúa si cada valor de columna no coincide con ninguno de los patrones LIKE de SQL especificados.
Pattern Expectation Regla a nivel de fila que evalúa si cada valor de columna coincide con un patrón LIKE de SQL especificado.
Pattern Expectation List Regla a nivel de fila que evalúa si cada valor de columna coincide con al menos uno de los patrones LIKE de SQL especificados.
Regex Exclusion Expectation Regla a nivel de fila que evalúa si cada valor de columna no coincide con una expresión regular especificada.
Regex Exclusion Expectation List Regla a nivel de fila que evalúa si cada valor de columna no coincide con ninguna de las expresiones regulares especificadas.
Regex Expectation Regla a nivel de fila que evalúa si cada valor de columna coincide con una expresión regular especificada.
Regex Expectation List Regla a nivel de fila que evalúa si cada valor de columna coincide con al menos una de las expresiones regulares especificadas.
String Length Equality Expectation Regla a nivel de fila que evalúa si la longitud de cada cadena de valor de columna es igual a un valor especificado.
String Length Range Expectation Regla a nivel de fila que evalúa si la longitud de cada cadena de valor de columna se encuentra dentro de un rango especificado.

Funciones de agregación

Nombre Descripción
Distinct Values Containment Expectation Regla de agregación que evalúa si el conjunto de valores de columna distintos contiene todos los valores de un conjunto especificado.
Distinct Values Count Equality Expectation Regla de agregación que evalúa si la cantidad de valores distintos en la columna es igual a un valor especificado.
Distinct Values Count Range Expectation Regla de agregación que evalúa si la cantidad de valores distintos en la columna se encuentra dentro de un rango especificado.
Distinct Values Match Expectation Regla de agregación que evalúa si el conjunto de valores de columna distintos coincide exactamente con un conjunto especificado.
Distinct Values Proportion Expectation Regla de agregación que evalúa si la proporción de valores distintos en la columna (es decir, el recuento de valores distintos / el recuento total de filas) se encuentra dentro de un rango especificado.
Distinct Values Set Expectation Regla de agregación que evalúa si cada valor de columna distinto está contenido en un conjunto especificado.
Max Range Expectation Regla de agregación que evalúa si el máximo de la columna se encuentra dentro de un rango especificado.
Mean Range Expectation Regla de agregación que evalúa si el promedio de la columna se encuentra dentro de un rango especificado. Si se muestra un tipo de punto flotante, el AVG() resultado de la función tendrá un comportamiento no determinista.
Median Range Expectation Regla de agregación que evalúa si la mediana de la columna se encuentra dentro de un rango especificado.
Min Range Expectation Regla de agregación que evalúa si el mínimo de la columna se encuentra dentro de un rango especificado.
Mode Range Expectation Regla de agregación que evalúa si todos los modos de columna (valores más frecuentes) se encuentran dentro de un rango especificado. Si hay varios modos, cada uno se verificará con el rango y se mostrarán los modos que fallen.
Mode Set Expectation Regla de agregación que evalúa si todos los modos de columna (valores más frecuentes) se encuentran dentro del conjunto especificado. Se ignoran los valores NULL cuando se calculan los modos. Si hay varios modos con la misma frecuencia más alta, cada uno se verificará con el conjunto y se mostrarán los modos que fallen en un array.
Quantile Range Expectation Regla de agregación que evalúa si el valor en el cuantil especificado para la columna se encuentra dentro de un rango especificado.
Standard Deviation Range Expectation Regla de agregación que evalúa si la desviación estándar de la columna se encuentra dentro de un rango especificado.
Sum Range Expectation Regla de agregación que evalúa si la suma de la columna se encuentra dentro de un rango especificado. Si se muestra un tipo de punto flotante, el resultado de la función SUM() tendrá un comportamiento no determinista.
Table Comparison Unique Values Count Equality Expectation Regla de agregación que evalúa si la cantidad de valores únicos en una columna especificada es igual entre la tabla actual y una tabla de referencia.

Varias columnas

Nombre Descripción
Column Comparison Equality Expectation Regla a nivel de fila que evalúa si el valor de la columna A es igual al valor de la columna B para cada fila.
Column Comparison Greater Expectation Regla a nivel de fila que evalúa si el valor de la columna A es mayor que el valor de la columna B para cada fila.
Column Pairs Set Expectation Regla de agregación que evalúa si los valores emparejados de la columna A y la columna B están contenidos en un conjunto especificado.
Multi Column Sum Equality Expectation Regla de agregación que evalúa si la suma de todas las filas en una lista especificada de columnas es igual a un valor especificado. Si se muestra un tipo de punto flotante, el resultado de la función SUM() tendrá un comportamiento no determinista.
Multi Column Uniqueness Expectation Regla a nivel de fila que evalúa si la combinación de valores en una lista especificada de columnas es única para cada fila (por ejemplo, una clave primaria de varias columnas).
Record Column Uniqueness Expectation Regla a nivel de fila que evalúa si los valores en una lista especificada de columnas son únicos dentro de cada registro (fila). Ten en cuenta que los registros se pueden duplicar.

Funciones de distribución

Nombre Descripción
Date Part Completeness Expectation Regla de agregación que evalúa si una tabla tiene datos para cada intervalo (por ejemplo, todos los días) dentro de un período.
Standard Deviation Values Expectation Regla a nivel de fila que evalúa si cada valor de columna se encuentra dentro de una cantidad especificada de desviaciones estándar del promedio de la columna.

Condiciones genéricas

Nombre Descripción
Row Condition Expectation Regla a nivel de fila que evalúa si cada fila de una tabla cumple la condición especificada.
SQL Assertion Regla de agregación que evalúa la cantidad de filas que se muestran para la instrucción proporcionada. Si se devuelven filas, esta regla falla.
Table Condition Expectation Regla de agregación que evalúa si la expresión proporcionada es verdadera para una tabla.

¿Qué sigue?