Lista de modelos de regras do sistema

O Knowledge Catalog (antigo Dataplex Universal Catalog) oferece modelos de regras de sistema predefinidos em qualquer região para verificações comuns de validação de dados agregados e no nível da linha. É possível reutilizar esses modelos para automatizar a validação da qualidade de dados e ajudar a manter conjuntos de dados precisos e consistentes nos fluxos de trabalho de governança de dados.

Modelos de regras do sistema disponíveis

Para determinar quais modelos se encaixam nos seus recursos, execute a criação de perfil de dados para analisar estatísticas de tabelas, identificar possíveis problemas de qualidade e gerar recomendações de regras. Depois de escolher as verificações necessárias, selecione modelos das seguintes categorias para definir regras para seus recursos.

Formato da mesa

Nome Descrição
Expectativa de igualdade de contagem de colunas Regra de agregação que avalia se o número de colunas na tabela é igual a um valor especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de intervalo de contagem de colunas Regra de agregação que avalia se o número de colunas na tabela está dentro de um intervalo especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de existência de coluna Regra de agregação que avalia se uma coluna específica existe na tabela. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de atualização Regra de agregação que avalia se os dados mais recentes em uma coluna são mais novos do que um intervalo especificado.
Expectativa de atualização agrupada Regra de agregação que avalia se os dados agrupados mais recentes em uma coluna são mais novos do que um intervalo especificado.
Expectativa de correspondência de esquema ordenado Regra de agregação que avalia se as colunas ordenadas na tabela correspondem exatamente a uma lista ordenada e especificada.
Expectativa de igualdade de contagem de linhas Regra de agregação que avalia se o número de linhas na tabela é igual a um valor especificado.
Expectativa de intervalo de contagem de linhas Regra de agregação que avalia se o número de linhas na tabela está dentro de um intervalo especificado.
Expectativa de contenção de esquema Regra de agregação que avalia se o conjunto de colunas na tabela contém todas as colunas em um conjunto especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de exclusão de esquema Regra de agregação que avalia se as colunas na tabela não estão em um conjunto especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de correspondência de esquema Regra de agregação que avalia se as colunas na tabela correspondem exatamente a um conjunto especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de igualdade agregada de comparação de tabelas Regra de agregação que avalia se o resultado de uma expressão agregada é igual entre a tabela atual e uma tabela de referência especificada.
Expectativa de intervalo agregado de comparação de tabelas Regra de agregação que avalia se o resultado de uma expressão de agregação na tabela atual se desvia da tabela de referência em mais do que uma tolerância especificada.
Expectativa de igualdade de contagem de linhas na comparação de tabelas Regra de agregação que avalia se o número de linhas na tabela atual é igual ao número de linhas em uma tabela de referência especificada, com filtragem de linha opcional antes da contagem.
Expectativa de igualdade do fator de contagem de linhas de comparação de tabelas Regra de agregação que avalia se o número de linhas na tabela atual é igual a um fator do número de linhas em uma tabela de referência especificada, com filtragem de linha opcional antes da contagem.

Valores ausentes, valores exclusivos e tipos

Nome Descrição
Expectativa de tipo de coluna Regra de agregação que avalia se o tipo de dados da coluna corresponde a um tipo especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa de lista de tipos de coluna Regra de agregação que avalia se o tipo de dados da coluna está em um conjunto especificado. Essa regra exige as permissões bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get na tabela e no conjunto de dados que estão sendo consultados.
Expectativa não nula Regra no nível da linha que avalia se cada valor de coluna não é nulo.
Expectativa nula Regra no nível da linha que avalia se cada valor de coluna é nulo.
Expectativa de maiúsculas e minúsculas de string Regra no nível da linha que avalia se cada string de valor de coluna corresponde a uma caixa especificada.
Expectativa de exclusividade Regra no nível da linha que avalia se cada valor de coluna é exclusivo.

Conjuntos e intervalos

Nome Descrição
Expectativa decrescente Regra de agregação que avalia se os valores em uma coluna estão diminuindo. Os valores NULL são ignorados. Retorna a primeira linha em que a expectativa não é atendida.
Expectativa crescente Regra de agregação que avalia se os valores em uma coluna estão aumentando. Os valores NULL são ignorados. Retorna a primeira linha em que a expectativa não é atendida.
Expectativa de intervalo Regra de nível de linha que avalia se cada valor de coluna está dentro de um intervalo especificado.
Expectativa de conjunto de referência Regra no nível da linha que avalia se cada valor de coluna está contido em um conjunto de referência especificado.
Definir expectativa de exclusão Regra no nível da linha que avalia se cada valor de coluna não está contido em um conjunto especificado.
Definir expectativas Regra no nível da linha que avalia se cada valor de coluna está contido em um conjunto especificado.

Correspondência de strings

Nome Descrição
Expectativa de exclusão de padrão Regra no nível da linha que avalia se cada valor de coluna não corresponde a um padrão SQL LIKE especificado.
Lista de expectativas de exclusão de padrões Regra no nível da linha que avalia se cada valor de coluna não corresponde a nenhum dos padrões SQL LIKE especificados.
Expectativa de padrão Regra no nível da linha que avalia se cada valor de coluna corresponde a um padrão SQL LIKE especificado.
Lista de expectativas de padrão Regra no nível da linha que avalia se cada valor de coluna corresponde a pelo menos um dos padrões SQL LIKE especificados.
Expectativa de exclusão de regex Regra no nível da linha que avalia se cada valor de coluna não corresponde a uma expressão regular especificada.
Lista de expectativas de exclusão de regex Regra no nível da linha que avalia se cada valor de coluna não corresponde a nenhuma das expressões regulares especificadas.
Expectativa de regex Regra no nível da linha que avalia se cada valor de coluna corresponde a uma expressão regular especificada.
Lista de expectativas de regex Regra no nível da linha que avalia se cada valor de coluna corresponde a pelo menos uma das expressões regulares especificadas.
Expectativa de igualdade de comprimento de string Regra no nível da linha que avalia se o tamanho da string de cada valor de coluna é igual a um valor especificado.
Expectativa de intervalo de comprimento de string Regra no nível da linha que avalia se o tamanho da string de cada valor de coluna está dentro de um intervalo especificado.

Funções de agregação

Nome Descrição
Expectativa de contenção de valores distintos Regra de agregação que avalia se o conjunto de valores de coluna distintos contém todos os valores em um conjunto especificado.
Expectativa de igualdade de contagem de valores distintos Regra de agregação que avalia se o número de valores distintos na coluna é igual a um valor especificado.
Expectativa de intervalo de contagem de valores distintos Regra de agregação que avalia se o número de valores distintos na coluna está dentro de um intervalo especificado.
Expectativa de correspondência de valores distintos Regra de agregação que avalia se o conjunto de valores de coluna distintos corresponde exatamente a um conjunto especificado.
Expectativa de proporção de valores distintos Regra de agregação que avalia se a proporção de valores distintos na coluna (ou seja, contagem de valores distintos / contagem total de linhas) está dentro de um intervalo especificado.
Expectativa de conjunto de valores distintos Regra de agregação que avalia se cada valor de coluna distinto está contido em um conjunto especificado.
Expectativa de alcance máximo Regra de agregação que avalia se o máximo da coluna está dentro de um intervalo especificado.
Expectativa de intervalo médio Regra de agregação que avalia se a média da coluna está dentro de um intervalo especificado. Se um tipo de usar pontos flutuantes for retornado, o resultado da função AVG() será não determinista.
Expectativa de intervalo mediano Regra de agregação que avalia se a mediana da coluna está dentro de um intervalo especificado.
Expectativa de intervalo mínimo Regra de agregação que avalia se o mínimo da coluna está dentro de um intervalo especificado.
Expectativa de intervalo de modo Regra de agregação que avalia se todos os modos de coluna (valores mais frequentes) estão dentro de um intervalo especificado. Se houver vários modos, cada um será verificado em relação ao intervalo, e os modos com falha serão retornados.
Expectativa de definição de modo Regra de agregação que avalia se todos os modos de coluna (valores mais frequentes) estão no conjunto especificado. Os valores NULL são ignorados ao calcular as modas. Se houver vários modos com a mesma frequência mais alta, cada um será verificado em relação ao conjunto, e os modos com falha serão retornados em uma matriz.
Expectativa de intervalo de quantis Regra de agregação que avalia se o valor no quantil especificado para a coluna está dentro de um intervalo especificado.
Expectativa de intervalo de desvio padrão Regra de agregação que avalia se o desvio padrão da coluna está dentro de um intervalo especificado.
Expectativa de intervalo de soma Regra de agregação que avalia se a soma da coluna está dentro de um intervalo especificado. Se um tipo de usar pontos flutuantes for retornado, o resultado da função SUM() será não determinista.
Expectativa de igualdade de contagem de valores únicos de comparação de tabelas Regra de agregação que avalia se o número de valores exclusivos em uma coluna especificada é igual entre a tabela atual e uma tabela de referência.

Várias colunas

Nome Descrição
Expectativa de igualdade na comparação de colunas Regra de nível de linha que avalia se o valor na coluna A é igual ao valor na coluna B para cada linha.
Expectativa de comparação de colunas maior Regra no nível da linha que avalia se o valor na coluna A é maior que o valor na coluna B para cada linha.
Expectativa de conjunto de pares de colunas Regra de agregação que avalia se os valores pareados da coluna A e da coluna B estão contidos em um conjunto especificado.
Expectativa de igualdade de soma de várias colunas Regra de agregação que avalia se a soma de todas as linhas em uma lista especificada de colunas é igual a um valor especificado. Se um tipo de usar pontos flutuantes for retornado, o resultado da função SUM() será não determinista.
Expectativa de exclusividade de várias colunas Regra no nível da linha que avalia se a combinação de valores em uma lista especificada de colunas é exclusiva para cada linha (por exemplo, uma chave primária de várias colunas).
Expectativa de exclusividade da coluna de registro Regra no nível da linha que avalia se os valores em uma lista especificada de colunas são exclusivos em cada registro (linha). Os registros podem ser duplicados.

Funções de distribuição

Nome Descrição
Expectativa de integridade da parte da data Regra de agregação que avalia se uma tabela tem dados para cada intervalo (por exemplo, todos os dias) em um período.
Expectativa de valores de desvio padrão Regra no nível da linha que avalia se cada valor de coluna está dentro de um número especificado de desvios padrão da média da coluna.

Condições genéricas

Nome Descrição
Expectativa de condição de linha Regra de nível de linha que avalia se cada linha em uma tabela atende à condição especificada.
Declaração SQL Regra de agregação que avalia o número de linhas retornadas para a instrução fornecida. Se alguma linha for retornada, essa regra falhará.
Expectativa de condição da tabela Regra de agregação que avalia se a expressão fornecida é verdadeira para uma tabela.

A seguir