Liste des modèles de règles système

Knowledge Catalog (anciennement Dataplex Universal Catalog) est compatible avec une gamme de modèles de règles que vous pouvez utiliser pour définir et automatiser les processus de qualité et de validation des données. L'implémentation de ces modèles est un élément clé de la gouvernance des données, car elle permet de garantir l'exactitude et la cohérence des ensembles de données.

Pour identifier le modèle à utiliser, vous pouvez effectuer un profilage des données sur vos ressources afin d'identifier les problèmes de qualité potentiels. Après avoir identifié les contrôles de qualité requis, vous pouvez sélectionner les modèles appropriés sur cette page pour définir des règles pour vos ressources.

Cette page répertorie les modèles de règles système disponibles que vous pouvez utiliser dans n'importe quelle région.

Forme de la table

Nom Description
Attente d'égalité du nombre de colonnes Règle d'agrégation qui évalue si le nombre de colonnes du tableau est égal à une valeur spécifiée. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Nombre de colonnes attendu Règle d'agrégation qui évalue si le nombre de colonnes du tableau se situe dans une plage spécifiée. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente d'existence de la colonne Règle d'agrégation qui évalue si une colonne spécifique existe dans le tableau. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attentes en termes de fraîcheur Règle d'agrégation qui évalue si les dernières données d'une colonne sont plus récentes qu'un intervalle spécifié.
Grouped Freshness Expectation Règle d'agrégation qui évalue si les dernières données groupées d'une colonne sont plus récentes qu'un intervalle spécifié.
Comportement attendu pour la correspondance de schéma ordonnée Règle d'agrégation qui évalue si les colonnes ordonnées du tableau correspondent exactement à une liste ordonnée spécifiée.
Attente d'égalité du nombre de lignes Règle d'agrégation qui évalue si le nombre de lignes du tableau est égal à une valeur spécifiée.
Comportement attendu pour la plage du nombre de lignes Règle d'agrégation qui évalue si le nombre de lignes du tableau se situe dans une plage spécifiée.
Comportement attendu concernant le contenu du schéma Règle d'agrégation qui évalue si l'ensemble des colonnes du tableau contient toutes les colonnes d'un ensemble spécifié. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu pour l'exclusion de schémas Règle d'agrégation qui évalue si les colonnes du tableau ne figurent pas dans un ensemble spécifié. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu de la correspondance de schéma Règle d'agrégation qui évalue si les colonnes du tableau correspondent exactement à un ensemble spécifié. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Table Comparison Aggregate Equality Expectation Règle d'agrégation qui évalue si le résultat d'une expression d'agrégation est égal entre la table actuelle et une table de référence spécifiée.
Table Comparison Aggregate Range Expectation Règle d'agrégation qui évalue si le résultat d'une expression d'agrégation sur la table actuelle s'écarte de la table de référence de plus d'une tolérance spécifiée.
Table Comparison Row Count Equality Expectation Règle d'agrégation qui évalue si le nombre de lignes dans le tableau actuel est égal au nombre de lignes dans un tableau de référence spécifié, avec un filtrage de ligne facultatif avant le décompte.
Égalité attendue du facteur de nombre de lignes de comparaison de tableaux Règle d'agrégation qui évalue si le nombre de lignes dans le tableau actuel est égal à un facteur du nombre de lignes dans un tableau de référence spécifié, avec un filtrage de ligne facultatif avant le décompte.

Valeurs manquantes, valeurs uniques et types

Nom Description
Type de colonne attendu Règle d'agrégation qui évalue si le type de données de la colonne correspond à un type spécifié. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente de la liste des types de colonnes Règle d'agrégation qui évalue si le type de données de la colonne fait partie d'un ensemble spécifié. Cette règle exige les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Comportement attendu (non nul) Règle au niveau de la ligne qui évalue si chaque valeur de colonne n'est pas nulle.
Hypothèse nulle Règle au niveau de la ligne qui évalue si chaque valeur de colonne est nulle.
Comportement attendu pour la casse des chaînes Règle au niveau de la ligne qui évalue si la chaîne de valeur de chaque colonne correspond à une casse spécifiée.
Attente d'originalité Règle au niveau de la ligne qui évalue si chaque valeur de colonne est unique.

Ensembles et plages

Nom Description
Diminution des attentes Règle d'agrégation qui évalue si les valeurs d'une colonne sont en baisse. Les valeurs NULL sont ignorées. Renvoie la première ligne où l'attente n'est pas satisfaite.
Augmentation des attentes Règle d'agrégation qui évalue si les valeurs d'une colonne sont croissantes. Les valeurs NULL sont ignorées. Renvoie la première ligne où l'attente n'est pas satisfaite.
Plage attendue Règle au niveau de la ligne qui évalue si chaque valeur de colonne se situe dans une plage spécifiée.
Attentes concernant l'ensemble de référence Règle au niveau des lignes qui évalue si chaque valeur de colonne est contenue dans un ensemble de référence spécifié.
Définir les attentes concernant les exclusions Règle au niveau de la ligne qui évalue si chaque valeur de colonne n'est pas contenue dans un ensemble spécifié.
Définir les attentes Règle au niveau de la ligne qui évalue si chaque valeur de colonne est contenue dans un ensemble spécifié.

Correspondance de chaîne

Nom Description
Comportement attendu pour l'exclusion de modèles Règle au niveau de la ligne qui évalue si chaque valeur de colonne ne correspond pas à un modèle LIKE SQL spécifié.
Liste des attentes concernant l'exclusion de modèles Règle au niveau de la ligne qui évalue si chaque valeur de colonne ne correspond à aucun des modèles LIKE SQL spécifiés.
Comportement attendu Règle au niveau de la ligne qui évalue si chaque valeur de colonne correspond à un modèle LIKE SQL spécifié.
Liste des attentes concernant les modèles Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à au moins l'un des modèles LIKE SQL spécifiés.
Comportement attendu pour l'exclusion par expression régulière Règle au niveau de la ligne qui évalue si chaque valeur de colonne ne correspond pas à une expression régulière spécifiée.
Liste des attentes d'exclusion des expressions régulières Règle au niveau de la ligne qui évalue si chaque valeur de colonne ne correspond à aucune des expressions régulières spécifiées.
Expression régulière attendue Règle au niveau de la ligne qui évalue si chaque valeur de colonne correspond à une expression régulière spécifiée.
Liste des attentes concernant les expressions régulières Règle au niveau de la ligne qui évalue si chaque valeur de colonne correspond à au moins l'une des expressions régulières spécifiées.
Comportement attendu d'égalité de longueur de chaîne Règle au niveau de la ligne qui évalue si la longueur de la chaîne de valeur de chaque colonne est égale à une valeur spécifiée.
Comportement attendu pour la plage de longueur de chaîne Règle au niveau de la ligne qui évalue si la longueur de la chaîne de valeur de chaque colonne se situe dans une plage spécifiée.

Fonctions d'agrégation

Nom Description
Attente de confinement des valeurs distinctes Règle d'agrégation qui évalue si l'ensemble des valeurs distinctes d'une colonne contient toutes les valeurs d'un ensemble spécifié.
Distinct Values Count Equality Expectation Règle d'agrégation qui évalue si le nombre de valeurs distinctes dans la colonne est égal à une valeur spécifiée.
Plage de valeurs distinctes attendue Règle d'agrégation qui évalue si le nombre de valeurs distinctes dans la colonne se situe dans une plage spécifiée.
Les valeurs distinctes correspondent aux attentes Règle d'agrégation qui évalue si l'ensemble des valeurs de colonne distinctes correspond exactement à un ensemble spécifié.
Proportion attendue de valeurs distinctes Règle d'agrégation qui évalue si la proportion de valeurs distinctes dans la colonne (c'est-à-dire le nombre de valeurs distinctes divisé par le nombre total de lignes) se situe dans une plage spécifiée.
Expectation "Distinct Values Set" Règle d'agrégation qui évalue si chaque valeur de colonne distincte est contenue dans un ensemble spécifié.
Portée maximale attendue Règle d'agrégation qui évalue si le maximum de la colonne se situe dans une plage spécifiée.
Moyenne de la plage attendue Règle d'agrégation qui évalue si la moyenne de la colonne se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction AVG() est non déterministe.
Comportement attendu pour la plage médiane Règle d'agrégation qui évalue si la médiane de la colonne se situe dans une plage spécifiée.
Comportement attendu pour la plage minimale Règle d'agrégation qui évalue si le minimum de la colonne se trouve dans une plage spécifiée.
Comportement attendu de la plage de mode Règle d'agrégation qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se trouvent dans une plage spécifiée. S'il existe plusieurs modes, chacun d'eux sera vérifié par rapport à la plage et tous les modes défaillants seront renvoyés.
Mode Définir les attentes Règle d'agrégation qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se trouvent dans l'ensemble spécifié. Les valeurs NULL sont ignorées lors du calcul des modes. S'il existe plusieurs modes ayant la même fréquence la plus élevée, chacun d'eux sera vérifié par rapport à l'ensemble, et tous les modes défaillants seront renvoyés dans un tableau.
Quantile Range Expectation Règle d'agrégation qui évalue si la valeur du quantile spécifié pour la colonne se situe dans une plage donnée.
Écart-type attendu Règle d'agrégation qui évalue si l'écart type de la colonne se situe dans une plage spécifiée.
Comportement attendu pour la plage de somme Règle d'agrégation qui évalue si la somme des colonnes se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction SUM() est non déterministe.
Table Comparison Unique Values Count Equality Expectation Règle d'agrégation qui évalue si le nombre de valeurs uniques dans une colonne spécifiée est identique entre la table actuelle et une table de référence.

Plusieurs colonnes

Nom Description
Attente d'égalité de comparaison de colonnes Règle au niveau de la ligne qui évalue si la valeur de la colonne A est égale à celle de la colonne B pour chaque ligne.
Comparaison de colonnes : attentes plus élevées Règle au niveau de la ligne qui évalue si la valeur de la colonne A est supérieure à celle de la colonne B pour chaque ligne.
Comportement attendu pour les paires de colonnes Règle d'agrégation qui évalue si les valeurs appariées des colonnes A et B sont contenues dans un ensemble spécifié.
Attente d'égalité de la somme de plusieurs colonnes Règle d'agrégation qui évalue si la somme de toutes les lignes d'une liste de colonnes spécifiée est égale à une valeur spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction SUM() est non déterministe.
Attente d'unicité multicolonne Règle au niveau des lignes qui évalue si la combinaison de valeurs dans une liste de colonnes spécifiée est unique pour chaque ligne (par exemple, une clé primaire à plusieurs colonnes).
Record Column Uniqueness Expectation Règle au niveau de la ligne qui évalue si les valeurs d'une liste de colonnes spécifiée sont uniques dans chaque enregistrement (ligne). Notez que les enregistrements peuvent être dupliqués.

Fonctions de distribution

Nom Description
Exigences concernant l'exhaustivité des parties de date Règle d'agrégation qui évalue si une table contient des données pour chaque intervalle (par exemple, chaque jour) d'une plage de dates.
Valeurs attendues de l'écart-type Règle au niveau de la ligne qui évalue si chaque valeur de colonne se situe dans un nombre spécifié d'écarts types par rapport à la moyenne de la colonne.

Conditions génériques

Nom Description
Comportement attendu de la condition de ligne Règle au niveau des lignes qui évalue si chaque ligne d'un tableau remplit la condition spécifiée.
Assertion SQL Règle d'agrégation qui évalue le nombre de lignes renvoyées pour l'instruction fournie. Si des lignes sont renvoyées, cette règle échoue.
Comportement attendu de l'état de la table Règle d'agrégation qui évalue si l'expression fournie est vraie pour une table.

Étapes suivantes