Elenco dei modelli di regole di sistema

Knowledge Catalog (in precedenza Dataplex Universal Catalog) supporta una serie di modelli di regole che puoi utilizzare per definire e automatizzare i processi di qualità dei dati e convalida dei dati. L'implementazione di questi modelli è una parte fondamentale della governance dei dati, in quanto garantisce che i set di dati rimangano accurati e coerenti.

Per identificare quale di questi modelli utilizzare, puoi eseguire la profilazione dei dati sulle tue risorse per identificare potenziali problemi di qualità. Dopo aver identificato i controlli di qualità richiesti, puoi selezionare i modelli appropriati da questa pagina per definire le regole per le tue risorse.

Questa pagina elenca i modelli di regole di sistema disponibili che puoi utilizzare in qualsiasi regione.

Forma del tavolo

Nome Descrizione
Aspettativa di uguaglianza del conteggio delle colonne Regola di aggregazione che valuta se il numero di colonne nella tabella è uguale a un valore specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Intervallo previsto per il conteggio delle colonne Regola di aggregazione che valuta se il numero di colonne nella tabella rientra in un intervallo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Aspettativa di esistenza della colonna Regola di aggregazione che valuta se una colonna specifica esiste nella tabella. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Aspettativa di aggiornamento Regola di aggregazione che valuta se i dati più recenti di una colonna sono più recenti di un intervallo specificato.
Aspettativa di aggiornamento raggruppata Regola di aggregazione che valuta se i dati raggruppati più recenti in una colonna sono più recenti di un intervallo specificato.
Comportamento previsto per la corrispondenza dello schema ordinato Regola di aggregazione che valuta se le colonne ordinate nella tabella corrispondono esattamente a un elenco ordinato e specificato.
Aspettativa di uguaglianza del conteggio delle righe Regola di aggregazione che valuta se il numero di righe nella tabella è uguale a un valore specificato.
Intervallo previsto per il conteggio delle righe Regola di aggregazione che valuta se il numero di righe nella tabella rientra in un intervallo specificato.
Aspettativa di contenimento dello schema Regola di aggregazione che valuta se l'insieme di colonne nella tabella contiene tutte le colonne di un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Comportamento previsto per l'esclusione dello schema Regola di aggregazione che valuta se le colonne della tabella non si trovano in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Comportamento previsto per la corrispondenza dello schema Regola di aggregazione che valuta se le colonne della tabella corrispondono esattamente a un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Table Comparison Aggregate Equality Expectation Regola aggregata che valuta se il risultato di un'espressione aggregata è uguale tra la tabella corrente e una tabella di riferimento specificata.
Table Comparison Aggregate Range Expectation Regola aggregata che valuta se il risultato di un'espressione aggregata nella tabella corrente si discosta dalla tabella di riferimento di una tolleranza superiore a quella specificata.
Table Comparison Row Count Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale al numero di righe in una tabella di riferimento specificata, con il filtro facoltativo delle righe prima del conteggio.
Table Comparison Row Count Factor Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale a un fattore del numero di righe in una tabella di riferimento specificata, con il filtro facoltativo delle righe prima del conteggio.

Valori mancanti, valori univoci e tipi

Nome Descrizione
Comportamento previsto per il tipo di colonna Regola di aggregazione che valuta se il tipo di dati della colonna corrisponde a un tipo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Elenco dei tipi di colonne previsti Regola di aggregazione che valuta se il tipo di dati della colonna si trova in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get per la tabella e il set di dati su cui viene eseguita la query.
Non Null Expectation Regola a livello di riga che valuta se ogni valore della colonna non è nullo.
Null Expectation Regola a livello di riga che valuta se ogni valore della colonna è nullo.
String Case Expectation Regola a livello di riga che valuta se ogni stringa di valore della colonna corrisponde a una combinazione di maiuscole e minuscole specificata.
Aspettativa di unicità Regola a livello di riga che valuta se ogni valore della colonna è univoco.

Set e intervalli

Nome Descrizione
Diminuzione delle aspettative Regola di aggregazione che valuta se i valori in una colonna sono decrescenti. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non viene soddisfatta.
Aspettative in aumento Regola di aggregazione che valuta se i valori in una colonna sono in aumento. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non è soddisfatta.
Intervallo previsto Regola a livello di riga che valuta se ogni valore della colonna rientra in un intervallo specificato.
Reference Set Expectation Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un insieme di riferimento specificato.
Impostare l'aspettativa di esclusione Regola a livello di riga che valuta se ogni valore della colonna non è contenuto in un insieme specificato.
Definisci le aspettative Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un insieme specificato.

Corrispondenza stringa

Nome Descrizione
Comportamento previsto per l'esclusione di pattern Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a un pattern SQL LIKE specificato.
Elenco dei comportamenti previsti per l'esclusione di pattern Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuno dei pattern SQL LIKE specificati.
Pattern Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un pattern SQL LIKE specificato.
Elenco dei comportamenti previsti Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno uno dei pattern SQL LIKE specificati.
Comportamento previsto per l'esclusione di regex Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a un'espressione regolare specificata.
Regex Exclusion Expectation List Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuna delle espressioni regolari specificate.
Regex Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un'espressione regolare specificata.
Elenco delle espressioni regolari previste Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno una delle espressioni regolari specificate.
Aspettativa di uguaglianza della lunghezza della stringa Regola a livello di riga che valuta se la lunghezza della stringa di ogni valore della colonna è uguale a un valore specificato.
Intervallo di lunghezza della stringa previsto Regola a livello di riga che valuta se la lunghezza della stringa di ogni valore della colonna rientra in un intervallo specificato.

Funzioni di aggregazione

Nome Descrizione
Distinct Values Containment Expectation Regola di aggregazione che valuta se l'insieme di valori distinti della colonna contiene tutti i valori di un insieme specificato.
Distinct Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori distinti nella colonna è uguale a un valore specificato.
Intervallo previsto per il conteggio dei valori distinti Regola di aggregazione che valuta se il numero di valori distinti nella colonna rientra in un intervallo specificato.
Distinct Values Match Expectation Regola di aggregazione che valuta se l'insieme di valori distinti della colonna corrisponde esattamente a un insieme specificato.
Aspettativa di proporzione di valori distinti Regola di aggregazione che valuta se la proporzione di valori distinti nella colonna (ovvero il conteggio dei valori distinti / il conteggio totale delle righe) rientra in un intervallo specificato.
Distinct Values Set Expectation Regola di aggregazione che valuta se ogni valore distinto della colonna è contenuto in un insieme specificato.
Intervallo massimo previsto Regola di aggregazione che valuta se il valore massimo della colonna rientra in un intervallo specificato.
Intervallo medio previsto Regola di aggregazione che valuta se la media della colonna rientra in un intervallo specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il risultato della funzione AVG() non è deterministico.
Intervallo mediano previsto Regola di aggregazione che valuta se la mediana della colonna rientra in un intervallo specificato.
Min Range Expectation Regola di aggregazione che valuta se il minimo della colonna rientra in un intervallo specificato.
Intervallo della modalità previsto Regola di aggregazione che valuta se tutte le modalità della colonna (valori più frequenti) rientrano in un intervallo specificato. Se sono presenti più modalità, ognuna verrà controllata in base all'intervallo e verranno restituite le modalità non riuscite.
Mode Set Expectation Regola di aggregazione che valuta se tutte le modalità della colonna (valori più frequenti) rientrano nel set specificato. I valori NULL vengono ignorati durante il calcolo delle mode. Se sono presenti più modalità con la stessa frequenza più alta, ognuna verrà confrontata con il set e le modalità non riuscite verranno restituite in un array.
Intervallo di quantili previsto Regola di aggregazione che valuta se il valore al quantile specificato per la colonna rientra in un intervallo specificato.
Intervallo di deviazione standard previsto Regola di aggregazione che valuta se la deviazione standard della colonna rientra in un intervallo specificato.
Comportamento previsto dell'intervallo di somma Regola di aggregazione che valuta se la somma della colonna rientra in un intervallo specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il risultato della funzione SUM() non è deterministico.
Table Comparison Unique Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori univoci in una colonna specificata è uguale tra la tabella corrente e una tabella di riferimento.

Più colonne

Nome Descrizione
Aspettativa di uguaglianza nel confronto tra colonne Regola a livello di riga che valuta se il valore nella colonna A è uguale al valore nella colonna B per ogni riga.
Confronto tra colonne: aspettative maggiori Regola a livello di riga che valuta se il valore nella colonna A è maggiore del valore nella colonna B per ogni riga.
Comportamento previsto per i set di coppie di colonne Regola di aggregazione che valuta se i valori accoppiati delle colonne A e B sono contenuti in un insieme specificato.
Aspettativa di uguaglianza della somma di più colonne Regola di aggregazione che valuta se la somma di tutte le righe in un elenco specificato di colonne è uguale a un valore specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il risultato della funzione SUM() non è deterministico.
Aspettativa di unicità di più colonne Regola a livello di riga che valuta se la combinazione di valori in un elenco specificato di colonne è univoca per ogni riga (ad esempio, una chiave primaria a più colonne).
Record Column Uniqueness Expectation Regola a livello di riga che valuta se i valori in un elenco specificato di colonne sono univoci all'interno di ogni record (riga). Tieni presente che i record possono essere duplicati.

Funzioni di distribuzione

Nome Descrizione
Date Part Completeness Expectation Regola di aggregazione che valuta se una tabella contiene dati per ogni intervallo (ad esempio, ogni giorno) all'interno di un intervallo di date.
Valori di deviazione standard previsti Regola a livello di riga che valuta se ogni valore della colonna rientra in un numero specificato di deviazioni standard dalla media della colonna.

Condizioni generiche

Nome Descrizione
Comportamento previsto della condizione a livello di riga Regola a livello di riga che valuta se ogni riga di una tabella soddisfa la condizione specificata.
SQL Assertion Regola di aggregazione che valuta il numero di righe restituite per l'istruzione fornita. Se vengono restituite delle righe, questa regola non riesce.
Comportamento previsto della condizione a livello di tabella Regola di aggregazione che valuta se l'espressione fornita è vera per una tabella.

Passaggi successivi