Liste der Systemregelvorlagen

Knowledge Catalog (ehemals Dataplex Universal Catalog) unterstützt eine Reihe von Regelvorlagen, mit denen Sie Prozesse zur Datenqualität und Datenvalidierung definieren und automatisieren können. Die Implementierung dieser Vorlagen ist ein wichtiger Bestandteil der Data Governance und sorgt dafür, dass Datasets korrekt und konsistent bleiben.

Um zu ermitteln, welche dieser Vorlagen verwendet werden sollen, können Sie eine Datenprofilerstellung für Ihre Ressourcen durchführen, um potenzielle Qualitätsprobleme zu identifizieren. Nachdem Sie die erforderlichen Qualitätsprüfungen ermittelt haben, können Sie auf dieser Seite die entsprechenden Vorlagen auswählen, um Regeln für Ihre Ressourcen zu definieren.

Auf dieser Seite sind die verfügbaren Systemregelvorlagen aufgeführt, die Sie in jeder Region verwenden können.

Tabellenform

Name Beschreibung
Erwartung „Anzahl der Spalten gleich“ Aggregatregel, die prüft, ob die Anzahl der Spalten in der Tabelle einem bestimmten Wert entspricht. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Anzahl der Spalten im Bereich“ Aggregatregel, die prüft, ob die Anzahl der Spalten in der Tabelle in einem bestimmten Bereich liegt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Spalte vorhanden“ Aggregatregel, die prüft, ob eine bestimmte Spalte in der Tabelle vorhanden ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Aktualität“ Aggregatregel, die prüft, ob die neuesten Daten in einer Spalte neuer sind als ein bestimmtes Intervall.
Erwartung „Gruppierte Aktualität“ Aggregatregel, die prüft, ob die neuesten gruppierten Daten in einer Spalte neuer sind als ein bestimmtes Intervall.
Erwartung „Geordnetes Schema stimmt überein“ Aggregatregel, die prüft, ob die geordneten Spalten in der Tabelle genau mit einer geordneten, angegebenen Liste übereinstimmen.
Erwartung „Anzahl der Zeilen gleich“ Aggregatregel, die prüft, ob die Anzahl der Zeilen in der Tabelle einem bestimmten Wert entspricht.
Erwartung „Anzahl der Zeilen im Bereich“ Aggregatregel, die prüft, ob die Anzahl der Zeilen in der Tabelle in einem bestimmten Bereich liegt.
Erwartung „Schema enthält“ Aggregatregel, die prüft, ob die Spalten in der Tabelle alle Spalten in einer bestimmten Gruppe enthalten. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Schema ausgeschlossen“ Aggregatregel, die prüft, ob die Spalten in der Tabelle nicht in einer bestimmten Gruppe enthalten sind. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Schema stimmt überein“ Aggregatregel, die prüft, ob die Spalten in der Tabelle genau mit einer bestimmten Gruppe übereinstimmen. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Aggregatgleichheit beim Tabellenvergleich“ Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks zwischen der aktuellen Tabelle und einer angegebenen Referenztabelle gleich ist.
Erwartung „Aggregatbereich beim Tabellenvergleich“ Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks für die aktuelle Tabelle um mehr als eine bestimmte Toleranz von der Referenztabelle abweicht.
Erwartung „Gleiche Anzahl von Zeilen beim Tabellenvergleich“ Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle mit der Anzahl der Zeilen in einer angegebenen Referenztabelle übereinstimmt. Optional können Zeilen vor dem Zählen gefiltert werden.
Erwartung „Gleicher Faktor für Anzahl der Zeilen beim Tabellenvergleich“ Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle einem Faktor der Anzahl der Zeilen in einer angegebenen Referenztabelle entspricht. Optional können Zeilen vor dem Zählen gefiltert werden.

Fehlende Werte, eindeutige Werte und Typen

Name Beschreibung
Erwartung „Spaltentyp“ Aggregatregel, die prüft, ob der Datentyp der Spalte mit einem bestimmten Typ übereinstimmt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Spaltentyp in Liste“ Aggregatregel, die prüft, ob der Datentyp der Spalte in einer bestimmten Gruppe enthalten ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die Tabelle und das Dataset erforderlich, die abgefragt werden.
Erwartung „Nicht null“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht null ist.
Erwartung „Null“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert null ist.
Erwartung „String-Groß-/Kleinschreibung“ Regel auf Zeilenebene, die prüft, ob die Groß-/Kleinschreibung jedes Spaltenwertstrings mit einer bestimmten Groß-/Kleinschreibung übereinstimmt.
Erwartung „Eindeutigkeit“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert eindeutig ist.

Gruppen und Bereiche

Name Beschreibung
Erwartung „Abnehmend“ Aggregatregel, die prüft, ob die Werte in einer Spalte abnehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt ist.
Erwartung „Zunehmend“ Aggregatregel, die prüft, ob die Werte in einer Spalte zunehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt ist.
Erwartung „Bereich“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einem bestimmten Bereich liegt.
Erwartung „Referenzgruppe“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einer bestimmten Referenzgruppe enthalten ist.
Erwartung „Gruppe ausgeschlossen“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht in einer bestimmten Gruppe enthalten ist.
Erwartung „Gruppe“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einer bestimmten Gruppe enthalten ist.

String-Abgleich

Name Beschreibung
Erwartung „Muster ausgeschlossen“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem bestimmten SQL-LIKE-Muster übereinstimmt.
Erwartung „Muster ausgeschlossen“ (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung „Muster“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem bestimmten SQL-LIKE-Muster übereinstimmt.
Erwartung „Muster“ (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung „Regex ausgeschlossen“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem bestimmten regulären Ausdruck übereinstimmt.
Erwartung „Regex ausgeschlossen“ (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung „Regex“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem bestimmten regulären Ausdruck übereinstimmt.
Erwartung „Regex“ (Liste) Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung „Gleiche Stringlänge“ Regel auf Zeilenebene, die prüft, ob die Stringlänge jedes Spaltenwerts einem bestimmten Wert entspricht.
Erwartung „Stringlänge im Bereich“ Regel auf Zeilenebene, die prüft, ob die Stringlänge jedes Spaltenwerts in einem bestimmten Bereich liegt.

Aggregatfunktionen

Name Beschreibung
Erwartung „Eindeutige Werte enthalten“ Aggregatregel, die prüft, ob die Gruppe der eindeutigen Spaltenwerte alle Werte in einer bestimmten Gruppe enthält.
Erwartung „Gleiche Anzahl eindeutiger Werte“ Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte einem bestimmten Wert entspricht.
Erwartung „Anzahl eindeutiger Werte im Bereich“ Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte in einem bestimmten Bereich liegt.
Erwartung „Eindeutige Werte stimmen überein“ Aggregatregel, die prüft, ob die Gruppe der eindeutigen Spaltenwerte genau mit einer bestimmten Gruppe übereinstimmt.
Erwartung „Anteil eindeutiger Werte“ Aggregatregel, die prüft, ob der Anteil der eindeutigen Werte in der Spalte (d. h. Anzahl der eindeutigen Werte / Gesamtzahl der Zeilen) in einem bestimmten Bereich liegt.
Erwartung „Gruppe eindeutiger Werte“ Aggregatregel, die prüft, ob jeder eindeutige Spaltenwert in einer bestimmten Gruppe enthalten ist.
Erwartung „Höchstwert im Bereich“ Aggregatregel, die prüft, ob der Höchstwert der Spalte in einem bestimmten Bereich liegt.
Erwartung „Mittelwert im Bereich“ Aggregatregel, die prüft, ob der Mittelwert der Spalte in einem bestimmten Bereich liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der AVG() Funktion nicht deterministisch.
Erwartung „Median im Bereich“ Aggregatregel, die prüft, ob der Median der Spalte in einem bestimmten Bereich liegt.
Erwartung „Mindestwert im Bereich“ Aggregatregel, die prüft, ob der Mindestwert der Spalte in einem bestimmten Bereich liegt.
Erwartung „Modus im Bereich“ Aggregatregel, die prüft, ob alle Modi der Spalte (häufigste Werte) in einem bestimmten Bereich liegen. Wenn es mehrere Modi gibt, wird jeder mit dem Bereich verglichen und alle nicht passenden Modi werden zurückgegeben.
Erwartung „Modus in Gruppe“ Aggregatregel, die prüft, ob alle Modi der Spalte (häufigste Werte) in der angegebenen Gruppe enthalten sind. NULL-Werte werden bei der Berechnung von Modi ignoriert. Wenn es mehrere Modi mit derselben höchsten Häufigkeit gibt, wird jeder mit der Gruppe verglichen und alle nicht passenden Modi werden in einem Array zurückgegeben.
Erwartung „Quantil im Bereich“ Aggregatregel, die prüft, ob der Wert am angegebenen Quantil für die Spalte in einem bestimmten Bereich liegt.
Erwartung „Standardabweichung im Bereich“ Aggregatregel, die prüft, ob die Standardabweichung der Spalte in einem bestimmten Bereich liegt.
Erwartung „Summe im Bereich“ Aggregatregel, die prüft, ob die Summe der Spalte in einem bestimmten Bereich liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der SUM() Funktion nicht deterministisch.
Erwartung „Gleiche Anzahl eindeutiger Werte beim Tabellenvergleich“ Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in einer bestimmten Spalte zwischen der aktuellen Tabelle und einer Referenztabelle gleich ist.

Mehrspaltig

Name Beschreibung
Erwartung „Gleiche Spalten beim Vergleich“ Regel auf Zeilenebene, die prüft, ob der Wert in Spalte A für jede Zeile gleich dem Wert in Spalte B ist.
Erwartung „Spalte A größer als Spalte B“ Regel auf Zeilenebene, die prüft, ob der Wert in Spalte A für jede Zeile größer als der Wert in Spalte B ist.
Erwartung „Spaltenpaare in Gruppe“ Aggregatregel, die prüft, ob die gepaarten Werte aus Spalte A und Spalte B in einer bestimmten Gruppe enthalten sind.
Erwartung „Gleiche Summe über mehrere Spalten“ Aggregatregel, die prüft, ob die Summe aller Zeilen in einer bestimmten Liste von Spalten einem bestimmten Wert entspricht. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der SUM() Funktion nicht deterministisch.
Erwartung „Eindeutigkeit über mehrere Spalten“ Regel auf Zeilenebene, die prüft, ob die Kombination der Werte in einer bestimmten Liste von Spalten für jede Zeile eindeutig ist (z. B. ein mehrspaltiger Primärschlüssel).
Erwartung „Eindeutigkeit der Spalten in Datensätzen“ Regel auf Zeilenebene, die prüft, ob die Werte in einer bestimmten Liste von Spalten in jedem Datensatz (Zeile) eindeutig sind. Beachten Sie, dass Datensätze dupliziert werden können.

Verteilungsfunktionen

Name Beschreibung
Erwartung „Vollständigkeit des Datumsteils“ Aggregatregel, die prüft, ob eine Tabelle Daten für jedes Intervall (z. B. jeden Tag) in einem Datumsbereich enthält.
Erwartung „Werte in Standardabweichung“ Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert innerhalb einer bestimmten Anzahl von Standardabweichungen vom Mittelwert der Spalte liegt.

Allgemeine Bedingungen

Name Beschreibung
Erwartung „Zeilenbedingung“ Regel auf Zeilenebene, die prüft, ob jede Zeile in einer Tabelle die angegebene Bedingung erfüllt.
SQL-Assertion Aggregatregel, die die Anzahl der Zeilen prüft, die für die angegebene Anweisung zurückgegeben werden. Wenn Zeilen zurückgegeben werden, schlägt diese Regel fehl.
Erwartung „Tabellenbedingung“ Aggregatregel, die prüft, ob der angegebene Ausdruck für eine Tabelle zutrifft.

Nächste Schritte