Liste der Systemregelvorlagen

Knowledge Catalog (ehemals Dataplex Universal Catalog) unterstützt eine Reihe von Regelvorlagen, mit denen Sie Prozesse zur Datenqualität und Datenvalidierung definieren und automatisieren können. Die Implementierung dieser Vorlagen ist ein wichtiger Bestandteil der Data Governance und trägt dazu bei, dass Datasets korrekt und konsistent bleiben.

Um herauszufinden, welche dieser Vorlagen Sie verwenden sollten, können Sie eine Datenprofilerstellung für Ihre Ressourcen durchführen, um potenzielle Qualitätsprobleme zu identifizieren. Nachdem Sie die erforderlichen Qualitätsprüfungen ermittelt haben, können Sie auf dieser Seite die entsprechenden Vorlagen auswählen, um Regeln für Ihre Ressourcen zu definieren.

Auf dieser Seite sind die verfügbaren Vorlagen für Systemregeln aufgeführt, die Sie in jeder Region verwenden können.

Tischform

Name Beschreibung
Erwartung für die Gleichheit der Spaltenanzahl Aggregationsregel, mit der geprüft wird, ob die Anzahl der Spalten in der Tabelle einem bestimmten Wert entspricht. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwarteter Spaltenanzahlbereich Aggregationsregel, mit der geprüft wird, ob die Anzahl der Spalten in der Tabelle in einem bestimmten Bereich liegt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung für das Vorhandensein von Spalten Aggregatregel, mit der geprüft wird, ob eine bestimmte Spalte in der Tabelle vorhanden ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung an die Aktualität Aggregierte Regel, mit der geprüft wird, ob die neuesten Daten in einer Spalte neuer sind als ein angegebenes Intervall.
Erwartung der Aktualität nach Gruppen Aggregierte Regel, mit der geprüft wird, ob die neuesten gruppierten Daten in einer Spalte neuer als ein angegebenes Intervall sind.
Erwartung für den Abgleich von Schemas in der richtigen Reihenfolge Aggregatregel, mit der geprüft wird, ob die sortierten Spalten in der Tabelle genau mit einer sortierten, angegebenen Liste übereinstimmen.
Erwartung für die Gleichheit der Zeilenanzahl Aggregationsregel, mit der geprüft wird, ob die Anzahl der Zeilen in der Tabelle einem bestimmten Wert entspricht.
Erwarteter Bereich für die Anzahl der Zeilen Aggregationsregel, mit der geprüft wird, ob die Anzahl der Zeilen in der Tabelle in einem angegebenen Bereich liegt.
Erwartung zur Schema-Einschließung Aggregatregel, mit der geprüft wird, ob die Spalten in der Tabelle alle Spalten in einer angegebenen Gruppe enthalten. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung für Schemaausschluss Aggregierte Regel, mit der geprüft wird, ob die Spalten in der Tabelle nicht in einem bestimmten Set enthalten sind. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung für Schemaabgleich Aggregatregel, mit der geprüft wird, ob die Spalten in der Tabelle genau einem angegebenen Satz entsprechen. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung für die Gleichheit von Aggregaten im Tabellenvergleich Aggregatregel, mit der geprüft wird, ob das Ergebnis eines Aggregatausdrucks in der aktuellen Tabelle und einer angegebenen Referenztabelle gleich ist.
Table Comparison Aggregate Range Expectation Aggregationsregel, mit der geprüft wird, ob das Ergebnis eines Aggregatausdrucks für die aktuelle Tabelle um mehr als eine angegebene Toleranz von der Referenztabelle abweicht.
Erwartung für die Gleichheit der Zeilenanzahl im Tabellenvergleich Aggregationsregel, mit der geprüft wird, ob die Anzahl der Zeilen in der aktuellen Tabelle mit der Anzahl der Zeilen in einer angegebenen Referenztabelle übereinstimmt. Optional kann vor dem Zählen ein Zeilenfilter angewendet werden.
Erwartung der Gleichheit des Faktors für die Anzahl der Zeilen im Tabellenvergleich Aggregationsregel, mit der geprüft wird, ob die Anzahl der Zeilen in der aktuellen Tabelle einem Faktor der Anzahl der Zeilen in einer angegebenen Referenztabelle entspricht. Optional kann vor dem Zählen ein Zeilenfilter angewendet werden.

Fehlende Werte, eindeutige Werte und Typen

Name Beschreibung
Erwartung für Spaltentyp Aggregationsregel, mit der geprüft wird, ob der Spaltendatentyp einem angegebenen Typ entspricht. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Erwartung für Spaltentyp-Liste Aggregatregel, mit der geprüft wird, ob der Datentyp der Spalte in einer angegebenen Menge enthalten ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abzufragende Tabelle und das abzufragende Dataset erforderlich.
Non-Null-Erwartung Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert nicht null ist.
Nullerwartung Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert null ist.
Erwartung für die Groß-/Kleinschreibung von Strings Regel auf Zeilenebene, mit der geprüft wird, ob der String für jeden Spaltenwert einer bestimmten Groß-/Kleinschreibung entspricht.
Erwartung der Einzigartigkeit Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert eindeutig ist.

Sets und Bereiche

Name Beschreibung
Erwartung verringern Aggregationsregel, mit der geprüft wird, ob die Werte in einer Spalte abnehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt wird.
Steigende Erwartungen Aggregationsregel, mit der geprüft wird, ob die Werte in einer Spalte steigen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt wird.
Erwarteter Bereich Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert in einem angegebenen Bereich liegt.
Erwartung für Referenzgruppe Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert in einer angegebenen Referenzmenge enthalten ist.
Ausschluss festlegen Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert nicht in einer angegebenen Menge enthalten ist.
Erwartungen festlegen Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert in einer angegebenen Menge enthalten ist.

String-Abgleich

Name Beschreibung
Erwartung für den Musterausschluss Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert nicht mit einem angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartungsliste für Musterausschlüsse Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert mit einem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung für Muster Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert einem angegebenen SQL-LIKE-Muster entspricht.
Liste der erwarteten Muster Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert mit mindestens einem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartung für Regex-Ausschluss Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert nicht mit einem angegebenen regulären Ausdruck übereinstimmt.
Liste der erwarteten Regex-Ausschlüsse Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert mit einem der angegebenen regulären Ausdrücke übereinstimmt.
Regex-Erwartung Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert einem angegebenen regulären Ausdruck entspricht.
Liste der Regex-Erwartungen Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert mit mindestens einem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung für Gleichheit der Stringlänge Regel auf Zeilenebene, mit der geprüft wird, ob die Stringlänge jedes Spaltenwerts einem angegebenen Wert entspricht.
Erwartung für Stringlängenbereich Regel auf Zeilenebene, mit der geprüft wird, ob die Stringlänge der einzelnen Spaltenwerte in einem angegebenen Bereich liegt.

Aggregatfunktionen

Name Beschreibung
Erwartung für die Einbeziehung unterschiedlicher Werte Aggregationsregel, mit der geprüft wird, ob die Menge der eindeutigen Spaltenwerte alle Werte in einer angegebenen Menge enthält.
Distinct Values Count Equality Expectation Aggregationsregel, mit der geprüft wird, ob die Anzahl der eindeutigen Werte in der Spalte einem angegebenen Wert entspricht.
Erwarteter Bereich für die Anzahl der eindeutigen Werte Aggregationsregel, mit der geprüft wird, ob die Anzahl der eindeutigen Werte in der Spalte innerhalb eines angegebenen Bereichs liegt.
Anzahl der eindeutigen Werte entspricht Erwartung Aggregationsregel, mit der geprüft wird, ob die Menge der eindeutigen Spaltenwerte genau einer angegebenen Menge entspricht.
Erwartung für den Anteil unterschiedlicher Werte Aggregationsregel, mit der geprüft wird, ob der Anteil der eindeutigen Werte in der Spalte (Anzahl der eindeutigen Werte / Gesamtzahl der Zeilen) in einem angegebenen Bereich liegt.
Erwartung für eindeutige Werte Aggregationsregel, mit der geprüft wird, ob jeder eindeutige Spaltenwert in einer angegebenen Menge enthalten ist.
Max. erwarteter Bereich Aggregationsregel, mit der geprüft wird, ob das Spaltenmaximum in einem angegebenen Bereich liegt.
Erwartung für den mittleren Bereich Aggregationsregel, mit der geprüft wird, ob der Spaltendurchschnitt in einem angegebenen Bereich liegt. Wird ein Gleitkommatyp zurückgegeben, ist das Ergebnis der AVG()-Funktion nicht deterministisch.
Erwartung für den Medianbereich Aggregationsregel, mit der geprüft wird, ob der Spaltenmedian in einem angegebenen Bereich liegt.
Erwartung für Mindestbereich Aggregationsregel, mit der geprüft wird, ob das Spaltenminimum in einem angegebenen Bereich liegt.
Erwartung für den Modusbereich Aggregationsregel, mit der geprüft wird, ob alle Spaltenmodi (häufigste Werte) in einem angegebenen Bereich liegen. Wenn es mehrere Modi gibt, wird jeder anhand des Bereichs geprüft und alle fehlerhaften Modi werden zurückgegeben.
Erwartung für den Modus Aggregationsregel, mit der geprüft wird, ob alle Spaltenmodi (häufigste Werte) innerhalb der angegebenen Menge liegen. NULL-Werte werden bei der Berechnung von Modi ignoriert. Wenn es mehrere Modi mit derselben höchsten Häufigkeit gibt, wird jeder mit dem Set abgeglichen und alle fehlerhaften Modi werden in einem Array zurückgegeben.
Erwartung für Quantilbereich Aggregationsregel, mit der geprüft wird, ob der Wert für das angegebene Quantil für die Spalte in einem bestimmten Bereich liegt.
Erwartung für den Bereich der Standardabweichung Aggregationsregel, mit der geprüft wird, ob die Standardabweichung der Spalte in einem angegebenen Bereich liegt.
Erwartung für Summenbereich Aggregierte Regel, mit der geprüft wird, ob die Spaltensumme in einem angegebenen Bereich liegt. Wird ein Gleitkommatyp zurückgegeben, ist das Ergebnis der SUM()-Funktion nicht deterministisch.
Erwartung für Gleichheit der Anzahl eindeutiger Werte im Tabellenvergleich Aggregationsregel, mit der geprüft wird, ob die Anzahl der eindeutigen Werte in einer angegebenen Spalte in der aktuellen Tabelle und in einer Referenztabelle gleich ist.

Mehrspaltig

Name Beschreibung
Erwartung für Gleichheit beim Spaltenvergleich Regel auf Zeilenebene, mit der für jede Zeile geprüft wird, ob der Wert in Spalte A gleich dem Wert in Spalte B ist.
Spaltenvergleich – höhere Erwartung Regel auf Zeilenebene, mit der für jede Zeile geprüft wird, ob der Wert in Spalte A größer als der Wert in Spalte B ist.
Erwartung für Spaltenpaare festlegen Aggregationsregel, mit der geprüft wird, ob die gepaarten Werte aus Spalte A und Spalte B in einer angegebenen Menge enthalten sind.
Erwartung für die Gleichheit der Summe mehrerer Spalten Aggregationsregel, mit der geprüft wird, ob die Summe aller Zeilen in einer angegebenen Liste von Spalten einem bestimmten Wert entspricht. Wird ein Gleitkommatyp zurückgegeben, ist das Ergebnis der SUM()-Funktion nicht deterministisch.
Erwartung der Eindeutigkeit mehrerer Spalten Regel auf Zeilenebene, mit der geprüft wird, ob die Kombination von Werten in einer angegebenen Liste von Spalten für jede Zeile eindeutig ist (z. B. ein Primärschlüssel mit mehreren Spalten).
Record Column Uniqueness Expectation Regel auf Zeilenebene, mit der geprüft wird, ob die Werte in einer angegebenen Liste von Spalten in jedem Datensatz (Zeile) eindeutig sind. Beachten Sie, dass Datensätze dupliziert werden können.

Verteilungsfunktionen

Name Beschreibung
Erwartung hinsichtlich der Vollständigkeit des Datums Aggregationsregel, mit der geprüft wird, ob eine Tabelle Daten für jedes Intervall (z. B. jeden Tag) innerhalb eines Zeitraums enthält.
Erwartungswerte für die Standardabweichung Regel auf Zeilenebene, mit der geprüft wird, ob jeder Spaltenwert innerhalb einer bestimmten Anzahl von Standardabweichungen vom Spaltendurchschnitt liegt.

Allgemeine Bedingungen

Name Beschreibung
Erwartung für Zeilenbedingung Regel auf Zeilenebene, mit der geprüft wird, ob jede Zeile in einer Tabelle die angegebene Bedingung erfüllt.
SQL-Assertion Aggregationsregel, mit der die Anzahl der Zeilen ausgewertet wird, die für die angegebene Anweisung zurückgegeben werden. Wenn Zeilen zurückgegeben werden, schlägt die Regel fehl.
Erwartung für Tabellenbedingung Aggregationsregel, mit der geprüft wird, ob der angegebene Ausdruck für eine Tabelle zutrifft.

Nächste Schritte