Liste der Systemregelvorlagen

Knowledge Catalog (ehemals Dataplex Universal Catalog) bietet vordefinierte Systemregelvorlagen in jeder Region für gängige Datenvalidierungsprüfungen auf Zeilenebene und für aggregierte Daten. Sie können diese Vorlagen wiederverwenden, um die Validierung der Datenqualität zu automatisieren und genaue, konsistente Datasets in Ihren Data-Governance-Workflows zu verwalten.

Verfügbare Vorlagen für Systemregeln

Um festzustellen, welche Vorlagen zu Ihren Ressourcen passen, können Sie ein Datenprofil erstellen, um Tabellenstatistiken zu analysieren, potenzielle Qualitätsprobleme zu erkennen und Regelempfehlungen zu generieren. Nachdem Sie die erforderlichen Prüfungen ausgewählt haben, wählen Sie Vorlagen aus den folgenden Kategorien aus, um Regeln für Ihre Ressourcen zu definieren.

Tischform

Name Beschreibung
Erwartung an die Gleichheit der Spaltenanzahl Aggregatregel, die prüft, ob die Anzahl der Spalten in der Tabelle einem angegebenen Wert entspricht. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartung für den Bereich der Spaltenanzahl Aggregatregel, mit der geprüft wird, ob die Anzahl der Spalten in der Tabelle innerhalb eines bestimmten Bereichs liegt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartung an das Vorhandensein von Spalten Aggregatregel, mit der geprüft wird, ob eine bestimmte Spalte in der Tabelle vorhanden ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartete Aktualität Aggregatregel, mit der geprüft wird, ob die neuesten Daten in einer Spalte neuer als ein bestimmtes Intervall sind.
Erwartete Aktualität für gruppierte Daten Aggregatregel, die prüft, ob die neuesten gruppierten Daten in einer Spalte neuer als ein angegebenes Intervall sind.
Ordered Schema Match Expectation Aggregatregel, mit der geprüft wird, ob die sortierten Spalten in der Tabelle genau mit einer sortierten, angegebenen Liste übereinstimmen.
Erwartung an die Gleichheit der Zeilenanzahl Aggregatregel, die prüft, ob die Anzahl der Zeilen in der Tabelle einem angegebenen Wert entspricht.
Erwartung für Zeilenanzahlbereich Aggregatregel, mit der geprüft wird, ob die Anzahl der Zeilen in der Tabelle innerhalb eines bestimmten Bereichs liegt.
Erwartung an die Schemabegrenzung Aggregatregel, die prüft, ob die Spalten in der Tabelle alle Spalten in einer angegebenen Gruppe enthalten. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartetes Verhalten bei Schemaausschluss Aggregatregel, die prüft, ob die Spalten in der Tabelle nicht in einer bestimmten Gruppe enthalten sind. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartung an Schemaübereinstimmung Aggregatregel, mit der geprüft wird, ob die Spalten in der Tabelle genau mit einem angegebenen Satz übereinstimmen. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Table Comparison Aggregate Equality Expectation Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks in der aktuellen Tabelle und einer angegebenen Referenztabelle gleich ist.
Table Comparison Aggregate Range Expectation Aggregatregel, die prüft, ob das Ergebnis eines Aggregatausdrucks in der aktuellen Tabelle um mehr als eine angegebene Toleranz von der Referenztabelle abweicht.
Erwartung an die Gleichheit der Zeilenanzahl beim Tabellenvergleich Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle mit der Anzahl der Zeilen in einer angegebenen Referenztabelle übereinstimmt. Optional können die Zeilen vor dem Zählen gefiltert werden.
Erwartung für die Gleichheit des Zeilenanzahlfaktors beim Tabellenvergleich Aggregatregel, die prüft, ob die Anzahl der Zeilen in der aktuellen Tabelle einem Faktor der Anzahl der Zeilen in einer angegebenen Referenztabelle entspricht, wobei die Zeilen vor dem Zählen optional gefiltert werden können.

Fehlende Werte, eindeutige Werte und Typen

Name Beschreibung
Erwartung an den Spaltentyp Aggregatregel, die prüft, ob der Datentyp der Spalte mit einem angegebenen Typ übereinstimmt. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Column Type List Expectation Aggregatregel, die prüft, ob der Datentyp der Spalte in einer bestimmten Gruppe enthalten ist. Für diese Regel sind die Berechtigungen bigquery.tables.get, bigquery.tables.list und bigquery.datasets.get für die abgefragte Tabelle und das abgefragte Dataset erforderlich.
Erwartung, dass der Wert nicht null ist Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht null ist.
Nullerwartung Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert null ist.
Erwartung an die Groß-/Kleinschreibung von Strings Regel auf Zeilenebene, mit der geprüft wird, ob der String jedes Spaltenwerts einer bestimmten Groß-/Kleinschreibung entspricht.
Erwartung an die Eindeutigkeit Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert eindeutig ist.

Sätze und Bereiche

Name Beschreibung
Abnehmende Erwartung Aggregatregel, die prüft, ob die Werte in einer Spalte abnehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt wird.
Steigende Erwartungen Aggregatregel, die prüft, ob die Werte in einer Spalte zunehmen. NULL-Werte werden ignoriert. Gibt die erste Zeile zurück, in der die Erwartung nicht erfüllt wird.
Erwartete Reichweite Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert innerhalb eines bestimmten Bereichs liegt.
Erwartetes Verhalten für Referenzsatz Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einem angegebenen Referenzsatz enthalten ist.
Erwartung für Ausschlüsse festlegen Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht in einer angegebenen Gruppe enthalten ist.
Erwartungen wecken Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert in einer bestimmten Gruppe enthalten ist.

Stringübereinstimmung

Name Beschreibung
Erwartung für Musterausschluss Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem angegebenen SQL-LIKE-Muster übereinstimmt.
Liste der Erwartungen für Musterausschlüsse Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen SQL-LIKE-Muster übereinstimmt.
Mustererwartung Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem angegebenen SQL-LIKE-Muster übereinstimmt.
Liste der Erwartungen an Muster Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen SQL-LIKE-Muster übereinstimmt.
Erwartetes Verhalten bei Regex-Ausschluss Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert nicht mit einem angegebenen regulären Ausdruck übereinstimmt.
Liste der Erwartungen für Regex-Ausschlüsse Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit keinem der angegebenen regulären Ausdrücke übereinstimmt.
Regex-Erwartung Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit einem angegebenen regulären Ausdruck übereinstimmt.
Regex-Erwartungsliste Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert mit mindestens einem der angegebenen regulären Ausdrücke übereinstimmt.
Erwartung an die Gleichheit der Stringlänge Regel auf Zeilenebene, mit der geprüft wird, ob die Stringlänge der einzelnen Spaltenwerte einem angegebenen Wert entspricht.
Erwartung an die Stringlänge Regel auf Zeilenebene, die prüft, ob die Stringlänge jedes Spaltenwerts innerhalb eines angegebenen Bereichs liegt.

Aggregatfunktionen

Name Beschreibung
Erwartung für die Eingrenzung eindeutiger Werte Aggregatregel, die prüft, ob die Gruppe eindeutiger Spaltenwerte alle Werte in einer angegebenen Gruppe enthält.
Erwartung für die Gleichheit der Anzahl unterschiedlicher Werte Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte einem angegebenen Wert entspricht.
Erwartung für den Bereich der Anzahl unterschiedlicher Werte Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in der Spalte innerhalb eines angegebenen Bereichs liegt.
Distinct Values Match Expectation Aggregatregel, die prüft, ob die Gruppe der eindeutigen Spaltenwerte genau mit einer angegebenen Gruppe übereinstimmt.
Erwartung für den Anteil eindeutiger Werte Aggregatregel, die prüft, ob der Anteil der eindeutigen Werte in der Spalte (Anzahl der eindeutigen Werte / Gesamtzahl der Zeilen) innerhalb eines angegebenen Bereichs liegt.
Erwartung für eindeutige Werte festlegen Aggregatregel, die prüft, ob jeder eindeutige Spaltenwert in einer bestimmten Gruppe enthalten ist.
Erwartete maximale Reichweite Aggregatregel, die prüft, ob der Maximalwert der Spalte innerhalb eines bestimmten Bereichs liegt.
Erwartete durchschnittliche Reichweite Aggregatregel, die prüft, ob der Spaltendurchschnitt innerhalb eines bestimmten Bereichs liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der Funktion AVG() nicht deterministisch.
Erwarteter Medianbereich Aggregatregel, mit der geprüft wird, ob der Medianwert der Spalte innerhalb eines bestimmten Bereichs liegt.
Erwarteter Mindestbereich Aggregatregel, die prüft, ob der Mindestwert der Spalte innerhalb eines bestimmten Bereichs liegt.
Erwarteter Modusbereich Aggregatregel, die prüft, ob alle Spaltenmodi (häufigste Werte) innerhalb eines bestimmten Bereichs liegen. Wenn es mehrere Modi gibt, wird jeder mit dem Bereich abgeglichen und alle fehlerhaften Modi werden zurückgegeben.
Erwartetes Verhalten bei Moduseinstellung Aggregatregel, mit der geprüft wird, ob alle Spaltenmodalwerte (häufigste Werte) innerhalb der angegebenen Menge liegen. NULL-Werte werden bei der Berechnung von Modi ignoriert. Wenn es mehrere Modi mit derselben höchsten Häufigkeit gibt, wird jeder mit dem Set abgeglichen und alle fehlerhaften Modi werden in einem Array zurückgegeben.
Quantilbereichserwartung Aggregatregel, die prüft, ob der Wert am angegebenen Quantil für die Spalte innerhalb eines angegebenen Bereichs liegt.
Erwarteter Bereich der Standardabweichung Aggregatregel, die prüft, ob die Standardabweichung der Spalte innerhalb eines angegebenen Bereichs liegt.
Erwartung für Summenbereich Aggregatregel, mit der geprüft wird, ob die Spaltensumme innerhalb eines bestimmten Bereichs liegt. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der Funktion SUM() nicht deterministisch.
Table Comparison Unique Values Count Equality Expectation Aggregatregel, die prüft, ob die Anzahl der eindeutigen Werte in einer angegebenen Spalte in der aktuellen Tabelle und einer Referenztabelle gleich ist.

Mehrspaltig

Name Beschreibung
Erwartung an die Gleichheit beim Spaltenvergleich Regel auf Zeilenebene, mit der für jede Zeile geprüft wird, ob der Wert in Spalte A mit dem Wert in Spalte B übereinstimmt.
Column Comparison Greater Expectation Regel auf Zeilenebene, die für jede Zeile prüft, ob der Wert in Spalte A größer ist als der Wert in Spalte B.
Column Pairs Set Expectation Aggregatregel, die prüft, ob die gepaarten Werte aus Spalte A und Spalte B in einer bestimmten Gruppe enthalten sind.
Multi Column Sum Equality Expectation Aggregatregel, die prüft, ob die Summe aller Zeilen in einer angegebenen Liste von Spalten einem angegebenen Wert entspricht. Wenn ein Gleitkommatyp zurückgegeben wird, ist das Ergebnis der Funktion SUM() nicht deterministisch.
Multi Column Uniqueness Expectation Regel auf Zeilenebene, die prüft, ob die Kombination von Werten in einer angegebenen Liste von Spalten für jede Zeile eindeutig ist (z. B. ein mehrspaltiger Primärschlüssel).
Erwartung an die Eindeutigkeit von Datenspalten Regel auf Zeilenebene, die prüft, ob die Werte in einer angegebenen Liste von Spalten innerhalb jedes Datensatzes (Zeile) eindeutig sind. Beachten Sie, dass Datensätze dupliziert werden können.

Verteilungsfunktionen

Name Beschreibung
Erwartung an die Vollständigkeit des Datumsteils Aggregatregel, mit der geprüft wird, ob eine Tabelle Daten für jedes Intervall (z. B. jeden Tag) innerhalb eines Zeitraums enthält.
Erwartungswert für Standardabweichungswerte Regel auf Zeilenebene, die prüft, ob jeder Spaltenwert innerhalb einer bestimmten Anzahl von Standardabweichungen vom Spaltendurchschnitt liegt.

Allgemeine Bedingungen

Name Beschreibung
Erwartung für Zeilenbedingung Regel auf Zeilenebene, mit der geprüft wird, ob jede Zeile in einer Tabelle die angegebene Bedingung erfüllt.
SQL-Assertion Aggregatregel, die die Anzahl der Zeilen auswertet, die für die angegebene Anweisung zurückgegeben werden. Wenn Zeilen zurückgegeben werden, schlägt die Regel fehl.
Erwartung an Tabellenbedingung Aggregationsregel, die prüft, ob der angegebene Ausdruck für eine Tabelle wahr ist.

Nächste Schritte