רשימת תבניות של כללים במערכת

ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) יש תבניות מוגדרות מראש של כללי מערכת בכל אזור, לבדיקות נפוצות של אימות נתונים ברמת השורה ונתונים נצברים. אתם יכולים להשתמש בתבניות האלה שוב ושוב כדי להפוך את אימות איכות הנתונים לאוטומטי, וכדי לשמור על קבוצות נתונים מדויקות ועקביות בתהליכי העבודה של משילות המידע.

תבניות זמינות של כללי מערכת

כדי לקבוע אילו תבניות מתאימות למשאבים שלכם, אתם יכולים להריץ פרופיילינג של נתונים כדי לנתח את הנתונים הסטטיסטיים של הטבלה, לזהות בעיות פוטנציאליות באיכות וליצור המלצות לכללים. אחרי שבוחרים את הבדיקות שצריך, בוחרים תבניות מהקטגוריות הבאות כדי להגדיר כללים למשאבים.

צורת השולחן

שם תיאור
ציפייה לשוויון במספר העמודות כלל צבירה שבודק אם מספר העמודות בטבלה שווה לערך שצוין. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
טווח צפוי של מספר העמודות כלל צבירה שבודק אם מספר העמודות בטבלה נמצא בטווח שצוין. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפייה לקיום עמודה כלל צבירה שבודק אם עמודה ספציפית קיימת בטבלה. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפיות לגבי עדכניות כלל צבירה שבודק אם הנתונים האחרונים בעמודה חדשים יותר ממרווח זמן מסוים.
ציפייה לעדכניות מקובצת כלל צבירה שבודק אם הנתונים המקובצים האחרונים בעמודה חדשים יותר ממרווח זמן מסוים.
Ordered Schema Match Expectation כלל צבירה שבודק אם העמודות המסודרות בטבלה תואמות בדיוק לרשימה מסודרת שצוינה.
ציפייה לשוויון במספר השורות כלל צבירה שבודק אם מספר השורות בטבלה שווה לערך שצוין.
ציפייה לטווח של מספר שורות כלל צבירה שבודק אם מספר השורות בטבלה נמצא בטווח שצוין.
ציפייה להכלה של סכימה כלל צבירה שבודק אם קבוצת העמודות בטבלה מכילה את כל העמודות בקבוצה שצוינה. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
החרגת סכימה כלל צבירה שבודק אם העמודות בטבלה לא נמצאות בקבוצה מסוימת. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפייה להתאמת סכימה כלל צבירה שבודק אם העמודות בטבלה תואמות בדיוק לקבוצה שצוינה. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפייה לשוויון מצטבר בהשוואת טבלאות כלל צבירה שבודק אם התוצאה של ביטוי צבירה זהה בטבלה הנוכחית ובטבלת עזר מסוימת.
Table Comparison Aggregate Range Expectation כלל צבירה שבודק אם התוצאה של ביטוי צבירה בטבלה הנוכחית חורגת מהטבלה להשוואה ביותר מהטולרנטיות שצוינה.
Table Comparison Row Count Equality Expectation כלל צבירה שבודק אם מספר השורות בטבלה הנוכחית שווה למספר השורות בטבלת עזר מסוימת, עם אפשרות לסנן את השורות לפני הספירה.
ציפייה לשוויון בין מספר השורות בטבלאות שמשווים ביניהן כלל צבירה שבודק אם מספר השורות בטבלה הנוכחית שווה לפקטור של מספר השורות בטבלת עזר מסוימת, עם אפשרות לסנן את השורות לפני הספירה.

ערכים חסרים, ערכים ייחודיים וסוגים

שם תיאור
מה אמור לקרות בסוג העמודה כלל צבירה שבודק אם סוג הנתונים בעמודה תואם לסוג שצוין. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפייה לרשימה של סוגי עמודות כלל צבירה שבודק אם סוג הנתונים בעמודה נמצא בקבוצה מסוימת. כדי להשתמש בכלל הזה, צריך את ההרשאות bigquery.tables.get, bigquery.tables.list ו-bigquery.datasets.get בטבלה ובמערך הנתונים ששולחים אליהם שאילתה.
ציפייה לערך שאינו Null כלל ברמת השורה שבודק אם הערך בכל עמודה הוא לא null.
ציפייה לערך Null כלל ברמת השורה שבודק אם הערך של כל עמודה הוא null.
ציפייה לגבי אותיות רישיות במחרוזת כלל ברמת השורה שבודק אם כל מחרוזת של ערך בעמודה תואמת לאותיות רישיות או קטנות שצוינו.
ציפייה לייחודיות כלל ברמת השורה שבודק אם כל ערך בעמודה הוא ייחודי.

קבוצות וטווחים

שם תיאור
ציפייה לירידה כלל צבירה שבודק אם הערכים בעמודה יורדים. המערכת מתעלמת מהערכים של NULL. הפונקציה מחזירה את השורה הראשונה שבה הציפייה לא מתקיימת.
ציפייה גוברת כלל צבירה שבודק אם הערכים בעמודה עולים. המערכת מתעלמת מהערכים של NULL. הפונקציה מחזירה את השורה הראשונה שבה הציפייה לא מתממשת.
טווח צפוי כלל ברמת השורה שבודק אם כל ערך בעמודה נמצא בטווח שצוין.
מה אמור לקרות בקבוצת קובצי העזר כלל ברמת השורה שבודק אם כל ערך בעמודה נכלל בקבוצת עזר מסוימת.
הגדרת ציפיות לגבי החרגות כלל ברמת השורה שבודק אם כל ערך בעמודה לא נכלל בקבוצה שצוינה.
הגדרת ציפיות כלל ברמת השורה שבודק אם כל ערך בעמודה נכלל בקבוצה מסוימת.

התאמת מחרוזות

שם תיאור
מה אמור לקרות כשמגדירים החרגת תבנית כלל ברמת השורה שבודק אם כל ערך בעמודה לא תואם לתבנית SQL LIKE שצוינה.
רשימת החרגות של תבניות כלל ברמת השורה שבודק אם כל ערך בעמודה לא תואם לאף אחת מתבניות ה-SQL LIKE שצוינו.
מה אמור לקרות כלל ברמת השורה שבודק אם כל ערך בעמודה תואם לתבנית SQL LIKE שצוינה.
רשימת הציפיות לגבי התבניות כלל ברמת השורה שבודק אם כל ערך בעמודה תואם לפחות לאחת מתבניות ה-SQL LIKE שצוינו.
מה אמור לקרות כשמגדירים החרגה באמצעות ביטוי רגולרי כלל ברמת השורה שבודק אם הערך בכל עמודה לא תואם לביטוי רגולרי מסוים.
רשימת החרגות של ביטויים רגולריים כלל ברמת השורה שבודק אם כל ערך בעמודה לא תואם לאף אחד מהביטויים הרגולריים שצוינו.
מה אמור לקרות בביטוי הרגולרי כלל ברמת השורה שבודק אם כל ערך בעמודה תואם לביטוי רגולרי מסוים.
רשימת הציפיות של הביטויים הרגולריים כלל ברמת השורה שבודק אם כל ערך בעמודה תואם לפחות לאחד מהביטויים הרגולריים שצוינו.
ציפייה לשוויון באורך המחרוזת כלל ברמת השורה שבודק אם אורך המחרוזת של כל ערך בעמודה שווה לערך שצוין.
הציפייה לטווח של אורך המחרוזת כלל ברמת השורה שבודק אם אורך המחרוזת של כל ערך בעמודה נמצא בטווח שצוין.

פונקציות צבירה

שם תיאור
ציפייה להכלה של ערכים נפרדים כלל צבירה שבודק אם קבוצת הערכים הייחודיים בעמודה מכילה את כל הערכים בקבוצה שצוינה.
ציפייה לשוויון בספירת ערכים נפרדים כלל צבירה שבודק אם מספר הערכים הייחודיים בעמודה שווה לערך שצוין.
ציפייה לטווח של ספירת ערכים נפרדים כלל צבירה שבודק אם מספר הערכים הייחודיים בעמודה נמצא בטווח שצוין.
Distinct Values Match Expectation כלל צבירה שבודק אם קבוצת הערכים הייחודיים בעמודה תואמת בדיוק לקבוצה שצוינה.
ציפייה לגבי שיעור הערכים הייחודיים כלל צבירה שבודק אם היחס בין הערכים הייחודיים בעמודה (כלומר, מספר הערכים הייחודיים חלקי מספר השורות הכולל) נמצא בטווח שצוין.
Distinct Values Set Expectation כלל צבירה שבודק אם כל ערך עמודה נפרד נכלל בקבוצה מסוימת.
טווח מקסימלי צפוי כלל צבירה שבודק אם הערך המקסימלי בעמודה נמצא בטווח שצוין.
Mean Range Expectation כלל צבירה שבודק אם הממוצע של העמודה נמצא בטווח מסוים. אם מוחזר סוג של נקודה צפה, התוצאה של הפונקציה AVG() לא דטרמיניסטית.
הטווח החציוני הצפוי כלל צבירה שבודק אם החציון של העמודה נמצא בטווח שצוין.
הטווח המינימלי הצפוי כלל צבירה שבודק אם הערך המינימלי בעמודה נמצא בטווח שצוין.
טווח הציפיות של המצב כלל צבירה שבודק אם כל השכיחים בעמודה (הערכים הנפוצים ביותר) נמצאים בטווח שצוין. אם יש כמה ערכי שכיח, כל אחד מהם ייבדק מול הטווח ויוחזרו ערכי השכיח שנכשלו.
מה אמור לקרות כשמגדירים מצב כלל צבירה שבודק אם כל השכיחים בעמודה (הערכים הנפוצים ביותר) נמצאים בקבוצה שצוינה. ערכי NULL לא נכללים בחישוב של השכיחים. אם יש כמה ערכי שכיח עם אותה תדירות גבוהה, כל אחד מהם ייבדק מול הקבוצה וכל ערכי השכיח שנכשלו יוחזרו במערך.
ציפייה לטווח של קוונטיל כלל צבירה שבודק אם הערך באחוזון שצוין בעמודה נמצא בטווח שצוין.
טווח סטיית התקן הצפוי כלל צבירה שבודק אם סטיית התקן של העמודה נמצאת בטווח שצוין.
Sum Range Expectation כלל צבירה שבודק אם סכום העמודה נמצא בטווח שצוין. אם מוחזר סוג של נקודה צפה, התוצאה של הפונקציה SUM() לא דטרמיניסטית.
Table Comparison Unique Values Count Equality Expectation כלל צבירה שבודק אם מספר הערכים הייחודיים בעמודה מסוימת זהה בטבלה הנוכחית ובטבלת העזר.

מספר עמודות

שם תיאור
ציפייה לשוויון בהשוואה בין עמודות כלל ברמת השורה שבודק אם הערך בעמודה א' שווה לערך בעמודה ב' בכל שורה.
ציפייה להשוואה בין עמודות – גדול יותר כלל ברמת השורה שבודק אם הערך בעמודה א' גדול מהערך בעמודה ב' בכל שורה.
ציפייה להגדרת זוגות של עמודות כלל מצטבר שבודק אם הערכים המשולבים מעמודה א' ומעמודה ב' כלולים בקבוצה מסוימת.
Multi Column Sum Equality Expectation כלל צבירה שבודק אם הסכום של כל השורות ברשימה מסוימת של עמודות שווה לערך מסוים. אם מוחזר סוג של נקודה צפה, התוצאה של הפונקציה SUM() לא דטרמיניסטית.
Multi Column Uniqueness Expectation כלל ברמת השורה שבודק אם השילוב של הערכים ברשימה מסוימת של עמודות הוא ייחודי לכל שורה (לדוגמה, מפתח ראשי עם כמה עמודות).
ציפייה לייחודיות של עמודת רשומות כלל ברמת השורה שבודק אם הערכים ברשימה מסוימת של עמודות הם ייחודיים בכל רשומה (שורה). שימו לב שיכולות להיות רשומות כפולות.

פונקציות התפלגות

שם תיאור
ציפייה לשלמות של חלק מהתאריך כלל צבירה שבודק אם בטבלה יש נתונים לכל מרווח זמן (לדוגמה, כל יום) בטווח תאריכים.
ציפייה לערכי סטיית תקן כלל ברמת השורה שבודק אם כל ערך בעמודה נמצא בטווח של מספר מסוים של סטיות תקן מהממוצע של העמודה.

תנאים כלליים

שם תיאור
Row Condition Expectation כלל ברמת השורה שבודק אם כל שורה בטבלה עומדת בתנאי שצוין.
טענת SQL נכונה (SQL Assertion) כלל צבירה שמעריך את מספר השורות שהוחזרו עבור ההצהרה שסופקה. אם מוחזרות שורות, הכלל הזה נכשל.
ציפייה לתנאי בטבלה כלל צבירה שבודק אם הביטוי שצוין נכון לגבי טבלה.

המאמרים הבאים