החל מ-10 באפריל 2026, Dataplex Universal Catalog נקרא עכשיו Knowledge Catalog. השמות של ה-API, ספריית הלקוח, ה-CLI ו-IAM לא משתנים. מידע נוסף זמין במאמר הכרות עם קטלוג הידע של Google Cloud.

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

שימוש באיכות נתונים אוטומטית

במאמר הזה מוסבר איך להשתמש בסריקות של איכות הנתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) כדי למדוד, לעקוב ולנהל את איכות הנתונים. סריקות של איכות הנתונים עוזרות להפוך את תהליך האימות של הנתונים לאוטומטי, כדי לוודא שהם מלאים, תקינים ועקביים.

בסריקות של איכות הנתונים, אתם יכולים להגדיר כללים לבדיקת ערכים חסרים, לוודא שהערכים תואמים לביטוי רגולרי או שייכים לקבוצה, לאמת את הייחודיות או להשתמש ב-SQL בהתאמה אישית לאימותים מורכבים יותר, כמו זיהוי אנומליות. במאמר הזה מוסבר איך ליצור ולנהל סריקות של איכות הנתונים.

מידע נוסף על סריקות של איכות הנתונים מידע נוסף על שימוש חוזר בכללים לאיכות הנתונים בכמה סריקות.

לפני שמתחילים

מפעילים את Dataplex API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים
להפעלת ה-API
אופציונלי: כדי ליצור המלצות לכללים של איכות נתונים על סמך התוצאות של סריקת פרופיל נתונים, יוצרים ומריצים את סריקת פרופיל הנתונים.

תפקידים והרשאות נדרשים

בקטע הזה מוסבר אילו תפקידים והרשאות ב-IAM נדרשים כדי להשתמש בסריקות של איכות הנתונים ב-Knowledge Catalog.

תפקידים והרשאות של משתמשים

כדי לקבל את ההרשאות שנדרשות להרצה ולניהול של סריקות איכות נתונים, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

מריצים סריקה של איכות הנתונים בטבלה ב-BigQuery:
- BigQuery Job User ‏ (roles/bigquery.jobUser) בפרויקט, כדי להריץ משימות סריקה
- BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלה של BigQuery שרוצים לסרוק
פרסום תוצאות הסריקה של איכות הנתונים ב-Knowledge Catalog:
- עריכת נתונים ב-BigQuery (roles/bigquery.dataEditor) בטבלה שנסרקה
- עריכת קטלוג Dataplex ‏ (roles/dataplex.catalogEditor) בקבוצת הרשומות @bigquery באותו מיקום של הטבלה
ביצוע משימות ספציפיות במשאבי DataScan:
- אדמין של Dataplex DataScan (roles/dataplex.dataScanAdmin) בפרויקט, כדי לקבל גישה מלאה
- Dataplex DataScan Creator (roles/dataplex.dataScanCreator) בפרויקט כדי ליצור סריקות
- עריכת Dataplex DataScan (roles/dataplex.dataScanEditor) בפרויקט, כדי לקבל גישת כתיבה
- ‫Dataplex DataScan Viewer (roles/dataplex.dataScanViewer) בפרויקט, כדי לקרוא את המטא-נתונים של הסריקה
- Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) בפרויקט כדי לקרוא את נתוני הסריקה, כולל כללים ותוצאות

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להריץ ולנהל סריקות של איכות הנתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להריץ ולנהל סריקות של איכות הנתונים, צריך את ההרשאות הבאות:

הרצת סריקה של איכות הנתונים בטבלה ב-BigQuery:
- ‫bigquery.jobs.create בפרויקט כדי להריץ משימות סריקה
- bigquery.tables.get בטבלה ב-BigQuery שרוצים לסרוק
- bigquery.tables.getData בטבלה ב-BigQuery שרוצים לסרוק
פרסום תוצאות הסריקה של איכות הנתונים ב-Knowledge Catalog:
- bigquery.tables.update בטבלה שנסרקה
- dataplex.entryGroups.useDataQualityScorecardAspect בקבוצת הרשומות @bigquery באותו מיקום של הטבלה
יצירת DataScan: dataplex.datascans.create בפרויקט
מחיקת DataScan: dataplex.datascans.delete בפרויקט
צפייה במטא-נתונים של DataScan: ‫dataplex.datascans.get בפרויקט
צפייה בפרטים של DataScan, כולל כללים ותוצאות: dataplex.datascans.getData בפרויקט
‫DataScan בפרויקט: dataplex.datascans.list
הרצת DataScan: dataplex.datascans.run בפרויקט
עדכון של DataScan: dataplex.datascans.update בפרויקט
קבלת או הגדרת מדיניות IAM ב-DataScan:
- dataplex.datascans.getIamPolicy בפרויקט
- dataplex.datascans.setIamPolicy בפרויקט

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אם אתם צריכים לגשת לעמודות שמוגנות על ידי מדיניות גישה ברמת העמודה ב-BigQuery, אתם צריכים גם הרשאות לעמודות האלה.

תפקידים והרשאות של חשבון שירות ב-Knowledge Catalog

אם לא יצרתם סריקות של איכות נתונים או של סריקת פרופיל נתונים, או אם אין לכם מאגר נתונים של Knowledge Catalog בפרויקט הזה, אתם יכולים ליצור מזהה שירות באמצעות הפקודה הבאה: gcloud beta services identity create --service=dataplex.googleapis.com. הפקודה הזו מחזירה מזהה שירות של Knowledge Catalog, אם הוא קיים.

כדי לוודא שלחשבון השירות של Knowledge Catalog בפרויקט שבו מתבצעת סריקת איכות הנתונים יש את ההרשאות שנדרשות לקריאת נתונים ממקורות שונים ולייצוא התוצאות, צריך לבקש מהאדמין להקצות לחשבון השירות של Knowledge Catalog בפרויקט שבו מתבצעת סריקת איכות הנתונים את תפקידי ה-IAM הבאים:

קריאת נתונים מטבלאות ב-BigQuery: BigQuery Data Viewer (roles/bigquery.dataViewer) בטבלאות שצריך לסרוק ובכל טבלה אחרת שמוזכרת בכללים
קריאת נתוני טבלאות של Google Cloud Lakehouse ב-Iceberg REST Catalog, ב-SAP Business Data Cloud Delta Lake וב-Apache Hive: BigLake Viewer (roles/biglake.viewer) בטבלאות הרלוונטיות לסריקה ובכל טבלה אחרת שמצוינת בכללים
ייצוא תוצאות הסריקה לטבלה ב-BigQuery: עריכת נתונים ב-BigQuery (roles/bigquery.dataEditor) במערך הנתונים ובטבלה של התוצאות
סריקת נתונים ב-BigQuery שמאורגנים ב-Knowledge Catalog Lake:
- Dataplex Metadata Reader (roles/dataplex.metadataReader) במשאבי Dataplex
- Dataplex Viewer (roles/dataplex.viewer) במשאבי Dataplex
סריקת טבלה חיצונית של BigQuery מ-Cloud Storage: צפייה באובייקטים באחסון (roles/storage.objectViewer) בקטגוריה של Cloud Storage

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

אלה תפקידים מוגדרים מראש שכוללים את ההרשאות שנדרשות כדי לקרוא נתונים ממקורות שונים ולייצא תוצאות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לקרוא נתונים ממקורות שונים ולייצא תוצאות, נדרשות ההרשאות הבאות:

קריאת נתונים מטבלה ב-BigQuery:
- bigquery.tables.get בטבלאות ב-BigQuery
- bigquery.tables.getData בטבלאות ב-BigQuery
ייצוא של תוצאות הסריקה לטבלה ב-BigQuery:
- bigquery.datasets.get במערך הנתונים ובטבלה של התוצאות
- bigquery.tables.create במערך הנתונים ובטבלה של התוצאות
- bigquery.tables.get במערך הנתונים ובטבלה של התוצאות
- bigquery.tables.getData במערך הנתונים ובטבלה של התוצאות
- bigquery.tables.update במערך הנתונים ובטבלה של התוצאות
- bigquery.tables.updateData במערך הנתונים ובטבלה של התוצאות
סריקת נתונים ב-BigQuery שמאורגנים ב-Knowledge Catalog Lake:
- ‫dataplex.lakes.list במשאבי Dataplex
- ‫dataplex.lakes.get במשאבי Dataplex
- ‫dataplex.zones.list במשאבי Dataplex
- ‫dataplex.zones.get במשאבי Dataplex
- dataplex.entities.list במשאבי Dataplex
- ‫dataplex.entities.get במשאבי Dataplex
- ‫dataplex.operations.get במשאבי Dataplex
סריקת טבלה חיצונית של BigQuery מ-Cloud Storage:
- ‫storage.buckets.get בקטגוריה של Cloud Storage
- ‫storage.objects.get בקטגוריה של Cloud Storage

יכול להיות שהאדמין יוכל גם לתת לחשבון השירות של Knowledge Catalog בפרויקט שמכיל את סריקת איכות הנתונים את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

אם אתם צריכים לגשת לעמודות שמוגנות על ידי מדיניות גישה ברמת העמודה ב-BigQuery, הקצו לחשבון השירות של Knowledge Catalog הרשאות לעמודות האלה.

אם בטבלה מופעלות מדיניות גישה ברמת השורה ב-BigQuery, אפשר לסרוק רק שורות שגלויות לחשבון השירות של Knowledge Catalog. חשוב לזכור שהרשאות הגישה של המשתמש הספציפי לא נבדקות במדיניות ברמת השורה.

דרישות רשת

כדי להריץ סריקה, צריך להפעיל את גישה פרטית ל-Google ברשת המשנה של ה-VPC שבה משתמשים לסריקה. אם לא מציינים רשת משנה, צריך לוודא שברשת המשנה שמוגדרת כברירת מחדל מופעלת גישה פרטית ל-Google.

הגדרת כללים לאיכות הנתונים

אפשר להגדיר כללים לאיכות הנתונים באמצעות:

אם אתם משתמשים ב-Google Cloud CLI, אתם יכולים להגדיר את הכללים האלה בקובץ JSON או YAML.

הדוגמאות בקטעים הבאים מראות איך להגדיר מגוון כללים לאיכות הנתונים. הכללים מאמתים טבלה לדוגמה שמכילה נתונים על עסקאות של לקוחות. נניח שלטבלה יש את הסכימה הבאה:

שם העמודה	סוג העמודה	תיאור העמודה
transaction_timestamp	חותמת הזמן	חותמת הזמן של העסקה. הטבלה מחולקת למחיצות לפי השדה הזה.
customer_id	String	מספר לקוח בפורמט של 8 אותיות ואחריהן 16 ספרות.
transaction_id	String	מזהה העסקה צריך להיות ייחודי בכל הטבלה.
currency_id	String	אחד מהמטבעות הנתמכים. סוג המטבע חייב להתאים לאחד מהמטבעות הזמינים בטבלת המאפיינים `dim_currency`.
סכום	מספר ממשי (float)	סכום העסקה.
discount_pct	מספר ממשי (float)	אחוז ההנחה. הערך צריך להיות בין 0 ל-100.

הגדרת כללים לאיכות הנתונים באמצעות סוגי כללים מובְנים

הדוגמאות הבאות מבוססות על סוגי כללים מובנים. אפשר ליצור כללים שמבוססים על סוגי כללים מובנים באמצעות Google Cloud המסוף או ה-API. יכול להיות ש-Knowledge Catalog ימליץ על חלק מהכללים האלה.

שם העמודה	סוג הכלל	הצעה למאפיין	פרמטרים של כללים
`transaction_id`	בדיקת ייחודיות	ייחודיות	סף: `Not Applicable`
`amount`	בדיקת ערך Null	שלמות הנתונים	סף: `100%`
`customer_id`	בדיקת ביטוי רגולרי (regex)	תוקף	ביטוי רגולרי: `^[a-zA-Z]{8}[0-9]{16}$` סף: `100%`
`currency_id`	בדיקת קבוצת הערכים	תוקף	קבוצה של: `USD,JPY,INR,GBP,CAN` סף: `100%`

הגדרת כללים לאיכות הנתונים באמצעות כללי SQL בהתאמה אישית

כדי ליצור כללי SQL בהתאמה אישית, משתמשים במסגרת הבאה:

כשיוצרים כלל שמעריך שורה אחת בכל פעם, צריך ליצור ביטוי שמפיק את מספר השורות המוצלחות כש-Knowledge Catalog מעריך את השאילתה SELECT COUNTIF(CUSTOM_SQL_EXPRESSION) FROM TABLE. ב-Knowledge Catalog נבדק מספר השורות שעברו בהצלחה בהשוואה לסף.
כשיוצרים כלל שבודק את השורות או משתמש בתנאי טבלה, צריך ליצור ביטוי שמחזיר הצלחה או כישלון כש-Knowledge Catalog בודק את השאילתה SELECT IF(CUSTOM_SQL_EXPRESSION) FROM TABLE.
כשיוצרים כלל שמעריך את המצב הלא תקין של קבוצת נתונים, צריך לספק הצהרה שמחזירה שורות לא תקינות. אם מוחזרות שורות, הכלל נכשל. משמיטים את הנקודה-פסיק בסוף הצהרת ה-SQL.
אתם יכולים להפנות לטבלה של מקור נתונים ולכל מסנני התנאים המוקדמים שלה באמצעות פרמטר ההפניה לנתונים ${data()} בכלל, במקום לציין במפורש את טבלת המקור ואת המסננים שלה. דוגמאות למסננים של תנאים מוקדמים: מסנני שורות, אחוזי דגימה ומסננים מצטברים. הפרמטר ${data()} תלוי אותיות רישיות.

הדוגמאות הבאות מבוססות על כללי SQL בהתאמה אישית.

סוג הכלל	תיאור הכלל	ביטוי SQL
תנאי השורה	בודק אם הערך של `discount_pct` הוא בין 0 ל-100.	‫`0` <`discount_pct` וגם `discount_pct` < `100`
תנאי השורה	בדיקת הפניה כדי לוודא ש-`currency_id` הוא אחד מהמטבעות הנתמכים.	`currency_id in (select id from my_project_id.dim_dataset.dim_currency)`
תנאי הטבלה	ביטוי SQL מצטבר שבודק אם הממוצע של `discount_pct` הוא בין 30% ל-50%.	`30<avg(discount) AND avg(discount) <50`
תנאי השורה	הפונקציה בודקת אם התאריך הוא לא בעתיד.	`TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()`
תנאי הטבלה	פונקציה בהגדרת המשתמש (UDF) ב-BigQuery כדי לבדוק שסכום העסקה הממוצע נמוך מערך שהוגדר מראש לכל מדינה. כדי ליצור את ה-UDF (ב-JavaScript), מריצים את הפקודה הבאה: CREATE OR REPLACE FUNCTION myProject.myDataset.average_by_country ( country STRING, average FLOAT64) RETURNS BOOL LANGUAGE js AS R""" if (country = "CAN" && average < 5000){ return 1 } else if (country = "IND" && average < 1000){ return 1 } else { return 0 } """;	כלל לדוגמה לבדיקת סכום העסקה הממוצע של `country=CAN`. myProject.myDataset.average_by_country( "CAN", (SELECT avg(amount) FROM myProject.myDataset.transactions_table WHERE currency_id = 'CAN' ))
תנאי הטבלה	פסוקית חיזוי של BigQuery ML לזיהוי חריגות ב-`discount_pct`. היא בודקת אם צריך להחיל הנחה על סמך `customer`, `currency` ו-`transaction`. הכלל בודק אם החיזוי תואם לערך בפועל, לפחות ב-99% מהמקרים. הנחה: מודל למידת המכונה נוצר לפני השימוש בכלל. יוצרים את מודל ה-ML באמצעות הפקודה הבאה: CREATE MODEL model-project-id.dataset-id.model-name OPTIONS(model_type='logistic_reg') AS SELECT IF(discount_pct IS NULL, 0, 1) AS label, IFNULL(customer_id, "") AS customer, IFNULL(currency_id, "") AS currency, IFNULL(amount, 0.0) AS amount FROM `data-project-id.dataset-id.table-names` WHERE transaction_timestamp < '2022-01-01';	הכלל הבא בודק אם דיוק החיזוי גדול מ-99%. SELECT accuracy > 0.99 FROM ML.EVALUATE (MODEL model-project-id.dataset-id.model-name, ( SELECT customer_id, currency_id, amount, discount_pct FROM data-project-id.dataset-id.table-names WHERE transaction_timestamp > '2022-01-01'; ) )
תנאי השורה	פונקציית חיזוי של BigQuery ML לזיהוי חריגות ב-`discount_pct`. הפונקציה בודקת אם צריך להחיל הנחה על סמך `customer`, `currency` ו-`transaction`. הכלל מזהה את כל המקרים שבהם החיזוי לא תאם. הנחה: מודל למידת המכונה נוצר לפני השימוש בכלל. יוצרים את מודל ה-ML באמצעות הפקודה הבאה: CREATE MODEL model-project-id.dataset-id.model-name OPTIONS(model_type='logistic_reg') AS SELECT IF(discount_pct IS NULL, 0, 1) AS label, IFNULL(customer_id, "") AS customer, IFNULL(currency_id, "") AS currency, IFNULL(amount, 0.0) AS amount FROM `data-project-id.dataset-id.table-names` WHERE transaction_timestamp < '2022-01-01';	‫הכלל הבא בודק אם חיזוי ההנחה תואם לערך בפועל בכל שורה. IF(discount_pct > 0, 1, 0) =(SELECT predicted_label FROM ML.PREDICT( MODEL model-project-id.dataset-id.model-name, ( SELECT customer_id, currency_id, amount, discount_pct FROM data-project-id.dataset-id.table-names AS t WHERE t.transaction_timestamp = transaction_timestamp LIMIT 1 ) ) )
טענת נכוֹנוּת (assertion) ב-SQL	בודק אם `discount_pct` גדול מ-30% להיום, על ידי בדיקה אם קיימות שורות עם אחוז הנחה קטן מ-30 או שווה לו.	`SELECT * FROM my_project_id.dim_dataset.dim_currency WHERE discount_pct <= 30 AND transaction_timestamp >= current_date()`
טענת SQL (עם פרמטר של הפניה לנתונים)	בודק אם `discount_pct` גדול מ-30% בכל המטבעות הנתמכים היום. מסנן התאריכים `transaction_timestamp >= current_date()` מופעל כמסנן שורות בטבלה של מקור הנתונים. הפרמטר `${data()}` להפניה לנתונים משמש כפלייסהולדר ל-`my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date()` ומחיל את מסנן השורות.	`SELECT * FROM ${data()} WHERE discount_pct > 30`

הגדרת כללים לאיכות הנתונים באמצעות ה-CLI של gcloud

קובץ ה-YAML לדוגמה הבא משתמש בחלק מאותם כללים כמו הכללים לדוגמה שמשתמשים בסוגים מובנים והכללים לדוגמה של SQL בהתאמה אישית. קובץ ה-YAML הזה מכיל גם מפרטים אחרים לסריקת איכות הנתונים, כמו מסננים ואחוז הדגימה. כשמשתמשים ב-CLI של gcloud כדי ליצור או לעדכן סריקה של איכות נתונים, אפשר להשתמש בקובץ YAML כזה כקלט לארגומנט --data-quality-spec-file.

rules:
- uniquenessExpectation: {}
  column: transaction_id
  dimension: UNIQUENESS
- nonNullExpectation: {}
  column: amount
  dimension: COMPLETENESS
  threshold: 1
- regexExpectation:
    regex: '^[a-zA-Z]{8}[0-9]{16}$'
  column : customer_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- setExpectation :
    values :
    - 'USD'
    - 'JPY'
    - 'INR'
    - 'GBP'
    - 'CAN'
  column : currency_id
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rangeExpectation:
    minValue : '0'
    maxValue : '100'
  column : discount_pct
  ignoreNull : true
  dimension : VALIDITY
  threshold : 1
- rowConditionExpectation:
    sqlExpression : 0 < `discount_pct` AND `discount_pct` < 100
  column: discount_pct
  dimension: VALIDITY
  threshold: 1
- rowConditionExpectation:
    sqlExpression : currency_id in (select id from `my_project_id.dim_dataset.dim_currency`)
  column: currency_id
  dimension: VALIDITY
  threshold: 1
- tableConditionExpectation:
    sqlExpression : 30 < avg(discount_pct) AND avg(discount_pct) < 50
  dimension: VALIDITY
- rowConditionExpectation:
    sqlExpression : TIMESTAMP(transaction_timestamp) < CURRENT_TIMESTAMP()
  column: transaction_timestamp
  dimension: VALIDITY
  threshold: 1
- sqlAssertion:
    sqlStatement : SELECT * FROM `my_project_id.dim_dataset.dim_currency` WHERE discount_pct > 100
  dimension: VALIDITY
  debugQueries:
  - sqlStatement: SELECT MAX(discount_pct) FROM `my_project_id.dim_dataset.dim_currency`
samplingPercent: 50
rowFilter: discount_pct > 100
postScanActions:
  bigqueryExport:
    resultsTable: projects/my_project_id/datasets/dim_dataset/tables/dim_currency
  notificationReport:
    recipients:
      emails:
      - '222larabrown@gmail.com'
      - 'cloudysanfrancisco@gmail.com'
    scoreThresholdTrigger:
      scoreThreshold: 50
    jobFailureTrigger: {}
    jobEndTrigger: {}
catalogPublishingEnabled: true

הגדרת זהות ההרצה

כברירת מחדל, סריקות של איכות הנתונים פועלות באמצעות חשבון השירות של Knowledge Catalog. אפשר לשנות את ההגדרה הזו כדי להשתמש בחשבון שירות בהתאמה אישית או בפרטי כניסה של משתמש קצה (EUC).

שימוש בזהות הרצה בהתאמה אישית משנה את אופן החיוב על הסריקה. כשמציינים זהות מותאמת אישית להרצה, עלויות המחשוב והאחסון שמשויכות לסריקה מחויבות ישירות בפרויקט ב-BigQuery, בלי לעבור דרך המק"טים הרגילים של Knowledge Catalog Premium.

ההרשאות הנדרשות לזהויות הרצה בהתאמה אישית

כדי להגדיר חשבון שירות בהתאמה אישית או להשתמש בפרטי כניסה של משתמש קצה, אתם צריכים את ההרשאות הנוספות הבאות לניהול זהויות והרשאות גישה (IAM):

כדי להשתמש בחשבון שירות בהתאמה אישית, צריך:
- ההרשאה iam.serviceAccounts.actAs שניתנה לפרויקט שמכיל את חשבון השירות (לדוגמה, roles/iam.serviceAccountUser).
- לסוכן השירות של הפרויקט (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) צריכה להיות ההרשאה iam.serviceAccounts.getAccessToken בחשבון השירות בהתאמה אישית (לדוגמה, באמצעות התפקיד roles/iam.serviceAccountTokenCreator).
- לחשבון השירות בהתאמה אישית צריכה להיות ההרשאה bigquery.tables.getData בטבלה לסריקה, ההרשאה bigquery.jobs.insert בפרויקט הסריקה וההרשאה bigquery.dataEditor במערך הנתונים לייצוא (אם משתמשים בייצוא).
כדי להשתמש בפרטי כניסה של משתמשי קצה, צריך:
- ‫bigquery.tables.getData על השולחן כדי לסרוק.
- ‫bigquery.jobs.insert בפרויקט הסריקה.
- bigquery.dataEditor במערך הנתונים לייצוא (אם משתמשים בייצוא).

כדי להגדיר את זהות ההרצה, בוחרים באחת מהאפשרויות הבאות:

המסוף

כדי להגדיר את זהות ההפעלה במסוף Google Cloud , בוחרים את הזהות כשיוצרים את סריקת איכות הנתונים.

בקטע Execution Identity, בוחרים אחת מהאפשרויות הבאות:

סוכן השירות של Dataplex: פעולת ברירת המחדל.
‫Service Account: מזינים את כתובת האימייל של חשבון השירות שבו רוצים להשתמש.
פרטי כניסה של משתמש: משתמשים בפרטי הכניסה שלכם כדי להריץ את הסריקה.

REST

כדי להשתמש בחשבון שירות בהתאמה אישית, מוסיפים את האובייקט executionIdentity להגדרת המשאב DataScan במהלך הבקשה create:

"executionIdentity": {
  "serviceAccount": {
     "email": "YOUR_SERVICE_ACCOUNT_EMAIL"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

‫YOUR_SERVICE_ACCOUNT_EMAIL: כתובת האימייל של חשבון השירות שבו רוצים להשתמש.

כדי להשתמש בפרטי הכניסה של משתמש הקצה, צריך לציין את האובייקט userCredential:

"executionIdentity": {
  "userCredential": {}
}

יצירת סריקה של איכות הנתונים

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על יצירת סריקת איכות נתונים.
בחלון Define scan, ממלאים את השדות הבאים:
1. אופציונלי: מזינים שם לתצוגה.
2. מזינים מזהה. מוסכמות למתן שמות למשאבים
3. אופציונלי: מזינים תיאור.
4. בשדה Table, לוחצים על Browse. בוחרים את הטבלה שרוצים לסרוק ולוחצים על Select. יש תמיכה רק בטבלאות של BigQuery,‏ Iceberg REST Catalog,‏ SAP BDC Delta ו-Hive ב- Google CloudLakehouse.
  
  בטבלאות של מערכי נתונים במספר אזורים, בוחרים את האזור שבו רוצים ליצור את סריקת הנתונים.
  
  כדי לעיין בטבלאות שמאורגנות ב-Knowledge Catalog, לוחצים על Browse within Knowledge Catalog Lakes.
5. בשדה היקף, בוחרים באפשרות מצטבר או כל הנתונים.
  - אם בוחרים באפשרות מצטבר: בשדה עמודת חותמת זמן, בוחרים עמודה מסוג DATE או TIMESTAMP מהטבלה ב-BigQuery שגדלה ככל שנוספות רשומות חדשות, ושאפשר להשתמש בה כדי לזהות רשומות חדשות. זו יכולה להיות עמודה שמחלקת את הטבלה למחיצות.
6. אופציונלי: כדי לסנן את הנתונים, מסמנים את התיבה סינון שורות. מציינים מסנן שורות שמורכב מביטוי SQL תקין, שאפשר להשתמש בו כחלק מסעיף WHERE בתחביר של GoogleSQL. לדוגמה, col1 >= 0. המסנן יכול להיות שילוב של כמה תנאים בעמודות. לדוגמה, col1 >= 0 AND col2 < 10.
7. כדי לדגום את הנתונים, בוחרים אחוז דגימה ברשימה Sampling size. בוחרים ערך באחוזים בטווח שבין 0.0% ל-100.0% עם עד 3 ספרות אחרי הנקודה העשרונית. בקבוצות נתונים גדולות יותר, כדאי לבחור אחוז דגימה נמוך יותר. לדוגמה, בטבלה של 1 PB, אם תזינו ערך בין 0.1% ל-1.0%, סריקת איכות הנתונים תדגום בין 1 ל-10 TB של נתונים. בסריקות של נתונים מצטברים, סריקת איכות הנתונים מחילה דגימה על הנתונים המצטברים האחרונים.
8. אופציונלי: כדי לפרסם את תוצאות הסריקה של איכות הנתונים כמטא-נתונים של Knowledge Catalog, מסמנים את התיבה Publish results to Knowledge Catalog.
  
  אפשר לראות את תוצאות הסריקה האחרונה בכרטיסייה איכות הנתונים בדפים BigQuery ו-Knowledge Catalog של טבלת המקור. כדי לאפשר למשתמשים לגשת לתוצאות הסריקה שפורסמו, עיינו בקטע מתן גישה לתוצאות של סריקת איכות הנתונים במסמך הזה.
9. בקטע Credential type, קראו את המאמר הגדרת זהות ההפעלה.
10. כדי ליצור סריקה של איכות הנתונים באמצעות כללים, בוחרים באפשרות Rule type > Create with entry based rule.
11. בקטע תזמון, בוחרים אחת מהאפשרויות הבאות:
  - ‫Repeat: הפעלת הסריקה של איכות הנתונים לפי לוח זמנים: מדי שעה, מדי יום, מדי שבוע, מדי חודש או בהתאמה אישית. מציינים את התדירות והשעה של הסריקה. אם בוחרים באפשרות Custom, צריך לציין את לוח הזמנים בפורמט cron.
  - לפי דרישה: הפעלת סריקת איכות הנתונים לפי דרישה.
  - הפעלה חד-פעמית: הפעלה של סריקת איכות הנתונים פעם אחת עכשיו, והסרה של הסריקה אחרי זמן המחיקה האוטומטית. התכונה הזו נמצאת בגרסת טרום-השקה (Preview).
    - הגדרת מחיקה אוטומטית של תוצאות אחרי סריקה: משך הזמן בין ביצוע הסריקה לבין המחיקה שלה. סריקה של איכות הנתונים שלא צוין בה זמן מחיקה אוטומטית נמחקת באופן אוטומטי 24 שעות אחרי ההפעלה שלה. הזמן למחיקה אוטומטית יכול להיות בין 0 שניות (מחיקה מיידית) ל-365 ימים.
12. לוחצים על Continue.
בחלון Data quality rules, מגדירים את הכללים לסריקה הזו של איכות הנתונים.
1. לוחצים על הוספת כללים ובוחרים מבין האפשרויות הבאות.
  - המלצות שמבוססות על פרופיל: יצירת כללים מההמלצות שמבוססות על סריקה קיימת של פרופיל נתונים.
    1. בחירת עמודות: בוחרים את העמודות שרוצים לקבל עבורן המלצות לכללים.
    2. ‫Choose scan project: אם סריקת פרופיל הנתונים נמצאת בפרויקט אחר מהפרויקט שבו אתם יוצרים את סריקת איכות הנתונים, בוחרים את הפרויקט שממנו רוצים לשלוף את סריקות הפרופיל.
    3. בחירת תוצאות של פרופילים: בוחרים תוצאה אחת או יותר של פרופילים ולוחצים על אישור. תופיע רשימה של כללים מוצעים שאפשר להשתמש בהם כנקודת התחלה.
    4. מסמנים את התיבה לצד הכללים שרוצים להוסיף ולוחצים על בחירה. אחרי שבוחרים את הכללים, הם מתווספים לרשימת הכללים הנוכחית. לאחר מכן, אפשר לערוך את הכללים.
  - סוגי כללים מובְנים: יצירת כללים מכללים מוגדרים מראש. רשימת הכללים המוגדרים מראש
    1. בחירת עמודות: בוחרים את העמודות שרוצים לבחור להן כללים.
    2. בחירת סוגי כללים: בוחרים את סוגי הכללים שרוצים לבחור מהם ולוחצים על אישור. סוגי הכללים שמופיעים תלויים בעמודות שבחרתם.
    3. מסמנים את התיבה לצד הכללים שרוצים להוסיף ולוחצים על בחירה. אחרי שבוחרים את הכללים, הם מתווספים לרשימת הכללים הנוכחית. לאחר מכן, אפשר לערוך את הכללים.
  - כלל לבדיקת שורות ב-SQL: יוצרים כלל SQL בהתאמה אישית ומחילים אותו על כל שורה.
    1. בקטע מאפיין, בוחרים מאפיין אחד.
    2. בקטע Passing threshold, בוחרים את אחוז הרשומות שצריכות לעבור את הבדיקה.
    3. בשם העמודה, בוחרים עמודה.
    4. בשדה Provide a SQL expression, מזינים ביטוי SQL שמחזיר ערך בוליאני של true (עבר) או false (נכשל). למידע נוסף, קראו על סוגי כללי SQL נתמכים בהתאמה אישית ועיינו בדוגמאות שבמאמר הגדרת כללים לאיכות הנתונים.
    5. לוחצים על הוספה.
  - כלל בדיקה של צבירת SQL: יצירת כלל מותאם אישית לתנאי טבלה ב-SQL.
    1. בקטע מאפיין, בוחרים מאפיין אחד.
    2. בשם העמודה, בוחרים עמודה.
    3. בשדה Provide a SQL expression, מזינים ביטוי SQL שמחזיר ערך בוליאני של true (עבר) או false (נכשל). למידע נוסף, קראו על סוגי כללי SQL נתמכים בהתאמה אישית ועיינו בדוגמאות שבמאמר הגדרת כללים לאיכות הנתונים.
    4. לוחצים על הוספה.
  - כלל טענת נכוֹנוּת (assertion) ב-SQL: יוצרים כלל טענת נכוֹנוּת מותאם אישית ב-SQL כדי לבדוק אם יש מצב לא תקין של הנתונים.
    1. בקטע מאפיין, בוחרים מאפיין אחד.
    2. אופציונלי: בשדה שם העמודה, בוחרים עמודה.
    3. בשדה Provide a SQL statement, מזינים הצהרת SQL שמחזירה שורות שתואמות למצב הלא תקין. אם מוחזרות שורות, הכלל הזה נכשל. אל תכללו את הנקודה-פסיק בסוף הצהרת ה-SQL. למידע נוסף, קראו על סוגי כללי SQL נתמכים בהתאמה אישית ועיינו בדוגמאות שבמאמר הגדרת כללים לאיכות הנתונים.
    4. לוחצים על הוספה.
2. אופציונלי: לכל כלל של איכות נתונים, אתם יכולים להקצות שם כלל בהתאמה אישית לשימוש במעקב ובהתראות, ותיאור. כדי לעשות את זה, עורכים את הכלל ומציינים את הפרטים הבאים:
  - שם הכלל: מזינים שם לכלל בהתאמה אישית, באורך של עד 63 תווים. שם הכלל יכול לכלול אותיות (a-z,‏ A-Z), ספרות (0-9) ומקפים (-). הוא חייב להתחיל באות ולהסתיים בספרה או באות.
  - תיאור: מזינים תיאור של הכלל באורך של עד 1,024 תווים.
3. חוזרים על השלבים הקודמים כדי להוסיף עוד כללים לסריקה של איכות הנתונים. כשמסיימים, לוחצים על המשך.
אופציונלי: ייצוא של תוצאות הסריקה לטבלה רגילה ב-BigQuery. בקטע Export scan results to BigQuery table, מבצעים את הפעולות הבאות:
1. בשדה Select BigQuery dataset, לוחצים על Browse. בוחרים מערך נתונים ב-BigQuery שבו יישמרו תוצאות הסריקה של איכות הנתונים.
2. בשדה BigQuery table, מציינים את הטבלה ב-BigQuery שבה רוצים לשמור את תוצאות הסריקה של איכות הנתונים. אם אתם משתמשים בטבלה קיימת, ודאו שהיא תואמת לסכימת טבלת הייצוא. אם הטבלה שציינתם לא קיימת, היא תיווצר על ידי Knowledge Catalog.
  
  הערה: אתם יכולים להשתמש באותה טבלת תוצאות לכמה סריקות של איכות הנתונים.
אופציונלי: מוסיפים תוויות. תוויות הן צמדי מפתח/ערך שמאפשרים לקשר בין אובייקטים או ביניהם לבין משאבים אחרים של Google Cloud .
אופציונלי: מגדירים דוחות של התראות באימייל כדי לעדכן אנשים לגבי הסטטוס והתוצאות של משימת סריקה של איכות הנתונים. בקטע Notification report, לוחצים על Add email ID ומזינים עד חמש כתובות אימייל. אחר כך בוחרים את התרחישים שרוצים לשלוח עליהם דוחות:
- ציון איכות (<=): שליחת דוח כשהמשימה מסתיימת בהצלחה עם ציון איכות נתונים נמוך יותר מציון היעד שצוין. מזינים ציון איכות בין 0 ל-100.
- כשלים במשימות: שליחת דוח כשהמשימה עצמה נכשלת, בלי קשר לתוצאות של איכות הנתונים.
- השלמת המשימה (הצלחה או כישלון): שליחת דוח כשהמשימה מסתיימת, בלי קשר לתוצאות של איכות הנתונים.
לוחצים על יצירה.

אחרי שיוצרים את הסריקה, אפשר להריץ אותה בכל שלב בלחיצה על Run now.

gcloud

כדי ליצור סריקה של איכות הנתונים, משתמשים בפקודה gcloud dataplex datascans create data-quality.

אם נתוני המקור מאורגנים ב-Knowledge Catalog lake, צריך לכלול את הדגל --data-source-entity:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

אם נתוני המקור לא מאורגנים ב-Knowledge Catalog lake, צריך לכלול את הדגל --data-source-resource:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

מחליפים את המשתנים הבאים:

‫DATASCAN: השם של סריקת איכות הנתונים.
‫LOCATION: האזור ב- Google Cloud שבו רוצים ליצור את סריקת איכות הנתונים.
‫DATA_QUALITY_SPEC_FILE: הנתיב לקובץ ה-JSON או ה-YAML שמכיל את המפרט של סריקת איכות הנתונים. הקובץ יכול להיות קובץ מקומי או נתיב של Cloud Storage עם הקידומת gs://. משתמשים בקובץ הזה כדי לציין את הכללים של איכות הנתונים לסריקה. אתם יכולים גם לציין פרטים נוספים בקובץ הזה, כמו מסננים, אחוז דגימה ופעולות לאחר הסריקה, כמו ייצוא ל-BigQuery או שליחת דוחות של התראות באימייל. אפשר לעיין במסמכי התיעוד של ייצוג JSON ובדוגמה לייצוג YAML.
‫DATA_SOURCE_ENTITY: הישות ב-Knowledge Catalog שמכילה את הנתונים לסריקת איכות הנתונים. לדוגמה, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
‫DATA_SOURCE_RESOURCE: שם המשאב שמכיל את הנתונים לסריקת איכות הנתונים. לדוגמה, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

C#‎

C#

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של C# במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog C# API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for CreateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        CreateDataScanRequest request = new CreateDataScanRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataScan = new DataScan(),
            DataScanId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.CreateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceCreateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

המשך

Go

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Go API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataScanRequest.
	}
	op, err := c.CreateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Java API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.CreateDataScanRequest;
import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataScan {

  public static void main(String[] args) throws Exception {
    syncCreateDataScan();
  }

  public static void syncCreateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      CreateDataScanRequest request =
          CreateDataScanRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setDataScan(DataScan.newBuilder().build())
              .setDataScanId("dataScanId1260787906")
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.createDataScanAsync(request).get();
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Node.js API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

// Copyright 2026 Google LLC
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
//     https://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.
//
// ** This file is automatically generated by gapic-generator-typescript. **
// ** https://github.com/googleapis/gapic-generator-typescript **
// ** All changes to this file may be overwritten. **



'use strict';

function main(parent, dataScan) {
  /**
   * This snippet has been automatically generated and should be regarded as a code template only.
   * It will require modifications to work.
   * It may require correct/in-range values for request initialization.
   * TODO(developer): Uncomment these variables before running the sample.
   */
  /**
   *  Required. The resource name of the parent location:
   *  `projects/{project}/locations/{location_id}`
   *  where `project` refers to a *project_id* or *project_number* and
   *  `location_id` refers to a Google Cloud region.
   */
  // const parent = 'abc123'
  /**
   *  Required. DataScan resource.
   */
  // const dataScan = {}
  /**
   *  Optional. DataScan identifier. If not provided, a unique ID will be
   *  generated with the prefix "data-scan-".
   *  * Must contain only lowercase letters, numbers and hyphens.
   *  * Must start with a letter.
   *  * Must end with a number or a letter.
   *  * Must be between 1-63 characters.
   *  * Must be unique within the customer project / location.
   */
  // const dataScanId = 'abc123'
  /**
   *  Optional. Only validate the request, but do not perform mutations.
   *  The default is `false`.
   */
  // const validateOnly = true

  // Imports the Dataplex library
  const {DataScanServiceClient} = require('@google-cloud/dataplex').v1;

  // Instantiates a client
  const dataplexClient = new DataScanServiceClient();

  async function callCreateDataScan() {
    // Construct request
    const request = {
      parent,
      dataScan,
    };

    // Run request
    const [operation] = await dataplexClient.createDataScan(request);
    const [response] = await operation.promise();
    console.log(response);
  }

  callCreateDataScan();
}

process.on('unhandledRejection', err => {
  console.error(err.message);
  process.exitCode = 1;
});
main(...process.argv.slice(2));

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Python API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# Copyright 2026 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import google.api_core.exceptions
from google.cloud import dataplex_v1


def create_data_quality_scan_global(
    project_id: str,
    dataset_id: str,
    table_id: str,
    location: str,
    column_id_1: str,
    column_id_2: str,
) -> None:
    """Creates a Dataplex Data Quality Scan using global API endpoint routing.

    Args:
        project_id (str): Google Cloud project ID where the scan is created.
        dataset_id (str): Target BigQuery dataset ID.
        table_id (str): Target BigQuery table ID to scan.
        location (str): Google Cloud region where serverless compute runs.
        column_id_1 (str): Name of the first column to evaluate.
        column_id_2 (str): Name of the second column to evaluate.
    """
    client = dataplex_v1.DataScanServiceClient()

    parent = client.common_location_path(project=project_id, location=location)

    # A bigquery table with at least 2 columns is assumed.
    bigquery_table = (
        f"//bigquery.googleapis.com/projects/{project_id}"
        f"/datasets/{dataset_id}/tables/{table_id}"
    )

    data_quality_spec = dataplex_v1.DataQualitySpec(
        rules=[
            dataplex_v1.DataQualityRule(
                name="global-null-assertion",
                dimension="COMPLETENESS",
                description="Fails if any row contains a null value",
                sql_assertion=dataplex_v1.DataQualityRule.SqlAssertion(
                    # Use ${data()} as the placeholder for the table Dataplex is scanning
                    sql_statement=(
                        "SELECT * FROM ${data()} "
                        f"WHERE {column_id_1} IS NULL OR {column_id_2} IS NULL"
                    )
                ),
            )
        ]
    )

    data_scan = dataplex_v1.DataScan(
        display_name="Global Data Quality Scan",
        data=dataplex_v1.DataSource(resource=bigquery_table),
        data_quality_spec=data_quality_spec,
    )

    request = dataplex_v1.CreateDataScanRequest(parent=parent, data_scan=data_scan)

    try:
        operation = client.create_data_scan(request=request)
        print(operation.result())
    except google.api_core.exceptions.AlreadyExists:
        print("A scan with this ID already exists.")
    except google.api_core.exceptions.InvalidArgument as e:
        print(f"Your scan configuration is invalid: {e}")
    except google.api_core.exceptions.GoogleAPIError as e:
        print(f"Unexpected exception: {e}")

Ruby

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Ruby במדריך למתחילים של Knowledge Catalog באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של Knowledge Catalog Ruby API.

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the create_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#create_data_scan.
#
def create_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateDataScanRequest.new

  # Call the create_data_scan method.
  result = client.create_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

כדי ליצור סריקה של איכות הנתונים, משתמשים ב-method‏ dataScans.create.

הבקשה הבאה יוצרת סריקה חד-פעמית של איכות הנתונים:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?data_scan_id=DATASCAN_ID

{
"data": {
  "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID"
},
"type": "DATA_QUALITY",
"executionSpec": {
  "trigger": {
    "oneTime": {
      "ttl_after_scan_completion": "120s"
    }
  }
},
"dataQualitySpec": {
  "rules": [
    {
      "nonNullExpectation": {},
      "column": "COLUMN_NAME",
      "dimension": "DIMENSION",
      "threshold": 1
    }
  ],
  "filter": "FILTER_CONDITION"
}
}

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט.
‫LOCATION: האזור שבו רוצים ליצור את סריקת איכות הנתונים.
‫DATASCAN_ID: המזהה של סריקת איכות הנתונים.
‫DATASET_ID: המזהה של מערך הנתונים ב-BigQuery.
‫TABLE_ID: המזהה של הטבלה ב-BigQuery.
‫COLUMN_NAME: שם העמודה של הכלל.
‫DIMENSION: המאפיין של הכלל, לדוגמה VALIDITY.
‫FILTER_CONDITION: מחרוזת סינון אופציונלית של AIP-160 להרצה סלקטיבית של כללים (לדוגמה, name = \"RULE_NAME\").

אם אתם רוצים ליצור כללים לסריקת איכות הנתונים באמצעות המלצות לכללים שמבוססות על התוצאות של סריקת פרופיל הנתונים, אתם יכולים לקבל את ההמלצות על ידי קריאה ל-method dataScans.jobs.generateDataQualityRules בסריקת פרופיל הנתונים.

הערה: אם בטבלה ב-BigQuery ההגדרה Require partition filter היא true, צריך להשתמש בעמודת המחיצה ב-BigQuery כמסנן השורות של סריקת איכות הנתונים או כעמודת חותמת הזמן.

סכימת הטבלה של נתוני הייצוא

כדי לייצא את תוצאות הסריקה של איכות הנתונים לטבלה קיימת ב-BigQuery, ודאו שהיא תואמת לסכימת הטבלה הבאה:

שם העמודה	סוג הנתונים בעמודה	שם של תחום משנה (אם רלוונטי)	סוג הנתונים של שדה המשנה	מצב	דוגמה
data_quality_scan	`struct/record`	`resource_name`	`string`	יכול להיות ריק	`//dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan`
		`project_id`	`string`	יכול להיות ריק	`dataplex-back-end-dev-project`
		`location`	`string`	יכול להיות ריק	`us-central1`
		`data_scan_id`	`string`	יכול להיות ריק	`test-datascan`
		`display_name`	`string`	יכול להיות ריק	`datascan-display-name`
data_source	`struct/record`	`resource_name`	`string`	יכול להיות ריק	אותיות רישיות בישות: `//dataplex.googleapis.com/projects/dataplex-back-end-dev-project/locations/europe-west2/lakes/a0-datascan-test-lake/zones/a0-datascan-test-zone/entities/table1` אותיות רישיות בטבלה: `//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table`
		`dataplex_entity_project_id`	`string`	יכול להיות ריק	`dataplex-back-end-dev-project`
		`dataplex_entity_project_number`	`integer`	יכול להיות ריק	`123456789`
		`dataplex_lake_id`	`string`	יכול להיות ריק	(תקף רק אם המקור הוא ישות) `test-lake`
		`dataplex_zone_id`	`string`	יכול להיות ריק	(תקף רק אם המקור הוא ישות) `test-zone`
		`dataplex_entity_id`	`string`	יכול להיות ריק	(תקף רק אם המקור הוא ישות) `test-entity`
		`table_project_id`	`string`	יכול להיות ריק	`test-project`
		`table_project_number`	`integer`	יכול להיות ריק	`987654321`
		`dataset_id`	`string`	יכול להיות ריק	(תקף רק אם המקור הוא טבלה) `test-dataset`
		`table_id`	`string`	יכול להיות ריק	(תקף רק אם המקור הוא טבלה) `test-table`
data_quality_job_id	`string`			יכול להיות ריק	`caeba234-cfde-4fca-9e5b-fe02a9812e38`
data_quality_job_configuration	`json`			יכול להיות ריק	`{"trigger": "ondemand", "incremental": true}`
job_labels	`json`			יכול להיות ריק	`{"key1":value1}`
job_start_time	`timestamp`			יכול להיות ריק	`2023-01-01 00:00:00 UTC`
job_end_time	`timestamp`			יכול להיות ריק	`2023-01-01 00:00:00 UTC`
job_quality_result	`struct/record`	`passed`	`boolean`	יכול להיות ריק	`false`/`true`
		`score`	`float`	יכול להיות ריק	`90.8`
		`incremental_start`	`string`	יכול להיות ריק	`2023-01-01T00:00:00`
		`incremental_end`	`string`	יכול להיות ריק	`2024-01-01T00:00:00`
job_dimension_result	`json`			יכול להיות ריק	`{"ACCURACY":{"passed":true,"score":100},"CONSISTENCY":{"passed":false,"score":60}}`
job_rows_scanned	`integer`			יכול להיות ריק	`7500`
rule_name	`string`			יכול להיות ריק	`test-rule`
rule_description	`string`			יכול להיות ריק	`Test rule description`
rule_type	`string`			יכול להיות ריק	`Range Check`
rule_evaluation_type	`string`			יכול להיות ריק	`Per row`
rule_column	`string`			יכול להיות ריק	`Rule only attached to a certain column`
rule_dimension	`string`			יכול להיות ריק	`UNIQUENESS`
rule_threshold_percent	`float`			יכול להיות ריק	(0.0-100.0) `Rule-threshold-pct in API * 100`
rule_parameters	`json`			יכול להיות ריק	`{min: 24, max:5345}`
rule_passed	`boolean`			יכול להיות ריק	`true`
rule_rows_evaluated	`integer`			יכול להיות ריק	`7400`
rule_rows_passed	`integer`			יכול להיות ריק	`3`
rule_rows_passed_percent	`float`			יכול להיות ריק	(0.0-100.0) `80.0` (מציין 80%)
rule_rows_null	`integer`			יכול להיות ריק	`4`
rule_failed_records_query	`string`			יכול להיות ריק	"SELECT * FROM `test-project.test-dataset.test-table` WHERE (NOT((`cTime` >= '15:31:38.776361' and `cTime` <= '19:23:53.754823') IS TRUE));"
created_on	`timestamp`			יכול להיות ריק	`2023-01-01 00:00:00 UTC`
last_updated	`timestamp`			יכול להיות ריק	`2023-01-01 00:00:00 UTC`
rule_assertion_row_count	`integer`			יכול להיות ריק	`10`
debug_queries	`struct/record`	`description`	`string`	יכול להיות ריק	`Test debug query description`
		`sql_statement`	`string`	יכול להיות ריק	`SELECT MIN(col1) AS min_col1, AVG(col1) FROM ${data()}`
		`debug_query_results`	`struct/record`	חוזרת	`[{"name": "min_col1", "type": "INTEGER", "value": "5"}, {"type": "FLOAT", "value": "7"}]`
		↳ `name`	`string`	יכול להיות ריק	השם של עמודת תוצאות השאילתה, כמו `min_col1`
		↳ `type`	`string`	יכול להיות ריק	סוג העמודה של תוצאות השאילתה, כמו `INTEGER`
		↳ `value`	`string`	יכול להיות ריק	הערך של עמודת תוצאות השאילתה, כמו `5`
rule_attributes	`json`			יכול להיות ריק	`{"key": "value"}`
rule_source	`struct/record`	`rule_path_elements`	`struct/record`	חוזרת	`[{"entry_source": {"entry_type": "bigquery_table"}}]`
		↳ `entry_source`	`struct/record`	יכול להיות ריק	`{"entry_type": "bigquery_table"}`
		thought ↳ `entry_type`	`string`	יכול להיות ריק	`bigquery_table`
		thought ↳ `entry`	`string`	יכול להיות ריק	`projects/test-project/locations/us/entryGroups/@bigquery/entries/test-table`
		thought ↳ `display_name`	`string`	יכול להיות ריק	`test-table`
		↳ `entry_link_source`	`struct/record`	יכול להיות ריק	`{"entry_link_type": "table_spec"}`
		↳ `entry_link_type`	`string`	יכול להיות ריק	`table_spec`
		↳ `entry_link`	`string`	יכול להיות ריק	`projects/test-project/locations/us/entryLinks/test-link`

כשמגדירים BigQueryExport למשימת סריקה של איכות הנתונים, צריך לפעול לפי ההנחיות הבאות:

בשדה resultsTable, צריך להשתמש בפורמט: //bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}.
משתמשים בטבלה רגילה של BigQuery.
אם הטבלה לא קיימת כשהסריקה נוצרת או מתעדכנת, היא נוצרת על ידי Knowledge Catalog.
כברירת מחדל, הטבלה מחולקת למחיצות לפי העמודה job_start_time מדי יום.
אם אתם רוצים לחלק את הטבלה למחיצות בהגדרות אחרות, או אם אתם לא רוצים לחלק אותה למחיצות, אתם צריכים ליצור מחדש את הטבלה עם הסכימה וההגדרות הנדרשות, ואז לספק את הטבלה שנוצרה מראש כטבלת התוצאות.
חשוב לוודא שטבלת התוצאות נמצאת באותו מיקום כמו טבלת המקור.
אם VPC-SC מוגדר בפרויקט, טבלת התוצאות צריכה להיות באותו היקף VPC-SC כמו טבלת המקור.
אם הטבלה משתנה במהלך שלב הסריקה, המשימה שפועלת כרגע מייצאת לטבלת התוצאות הקודמת, והשינוי בטבלה נכנס לתוקף ממשימת הסריקה הבאה.
אל תשנו את הסכימה של הטבלה. אם אתם צריכים עמודות בהתאמה אישית, צרו תצוגה בטבלה.
כדי להפחית את העלויות, הגדירו תאריך תפוגה למחיצה בהתאם לתרחיש לדוגמה. מידע נוסף זמין במאמר הגדרת תפוגה למחיצה.

הפעלת סריקה של איכות הנתונים

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על הסריקה של איכות הנתונים שרוצים להריץ.
לוחצים על הפעלה מיידית.

gcloud

כדי להריץ סריקה של איכות הנתונים, משתמשים בפקודה gcloud dataplex datascans run:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

מחליפים את המשתנים הבאים:

‫LOCATION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.
‫DATASCAN: השם של סריקת איכות הנתונים.

C#‎

C#

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for RunDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void RunDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        RunDataScanRequest request = new RunDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
        };
        // Make the request
        RunDataScanResponse response = dataScanServiceClient.RunDataScan(request);
    }
}

המשך

Go

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.RunDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#RunDataScanRequest.
	}
	resp, err := c.RunDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.RunDataScanRequest;
import com.google.cloud.dataplex.v1.RunDataScanResponse;

public class SyncRunDataScan {

  public static void main(String[] args) throws Exception {
    syncRunDataScan();
  }

  public static void syncRunDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      RunDataScanRequest request =
          RunDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      RunDataScanResponse response = dataScanServiceClient.runDataScan(request);
    }
  }
}

Python

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_run_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.RunDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.run_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the run_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#run_data_scan.
#
def run_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::RunDataScanRequest.new

  # Call the run_data_scan method.
  result = client.run_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::RunDataScanResponse.
  p result
end

REST

כדי להריץ סריקה של איכות הנתונים, משתמשים ב-method‏ dataScans.run.

Airflow

כדי להריץ סריקה של איכות הנתונים באמצעות גרף אציקלי מכוון (DAG) ב-Managed Service for Apache Airflow (Cloud Composer), משתמשים ב-DataplexRunDataQualityScanOperator:

from datetime import datetime
from airflow import DAG
from airflow.providers.google.cloud.operators.dataplex import DataplexRunDataQualityScanOperator

with DAG(
  "dataplex_auto_dq_scan",
  start_date=datetime(2026, 1, 1),
  schedule_interval="@daily",
  catchup=False,
) as dag:

  run_dq_scan = DataplexRunDataQualityScanOperator(
      task_id="run_dataplex_dq_scan",
      project_id="PROJECT_ID",
      region="REGION",
      data_scan_id="DATASCAN_ID",
  )

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
‫REGION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.
‫DATASCAN_ID: המזהה של סריקת איכות הנתונים.

ביטול משימה של סריקת איכות נתונים

אם משימת סריקה של איכות הנתונים פועלת יותר זמן מהצפוי או שהיא הופעלה עם הגדרה שגויה, אתם יכולים לבטל אותה. הפעולה הזו מתבצעת כמיטב היכולת. אם המשימה כבר נמצאת במצב סופי (כמו SUCCEEDED או FAILED), המערכת מתעלמת מבקשת הביטול.

תפקידים והרשאות נדרשים

כדי לקבל את ההרשאות שנדרשות לביטול משימה של סריקת איכות נתונים, בקשו מהאדמין להקצות לכם את התפקיד Dataplex Editor ‏(roles/dataplex.editor) או Dataplex DataScan Administrator ‏(roles/dataplex.dataScanAdmin) ב-IAM בפרויקט.

ביטול משימה

אתם יכולים לבטל משימת סריקה של איכות נתונים שפועלת או בהמתנה באמצעות ה-API בארכיטקטורת REST.

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על השם של סריקת איכות הנתונים שמכילה את המשימה שרוצים לבטל.
בכרטיסייה Job history, מאתרים את המשימה שהסטטוס שלה הוא Running או Pending.
לוחצים על ביטול ליד המשימה.

REST

משתמשים ב-projects.locations.dataScans.jobs.cancel.

POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID:cancel

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט.
‫LOCATION: האזור שבו נמצאת סריקת הנתונים.
‫DATASCAN_ID: המזהה של סריקת הנתונים.
‫JOB_ID: המזהה של המשימה שרוצים לבטל.

צפייה בתוצאות הסריקה של איכות הנתונים

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על השם של סריקת איכות הנתונים.
- בקטע Overview מוצג מידע על הסריקות האחרונות, כולל מתי הסריקה בוצעה, מספר הרשומות שנסרקו בכל סריקה, אם כל בדיקות איכות הנתונים עברו בהצלחה, ואם היו כשלים, מספר בדיקות איכות הנתונים שנכשלו.
- בקטע הגדרות סריקת איכות הנתונים מוצגים פרטים על הסריקה.
כדי לראות מידע מפורט על משימה, כמו ציוני איכות הנתונים שמציינים את אחוז הכללים שעברו, אילו כללים נכשלו ויומני המשימות, לוחצים על הכרטיסייה היסטוריית משימות. לאחר מכן לוחצים על מזהה משימה.

gcloud

כדי לראות את התוצאות של משימת סריקה של איכות הנתונים, משתמשים בפקודה gcloud dataplex datascans jobs describe:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

מחליפים את המשתנים הבאים:

‫JOB: מזהה המשימה של סריקת איכות הנתונים.
‫LOCATION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.
‫DATASCAN: השם של סריקת איכות הנתונים שאליה שייכת המשימה.
‫--view=FULL: כדי לראות את התוצאה של משימת הסריקה, מציינים את FULL.

C#‎

C#

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for GetDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        GetDataScanRequest request = new GetDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            View = GetDataScanRequest.Types.DataScanView.Unspecified,
        };
        // Make the request
        DataScan response = dataScanServiceClient.GetDataScan(request);
    }
}

המשך

Go

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetDataScanRequest.
	}
	resp, err := c.GetDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.GetDataScanRequest;

public class SyncGetDataScan {

  public static void main(String[] args) throws Exception {
    syncGetDataScan();
  }

  public static void syncGetDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      GetDataScanRequest request =
          GetDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      DataScan response = dataScanServiceClient.getDataScan(request);
    }
  }
}

Python

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_data_scan(request=request)

    # Handle the response
    print(response)

Ruby

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the get_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#get_data_scan.
#
def get_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetDataScanRequest.new

  # Call the get_data_scan method.
  result = client.get_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::DataScan.
  p result
end

REST

כדי לראות את התוצאות של סריקת איכות הנתונים, משתמשים בשיטה dataScans.get.

הצגת התוצאות שפורסמו

אם התוצאות של סריקת איכות הנתונים מתפרסמות כמטא-נתונים של Knowledge Catalog, אתם יכולים לראות את תוצאות הסריקה האחרונות בדפים של BigQuery ו-Knowledge Catalog במסוףGoogle Cloud , בכרטיסייה Data quality של טבלת המקור.

נכנסים לדף Search ב-Knowledge Catalog במסוף Google Cloud .

מעבר לחיפוש
מחפשים את הטבלה ובוחרים אותה.
לוחצים על הכרטיסייה איכות הנתונים.

התוצאות האחרונות שפורסמו מוצגות.

הערה: יכול להיות שהתוצאות שפורסמו לא יהיו זמינות אם הסריקה פועלת בפעם הראשונה.

צפייה בתוצאות של סריקות קודמות

ב-Knowledge Catalog נשמרת היסטוריית סריקות איכות הנתונים של 300 המשימות האחרונות או של השנה האחרונה, המוקדם מביניהם.

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על השם של סריקת איכות הנתונים.
לוחצים על הכרטיסייה Jobs history.

בכרטיסייה Jobs history מוצג מידע על משימות קודמות, כמו מספר הרשומות שנסרקו בכל משימה, סטטוס המשימה, זמן הרצת המשימה והאם כל כלל עבר או נכשל.
כדי לראות מידע מפורט על משימה, לוחצים על אחת מהמשימות בעמודה Job ID.

gcloud

כדי לראות את המשימות ההיסטוריות של סריקת איכות הנתונים, משתמשים בפקודה gcloud dataplex datascans jobs list:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

מחליפים את המשתנים הבאים:

‫LOCATION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.
‫DATASCAN: השם של סריקת איכות הנתונים שרוצים לראות את המשימות ההיסטוריות שלה.

C#‎

C#

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Api.Gax;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for ListDataScanJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListDataScanJobsRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        ListDataScanJobsRequest request = new ListDataScanJobsRequest
        {
            ParentAsDataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Filter = "",
        };
        // Make the request
        PagedEnumerable<ListDataScanJobsResponse, DataScanJob> response = dataScanServiceClient.ListDataScanJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (DataScanJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListDataScanJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (DataScanJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<DataScanJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (DataScanJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

המשך

Go

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListDataScanJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListDataScanJobsRequest.
	}
	it := c.ListDataScanJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListDataScanJobsResponse)
	}
}

Java

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.DataScanJob;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.ListDataScanJobsRequest;

public class SyncListDataScanJobs {

  public static void main(String[] args) throws Exception {
    syncListDataScanJobs();
  }

  public static void syncListDataScanJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      ListDataScanJobsRequest request =
          ListDataScanJobsRequest.newBuilder()
              .setParent(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .build();
      for (DataScanJob element : dataScanServiceClient.listDataScanJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Python

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_data_scan_jobs():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListDataScanJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_data_scan_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the list_data_scan_jobs call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#list_data_scan_jobs.
#
def list_data_scan_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListDataScanJobsRequest.new

  # Call the list_data_scan_jobs method.
  result = client.list_data_scan_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::DataScanJob.
    p item
  end
end

REST

כדי לראות משימות קודמות של סריקות לאיכות הנתונים, משתמשים ב-method dataScans.jobs.list.

סטטוסים של משימות

אלה הסטטוסים האפשריים של משימות סריקת נתונים:

‫PENDING: המשימה נוצרה אבל עדיין לא התחילה לפעול. במצב הזה, הסריקה מגדירה באופן פעיל תשתית או רוכשת משבצות. השלב הזה יכול להימשך בין 10 ל-20 שניות או יותר, בהתאם למורכבות הסכימה ולתחרות על המשאבים.
‫RUNNING: המשימה פועלת.
‫CANCELING: המשימה בתהליך ביטול.
‫CANCELLED: המשימה בוטלה.
‫SUCCEEDED: המשימה הושלמה בהצלחה. סטטוס ההשלמה עשוי להופיע באיחור של עד 60 שניות מההשלמה בפועל של השאילתה, בגלל שלבים של עיבוד לאחר השאילתה, כמו צבירה וסנכרון מטא-נתונים.
‫FAILED: המשימה נכשלה בגלל שגיאה. סטטוס ההשלמה עשוי להופיע באיחור של עד 60 שניות מההשלמה בפועל של השאילתה, בגלל שלבים של עיבוד לאחר השאילתה, כמו צבירה וסנכרון מטא-נתונים.
‫SUCCEEDED_WITH_ERRORS: המשימה הושלמה, אבל היו כמה שגיאות במהלך הביצוע.

שיטות מומלצות למעקב

כשאתם עוקבים אחרי משימות סריקת הנתונים, חשוב לזכור את השיטות המומלצות הבאות:

הימנעו מסקרים אגרסיביים: הימנעו מסקרים אגרסיביים (לדוגמה, קריאה ל-GetJob או לפונקציה מקבילה כל 1 עד 5 שניות). דגימה אגרסיבית מבזבזת את מכסת ה-API ולא מאיצה את מעברי המצבים.
שימוש בהשהיה מעריכית לפני ניסיון חוזר (exponential backoff): אם אי אפשר להימנע מדגימה חוזרת, צריך להשתמש בהשהיה מעריכית לפני ניסיון חוזר (exponential backoff) שמתחילה ב-10 עד 15 שניות.
שימוש בהפרדה אסינכרונית מבוססת-אירועים (מומלץ): במקום דגימת API סינכרונית, משתמשים בטריגרים של Eventarc שמאזינים ליומני הביקורת של Cloud (cloudaudit.googleapis.com). אפשר להשתמש בטריגרים האלה כדי להתחיל תהליכי עבודה במורד הזרם מיד אחרי אירועי השלמת המשימות של DataScan. הגישה הזו עוקפת את מגבלות הסקרים של ה-API, חוסכת במכסות ומפחיתה את זמן האחזור.

כדי לאפשר למשתמשים בארגון לראות את תוצאות הסריקה:

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על סריקת איכות הנתונים שרוצים לשתף את התוצאות שלה.
לוחצים על הכרטיסייה Permissions.
מבצעים את הפעולות הבאות:
- כדי לתת גישה לחשבון משתמש, לוחצים על Grant access. מקצים את התפקיד Dataplex DataScan DataViewer לחשבון המשתמש המשויך.
- כדי להסיר את הגישה מחשבון משתמש, בוחרים את החשבון שרוצים להסיר ממנו את התפקיד Dataplex DataScan DataViewer. לוחצים על הסרת הגישה ומאשרים את הפעולה.

הגדרת התראות ב-Logging

כדי להגדיר התראות על כשלים באיכות הנתונים באמצעות היומנים ב-Cloud Logging:

המסוף

במסוף Google Cloud , נכנסים לדף Logs Explorer שב-Logging.

כניסה לדף Logs Explorer
בחלון Query, מזינים את השאילתה. שאילתות לדוגמה
לוחצים על Run query.
לוחצים על יצירת התראה. תיפתח חלונית צדדית.
מזינים את שם מדיניות ההתראות ולוחצים על הבא.
בודקים את השאילתה.
1. כדי לבדוק את השאילתה, לוחצים על Preview logs. כאן מוצגים יומנים עם תנאים תואמים.
2. לוחצים על הבא.
מגדירים את הזמן בין ההתראות ולוחצים על הבא.
מגדירים למי תישלח ההתראה ולוחצים על שמירה כדי ליצור את מדיניות ההתראות.

לחלופין, אפשר להגדיר ולערוך את ההתראות במסוףGoogle Cloud , בקטע Monitoring > Alerting.

gcloud

לא נתמך.

REST

איך מגדירים התראות ב-Logging

שאילתות לדוגמה להגדרת התראות ברמת המשימה או ברמת המאפיין

שאילתה לדוגמה להגדרת התראות על כשלים באיכות הנתונים הכוללת בסריקה של איכות הנתונים:

resource.type="dataplex.googleapis.com/DataScan"
AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
AND resource.labels.resource_container="projects/112233445566"
AND resource.labels.datascan_id="a0-test-dec6-dq-3"
AND NOT jsonPayload.dataQuality.passed=true

שאילתה לדוגמה להגדרת התראות על כשלים באיכות הנתונים של מאפיין (לדוגמה, ייחודיות) בסריקה נתונה של איכות הנתונים:

resource.type="dataplex.googleapis.com/DataScan"
AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
AND resource.labels.resource_container="projects/112233445566"
AND resource.labels.datascan_id="a0-test-dec6-dq-3"
AND jsonPayload.dataQuality.dimensionPassed.UNIQUENESS=false

שאילתה לדוגמה להגדרת התראות על כשלים באיכות הנתונים בטבלה.

הגדרת התראות על כשלים באיכות הנתונים בטבלה ב-BigQuery שלא מאורגנת ב-Knowledge Catalog Lake:

resource.type="dataplex.googleapis.com/DataScan"
AND jsonPayload.dataSource="//bigquery.googleapis.com/projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
AND resource.labels.resource_container="projects/112233445566"
AND NOT jsonPayload.dataQuality.passed=true

הגדרת התראות על כשלים באיכות הנתונים בטבלה ב-BigQuery שמאורגנת ב-Knowledge Catalog Lake:

resource.type="dataplex.googleapis.com/DataScan"
AND jsonPayload.dataSource="projects/test-project/datasets/testdataset/table/chicago_taxi_trips"
AND labels."dataplex.googleapis.com/data_scan_state"="SUCCEEDED"
AND resource.labels.resource_container="projects/112233445566"
AND NOT jsonPayload.dataQuality.passed=true

שאילתות לדוגמה להגדרת התראות לכל כלל

שאילתה לדוגמה להגדרת התראות בכל הכללים שנכשלו לאיכות הנתונים, עם שם הכלל המותאם אישית שצוין לסריקת איכות הנתונים:
```
resource.type="dataplex.googleapis.com/DataScan"
AND jsonPayload.ruleName="custom-name"
AND jsonPayload.result="FAILED"
```
שאילתה לדוגמה להגדרת התראות על כל הכללים של איכות הנתונים שנכשלו בסוג הערכה ספציפי של סריקת איכות נתונים:
```
resource.type="dataplex.googleapis.com/DataScan"
AND jsonPayload.evalutionType="PER_ROW"
AND jsonPayload.result="FAILED"
```
שאילתה לדוגמה להגדרת התראות על כל הכללים לאיכות הנתונים שנכשלו בעמודה בטבלה שמשמשת לסריקת איכות הנתונים:
```
resource.type="dataplex.googleapis.com/DataScan"
AND jsonPayload.column="CInteger"
AND jsonPayload.result="FAILED"
```

פתרון בעיות שקשורות לאיכות הנתונים

לכל משימה עם כללים ברמת השורה שנכשלו, Knowledge Catalog מספק שאילתה כדי לקבל את הרשומות שנכשלו. מריצים את השאילתה הזו כדי לראות את הרשומות שלא תואמות לכלל.

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על השם של סריקת איכות הנתונים שרוצים לפתור בעיות ברשומות שלה.
לוחצים על הכרטיסייה Jobs history.
לוחצים על מזהה המשימה שבה זוהו כשלים באיכות הנתונים.
בחלון תוצאות המשימה שנפתח, בקטע Rules, מאתרים את העמודה Query to get failed records. לוחצים על Copy query to clipboard בכלל שנכשל.
מריצים את השאילתה ב-BigQuery כדי לראות את הרשומות שגרמו למשימה להיכשל.

gcloud

לא נתמך.

REST

כדי לקבל את המשימה שזיהתה את הכשלים באיכות הנתונים, משתמשים ב-method‏ dataScans.get.

באובייקט התגובה, השאילתה מופיעה בשדה failingRowsQuery.
מריצים את השאילתה ב-BigQuery כדי לראות את הרשומות שגרמו למשימה להיכשל.

ב-Knowledge Catalog מופעלת גם שאילתת ניפוי הבאגים, בתנאי שהיא נכללה במהלך יצירת הכלל. תוצאות השאילתה לניפוי באגים נכללות בפלט של כל כלל. התכונה הזו נמצאת בגרסת טרום-השקה (Preview).

המסוף

לא נתמך.

gcloud

לא נתמך.

REST

כדי לקבל את המשימה שזיהתה את הכשלים באיכות הנתונים, משתמשים ב-method‏ dataScans.get. באובייקט התגובה, השדה debugQueriesResultSets מציג את התוצאות של שאילתות ניפוי הבאגים.

ניהול סריקות של איכות הנתונים בטבלה ספציפית

השלבים במאמר הזה מראים איך לנהל את סריקות פרופיל הנתונים בפרויקט באמצעות הדף Data profiling & quality של Knowledge Catalog במסוף Google Cloud .

אתם יכולים גם ליצור ולנהל סריקות של פרופילי נתונים כשאתם עובדים עם טבלה ספציפית. במסוף Google Cloud , בדף Knowledge Catalog של הטבלה, משתמשים בכרטיסייה איכות הנתונים. מבצעים את הפעולות הבאות:

נכנסים לדף Search של Knowledge Catalog במסוף Google Cloud .

מעבר לחיפוש

מחפשים את הטבלה ובוחרים אותה.
לוחצים על הכרטיסייה איכות הנתונים.
בהתאם לשאלה אם לטבלה יש סריקת איכות נתונים שהתוצאות שלה מתפרסמות כמטא-נתונים של Knowledge Catalog, אתם יכולים לעבוד עם סריקות איכות הנתונים של הטבלה בדרכים הבאות:
- תוצאות הסריקה של איכות הנתונים מתפרסמות: תוצאות הסריקה האחרונות מוצגות בדף.
  
  כדי לנהל את סריקות איכות הנתונים של הטבלה, לוחצים על Data quality scan ובוחרים אחת מהאפשרויות הבאות:
  - יצירת סריקה חדשה: יצירת סריקה חדשה של איכות הנתונים. מידע נוסף מופיע בקטע יצירת סריקה של איכות הנתונים במאמר הזה. כשיוצרים סריקה מדף הפרטים של הטבלה, הטבלה נבחרת מראש.
  - הפעלה מיידית: הפעלת הסריקה.
  - עריכת הגדרות הסריקה: עריכת ההגדרות, כולל השם המוצג, המסננים ולוח הזמנים.
    
    כדי לערוך את הכללים של איכות הנתונים, בכרטיסייה Data quality לוחצים על הכרטיסייה Rules. לוחצים על שינוי כללים. מעדכנים את הכללים ולוחצים על שמירה.
  - ניהול הרשאות הסריקה: אתם יכולים לקבוע למי תהיה גישה לתוצאות הסריקה. למידע נוסף, קראו את הקטע מתן גישה לתוצאות של סריקת איכות הנתונים במאמר הזה.
  - ‫View historical results: הצגת מידע מפורט על משימות קודמות של סריקת איכות הנתונים. מידע נוסף זמין בקטעים הצגת תוצאות של סריקות לאיכות הנתונים והצגת תוצאות של סריקות היסטוריות במסמך הזה.
  - ‫View all scans: הצגת רשימה של סריקות איכות הנתונים שחלות על הטבלה הזו.
- תוצאות הסריקה של איכות הנתונים לא מתפרסמות: בוחרים מבין האפשרויות הבאות:
  - יצירת סריקה של איכות הנתונים: יצירת סריקה חדשה של איכות הנתונים. מידע נוסף מופיע בקטע יצירת סריקה של איכות הנתונים במאמר הזה. כשיוצרים סריקה מדף הפרטים של הטבלה, הטבלה נבחרת מראש.
  - thought ‫View existing scans: הצגת רשימה של סריקות איכות הנתונים שחלות על הטבלה הזו.

עדכון סריקה של איכות הנתונים

אתם יכולים לערוך הגדרות שונות של סריקה קיימת של איכות הנתונים, כמו השם המוצג, המסננים, לוח הזמנים והכללים של איכות הנתונים.

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על השם של סריקת איכות הנתונים.
כדי לערוך את ההגדרות, כולל השם המוצג, המסננים ולוח הזמנים, לוחצים על Edit. עורכים את הערכים ולוחצים על שמירה.
כדי לערוך את הכללים של איכות הנתונים, לוחצים על הכרטיסייה Current rules בדף פרטי הסריקה. לוחצים על שינוי כללים. מעדכנים את הכללים ולוחצים על שמירה.

gcloud

כדי לעדכן את התיאור של סריקת איכות נתונים, משתמשים בפקודה gcloud dataplex datascans update data-quality:

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

מחליפים את מה שכתוב בשדות הבאים:

‫DATASCAN: השם של סריקת איכות הנתונים שרוצים לעדכן.
‫LOCATION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.
‫DESCRIPTION: התיאור החדש של סריקת איכות הנתונים.

C#‎

C#

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for UpdateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void UpdateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        UpdateDataScanRequest request = new UpdateDataScanRequest
        {
            DataScan = new DataScan(),
            UpdateMask = new FieldMask(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.UpdateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceUpdateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

המשך

Go

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.UpdateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#UpdateDataScanRequest.
	}
	op, err := c.UpdateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.UpdateDataScanRequest;
import com.google.protobuf.FieldMask;

public class SyncUpdateDataScan {

  public static void main(String[] args) throws Exception {
    syncUpdateDataScan();
  }

  public static void syncUpdateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      UpdateDataScanRequest request =
          UpdateDataScanRequest.newBuilder()
              .setDataScan(DataScan.newBuilder().build())
              .setUpdateMask(FieldMask.newBuilder().build())
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.updateDataScanAsync(request).get();
    }
  }
}

Python

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_update_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.UpdateDataScanRequest(
        data_scan=data_scan,
    )

    # Make the request
    operation = client.update_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the update_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#update_data_scan.
#
def update_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::UpdateDataScanRequest.new

  # Call the update_data_scan method.
  result = client.update_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

כדי לערוך סריקה של איכות הנתונים, משתמשים ב-method ‏dataScans.patch.

מחיקת סריקה של איכות הנתונים

המסוף

במסוף Google Cloud , נכנסים לדף Data profiling & quality ב-Knowledge Catalog.

מעבר אל "יצירת פרופילים של נתונים ואיכות"
לוחצים על הסריקה שרוצים למחוק.
לוחצים על מחיקה ומאשרים את הפעולה כשמוצגת בקשה.

gcloud

כדי למחוק סריקה של איכות הנתונים, משתמשים בפקודה gcloud dataplex datascans delete:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

מחליפים את המשתנים הבאים:

‫DATASCAN: השם של סריקת איכות הנתונים שרוצים למחוק.
‫LOCATION: האזור ב- Google Cloud שבו נוצרה סריקת איכות הנתונים.

C#‎

C#

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for DeleteDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void DeleteDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        DeleteDataScanRequest request = new DeleteDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Force = false,
        };
        // Make the request
        Operation<Empty, OperationMetadata> response = dataScanServiceClient.DeleteDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<Empty, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        Empty result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<Empty, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceDeleteDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            Empty retrievedResult = retrievedResponse.Result;
        }
    }
}

המשך

Go

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.


//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.DeleteDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#DeleteDataScanRequest.
	}
	op, err := c.DeleteDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	err = op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
}

Java

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.DeleteDataScanRequest;
import com.google.protobuf.Empty;

public class SyncDeleteDataScan {

  public static void main(String[] args) throws Exception {
    syncDeleteDataScan();
  }

  public static void syncDeleteDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      DeleteDataScanRequest request =
          DeleteDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setForce(true)
              .build();
      dataScanServiceClient.deleteDataScanAsync(request).get();
    }
  }
}

Python

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_delete_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.DeleteDataScanRequest(
        name="name_value",
    )

    # Make the request
    operation = client.delete_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

Ruby

כדי לבצע אימות ב-Knowledge Catalog, צריך להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

require "google/cloud/dataplex/v1"

##
# Snippet for the delete_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#delete_data_scan.
#
def delete_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::DeleteDataScanRequest.new

  # Call the delete_data_scan method.
  result = client.delete_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

REST

כדי למחוק סריקה של איכות הנתונים, משתמשים בשיטה dataScans.delete.

שימוש באיכות נתונים אוטומטית קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

לפני שמתחילים

תפקידים והרשאות נדרשים

תפקידים והרשאות של משתמשים

ההרשאות הנדרשות

תפקידים והרשאות של חשבון שירות ב-Knowledge Catalog

ההרשאות הנדרשות

דרישות רשת

הגדרת כללים לאיכות הנתונים

הגדרת כללים לאיכות הנתונים באמצעות סוגי כללים מובְנים

הגדרת כללים לאיכות הנתונים באמצעות כללי SQL בהתאמה אישית

הגדרת כללים לאיכות הנתונים באמצעות ה-CLI של gcloud

הגדרת זהות ההרצה

ההרשאות הנדרשות לזהויות הרצה בהתאמה אישית

המסוף

REST

יצירת סריקה של איכות הנתונים

המסוף

gcloud

C#‎

C#

המשך

Go

Java

Java

Node.js

Node.js

Python

Python

Ruby

Ruby

REST

סכימת הטבלה של נתוני הייצוא

הפעלת סריקה של איכות הנתונים

המסוף

gcloud

C#‎

C#

המשך

Go

Java

Java

Python

Python

Ruby

Ruby

REST

Airflow

ביטול משימה של סריקת איכות נתונים

תפקידים והרשאות נדרשים

ביטול משימה

המסוף

REST

צפייה בתוצאות הסריקה של איכות הנתונים

המסוף

gcloud

C#‎

C#

המשך

Go

Java

Java

Python

Python

Ruby

Ruby

REST

הצגת התוצאות שפורסמו

צפייה בתוצאות של סריקות קודמות

המסוף

gcloud

C#‎

C#

המשך

Go

Java

Java

Python

Python

Ruby

שימוש באיכות נתונים אוטומטית