מידע על פרופיל נתונים

יצירת פרופיל נתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשרת לחשב נתונים סטטיסטיים ברמת העמודה בטבלאות ב-BigQuery, ובטבלאות Apache Iceberg,‏ Apache Hive ו-SAP Business Data Cloud (BDC) Delta Lake שמנוהלות על ידי Google Cloud Lakehouse. סריקות פרופיל מדווחות על מדדים מרכזיים, כמו ערכים נפוצים, התפלגויות נתונים ואחוזי ערכים ריקים, כדי לעזור לכם להבין ולנתח את הנתונים. אתם יכולים גם להשתמש בתוצאות של יצירת הפרופילים כדי ליצור המלצות לכללים של איכות נתונים אוטומטית, שיעזרו לכם לשמור על אמינות הנתונים.

מודל קונספטואלי

ב-Knowledge Catalog אתם יכולים ליצור סריקת פרופיל נתונים כדי להבין טוב יותר את פרופיל הנתונים שלכם. סריקת פרופיל נתונים היא סוג של סריקת נתונים ב-Knowledge Catalog, שבה מתבצע ניתוח של טבלה ב-BigQuery או של טבלת Apache Iceberg, ‏Apache Hive או SAP BDC Delta Lake שמנוהלת על ידי Google CloudLakehouse, כדי ליצור תובנות סטטיסטיות.

בתרשים הבא מוצג איך Knowledge Catalog סורק נתונים כדי לדווח על מאפיינים סטטיסטיים.

בסריקת פרופיל נתונים, המערכת מנתחת את נתוני הטבלה כדי לדווח על מאפיינים סטטיסטיים.

סריקת פרופיל נתונים משויכת לטבלה אחת ב-BigQuery, או לטבלה אחת של Apache Iceberg,‏ Apache Hive או SAP BDC Delta Lake שמנוהלת על ידיGoogle Cloud Lakehouse, וסורקת את הטבלה כדי ליצור את תוצאות פרופיל הנתונים. סריקת פרופיל נתונים תומכת בכמה אפשרויות הגדרה, ואפשר להשתמש בתוצאות הסריקה כדי ליצור כללי אימות מומלצים לסריקות של איכות נתונים אוטומטית.

אפשרויות להגדרות אישיות

בקטע הזה מתוארות אפשרויות ההגדרה להרצת סריקות של פרופיל נתונים.

מצבי יצירת פרופילים

אפשר לבחור בין מצבי הפרופיילינג הבאים:

  • רגיל: זהו המצב שמוגדר כברירת מחדל. הוא מספק פרופיל מקיף וניתן להתאמה אישית על ידי סריקת הנתונים שלכם על סמך הדגימה והמסננים שאתם מציינים. מצב רגיל מתאים לניתוח מפורט ולמעקב לטווח ארוך אחרי מאפייני הנתונים.

  • ‫Lightweight (גרסת טרום-השקה (Preview)): במצב הזה, סריקות הפרופיל מתבצעות במהירות ומחזירות תוצאות תוך שניות. הוא מותאם למהירות ולחיסכון בעלויות, ותומך בתרחישים לדוגמה כמו:

    • ביסוס התשובות של סוכן ה-AI על מאפייני נתונים מיידיים
    • יצירה מראש של פרופילים בקנה מידה נרחב ובאופן חסכוני, לצורך איתור נתונים גלובליים
    • הפקת דוחות תקינות מהירים במהלך ניתוח נתונים אינטראקטיבי

    במצב הקל יש את המגבלות הבאות:

    • בניגוד למצב יצירת הפרופילים הרגיל, בסריקות קלות אי אפשר לשנות את ההיקף, המסננים או גודל הדגימה.
    • הוא לא תומך בתצוגות ובטבלאות חיצוניות של BigQuery.

אפשרויות תזמון

אתם יכולים לתזמן סריקת פרופיל נתונים בתדירות מוגדרת כדי ליצור פרופילים של טבלאות באופן אוטומטי, או להריץ את הסריקה על פי דרישה. אם משימת סריקה נמשכת יותר זמן מהצפוי, אפשר לבטל אותה.

זהות הביצוע

כברירת מחדל, קטלוג הידע משתמש בסוכן שירות מרכזי (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) כדי להריץ סריקות של פרופילי נתונים.

אתם יכולים גם לשנות את זהות ההפעלה שמוגדרת כברירת מחדל, על ידי ציון חשבון שירות בהתאמה אישית או שימוש בפרטי הכניסה של משתמש הקצה (EUC). יש לכך כמה יתרונות:

  • העיקרון של הרשאות מינימליות: כדי לצמצם את הסיכון של הקצאת הרשאות יתר, מקצים לחשבון שירות ייעודי רק את ההרשאות הספציפיות של ניהול זהויות והרשאות גישה (IAM) שנדרשות למשימות ספציפיות של יצירת פרופיל נתונים.
  • בקרת גישה פרטנית: הגדרת היקף ההרשאות למשאבים ספציפיים, כדי לאפשר שילוב עם כללי מדיניות גישה ברמת השורה וברמת העמודה ב-BigQuery.
  • יכולת ביקורת משופרת: אתם יכולים להקצות חשבונות שירות בהתאמה אישית או פרטי כניסה של משתמשים לסריקות ספציפיות, וכך לעקוב אחרי הפעילויות ולתעד אותן בצורה ברורה יותר ביומני הביקורת.
  • איחוד החיובים: כשמשתמשים בזהות מותאמת אישית להרצה, חיובי העיבוד והאחסון מרוכזים ישירות ב-BigQuery (בלי לעבור דרך המק"טים של Knowledge Catalog Premium). כך תוכלו לנצל את ההנחות הארגוניות ואת ההתחייבויות למשבצות של BigQuery.

במאמר הגדרת זהות להרצה מוסבר איך מגדירים זהות מותאמת אישית להרצה.

דרישות רשת

כדי להריץ סריקה, צריך להפעיל את גישה פרטית ל-Google ברשת המשנה של ה-VPC שבה משתמשים לסריקה. אם לא מציינים רשת משנה, צריך לוודא שברשת המשנה שמוגדרת כברירת מחדל מופעלת גישה פרטית ל-Google.

היקף

בסריקות פרופילים רגילות, אתם יכולים לציין את היקף הנתונים לסריקה:

  • טבלה מלאה: כל הטבלה נסרקת בסריקת פרופיל הנתונים. הדגימה, מסנני השורות ומסנני העמודות מופעלים על כל הטבלה לפני חישוב הנתונים הסטטיסטיים של הפרופילים.

  • מצטבר: נתונים מצטברים שאתם מציינים נסרקים בסריקת פרופיל הנתונים. מציינים עמודה מסוג Date או Timestamp בטבלה שתשמש להגדלה. בדרך כלל, זו העמודה שעל פיה הטבלה מחולקת למחיצות. הדגימה, מסנני השורות ומסנני העמודות מופעלים על הנתונים המצטברים לפני חישוב הנתונים הסטטיסטיים של הפרופיל.

סינון נתונים

בסריקות פרופילים רגילות, אפשר לסנן את הנתונים שרוצים לסרוק באמצעות מסנני שורות ומסנני עמודות. שימוש במסננים עוזר לצמצם את זמן הריצה והעלות, ולהחריג נתונים רגישים ומיותרים. סריקות פרופילים קלות לא תומכות במסנני עמודות ובמסנני שורות.

  • מסנני שורות: מסנני שורות מאפשרים לכם להתמקד בנתונים בתוך תקופה ספציפית או מפלח ספציפי, כמו אזור. לדוגמה, אפשר לסנן נתונים עם חותמת זמן לפני תאריך מסוים.

  • מסנני עמודות: מסנני עמודות מאפשרים לכלול עמודות ספציפיות בטבלה או להחריג אותן ממנה כדי להריץ את סריקת פרופיל הנתונים.

נתונים לדוגמה

בסריקות פרופילים רגילות, אתם יכולים לציין אחוז מהרשומות בנתונים שלכם שיידגמו להרצת סריקת פרופיל נתונים. יצירת סריקות של פרופיל נתונים על מדגם קטן יותר של נתונים יכולה לקצר את זמן הריצה ולהפחית את העלות של שליחת שאילתות לכל מערך הנתונים.

כמה סריקות של פרופילי נתונים

אפשר ליצור כמה סריקות של פרופילי נתונים בו-זמנית באמצעות מסוף Google Cloud . אפשר לבחור עד 100 טבלאות ממערך נתונים אחד וליצור סריקת פרופיל נתונים לכל מערך נתונים. מידע נוסף זמין במאמר יצירת כמה סריקות של פרופילי נתונים.

ייצוא של תוצאות הסריקה לטבלה ב-BigQuery

אתם יכולים לייצא את התוצאות של סריקת פרופיל נתונים לטבלה ב-BigQuery כדי לנתח אותן לעומק. כדי ליצור דוח בהתאמה אישית, אתם יכולים לקשר את נתוני הטבלה ב-BigQuery ללוח בקרה ב-Looker. כדי ליצור דוח מצטבר, אתם יכולים להשתמש באותה טבלת תוצאות בכמה סריקות.

תוצאות של יצירת פרופילים של נתונים

תוצאות יצירת פרופיל הנתונים מסכמות כל עמודה שנסרקה, כולל ערכים נפוצים, אופן חלוקת הערכים ואחוז הערכים הייחודיים והערכים מסוג null. בהתאם לסוג העמודה, התוצאות כוללות את הערכים הבאים:

סוג העמודה תוצאות של יצירת פרופילים של נתונים
עמודה מספרית
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. הוא יכול להיות קטן מ-10 אם מספר הערכים הייחודיים בעמודה קטן מ-10 (לא כולל ערכי null). לכל אחד מהערכים הנפוצים ביותר, מוצג אחוז ההופעה שלהם בנתונים שנסרקו בסריקה הנוכחית.
  • ממוצע, סטיית תקן, מינימום, רבעון תחתון משוער, חציון משוער, רבעון עליון משוער וערכים מקסימליים.
עמודת מחרוזת
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. אם מספר הערכים הייחודיים בעמודה קטן מ-10, יוצגו פחות מ-10 ערכים.
  • האורך הממוצע, המינימלי והמקסימלי של המחרוזת.
עמודות אחרות שאינן מקוננות (תאריך, שעה, חותמת זמן, בינארי וכו')
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. אם מספר הערכים הייחודיים בעמודה קטן מ-10, יוצגו פחות מ-10 ערכים.
כל העמודות האחרות של סוגי נתונים מורכבים או בתצוגת עץ (כמו Record, ‏ Array,‏ JSON) או כל עמודה במצב repeated.
  • אחוז הערכים הריקים.

התוצאות כוללות את מספר הרשומות שנסרקו בכל משימה.

דיווח ומעקב

אתם יכולים לעקוב אחרי התוצאות של יצירת פרופיל הנתונים ולנתח אותן באמצעות הדוחות והשיטות הבאים:

  • דוחות שפורסמו עם טבלת המקור בדפים של BigQuery ו-Knowledge Catalog

    אם מגדירים סריקת פרופיל נתונים כדי לפרסם את התוצאות ב-BigQuery וב-Knowledge Catalog, אפשר לראות את התוצאות של סריקת פרופיל הנתונים האחרונה בכרטיסייה Data profile של טבלת המקור גם ב-BigQuery וגם ב-Knowledge Catalog. אפשר לגשת לתוצאות האלה מכל פרויקט.

    דוחות שפורסמו.

  • דוח היסטורי לכל משרה

    בדף Data profiling & quality > סריקת פרופיל נתונים ב-Knowledge Catalog וב-BigQuery, אתם יכולים לראות את הדוחות המפורטים של המשימות האחרונות וההיסטוריות. המידע הזה כולל מידע על הפרופיל ברמת העמודה ואת ההגדרות שבהן השתמשתם.

    דוח היסטורי לכל משרה.

  • הכרטיסייה "ניתוח"

    בדף Data profiling & quality > סריקת פרופיל נתונים ב-Knowledge Catalog וב-BigQuery, אתם יכולים להשתמש בכרטיסייה Analysis כדי לראות את המגמות של נתון סטטיסטי מסוים בעמודה בכמה משימות סריקת פרופיל נתונים. לדוגמה, אם יש לכם סריקה מצטברת, אתם יכולים לראות את המגמה של ממוצע הערך לאורך זמן.

    הכרטיסייה "ניתוח".

  • יצירת לוח בקרה או ניתוח נתונים משלכם

    אם הגדרתם סריקת פרופיל נתונים כדי לייצא תוצאות לטבלה ב-BigQuery, אתם יכולים ליצור לוחות בקרה משלכם באמצעות כלים כמו Data Studio.

  • מעקב אחרי עלויות המחשוב של DCU בחיוב ב-Cloud

    החישוב של סריקת פרופיל הנתונים פועל בתשתית ללא שרת (serverless), ולא שולח מדדים של סדרות עתיות ל-Cloud Monitoring. כדי לעקוב אחרי עלויות ה-DCU של יצירת פרופיל נתונים ולשייך אותן לפי פרויקט, מזהה סריקה או טבלה, שולחים שאילתה לייצוא של החיוב ב-Cloud ב-BigQuery באמצעות תוויות המערכת של goog-dataplex-datascan-*. מידע נוסף זמין במאמר מעקב אחרי עלויות ה-DCU של Dataplex ושיוך שלהן באמצעות ייצוא של החיוב ב-Cloud.

מגבלות

  • אפשר להריץ סריקות של פרופילי נתונים רק בטבלאות BigQuery, ובטבלאות Apache Iceberg,‏ Apache Hive ו-SAP BDC Delta Lake שמנוהלות על ידיGoogle Cloud Lakehouse.
  • אפשר ליצור פרופיל נתונים לטבלאות ב-BigQuery עם כל סוגי העמודות, חוץ מ-BIGNUMERIC. סריקה שנוצרה לטבלה עם עמודה מסוג BIGNUMERIC תגרום לשגיאת אימות ולא תיווצר בהצלחה.
  • אי אפשר להריץ כמה סריקות של פרופיל נתונים בטבלאות Lakehouse.

תמחור

המאמרים הבאים