מידע על פרופיל נתונים

‫Knowledge Catalog (לשעבר Dataplex Universal Catalog) מאפשר לכם להבין ולנתח את הנתונים שלכם בקלות רבה יותר, על ידי יצירת פרופילים באופן אוטומטי לטבלאות של BigQuery, ‏Google Cloud Lakehouse Iceberg REST Catalog, ‏SAP Business Data Cloud (BDC) Delta Lake ו-Hive.

יצירת פרופיל היא כמו קבלת דוח בריאות מפורט על הנתונים שלכם. הוא מספק נתונים סטטיסטיים חשובים, כמו ערכים נפוצים, אופן פריסת הנתונים (התפלגות) וכמה רשומות חסרות (ספירת ערכי null). המידע הזה מזרז את הניתוח.

פרופיל הנתונים ממליץ על כללים לבדיקת איכות הנתונים כדי לוודא שהנתונים נשארים אמינים.

מודל קונספטואלי

ב-Knowledge Catalog אתם יכולים ליצור סריקת פרופיל נתונים כדי להבין טוב יותר את פרופיל הנתונים שלכם. סריקת פרופיל נתונים היא סוג של סריקת נתונים ב-Knowledge Catalog,שבה מתבצע ניתוח של טבלה ב-BigQuery, ב- Google Cloud Lakehouse Iceberg REST Catalog, ב-SAP BDC Delta Lake או ב-Hive כדי ליצור תובנות סטטיסטיות.

בתרשים הבא מוצג איך Knowledge Catalog סורק נתונים כדי לדווח על מאפיינים סטטיסטיים.

בסריקת פרופיל נתונים, המערכת מנתחת את נתוני הטבלה כדי לדווח על מאפיינים סטטיסטיים.

סריקת פרופיל נתונים משויכת לטבלה אחת ב-BigQuery,ב-Lakehouse Iceberg REST Catalog, ב-SAP BDC Delta Lake או ב-Hive, והיא סורקת את הטבלה כדי ליצור את תוצאות פרופיל הנתונים. Google Cloudבסריקת פרופיל נתונים יש כמה אפשרויות הגדרה.

אפשרויות להגדרות אישיות

בקטע הזה מתוארות אפשרויות ההגדרה להרצת סריקות של פרופיל נתונים.

מצבי יצירת פרופילים

אפשר לבחור בין מצבי הפרופיילינג הבאים:

  • רגיל: זהו המצב שמוגדר כברירת מחדל. הוא מספק פרופיל מקיף וניתן להתאמה אישית על ידי סריקת הנתונים שלכם על סמך הדגימה והמסננים שאתם מציינים. מצב רגיל מתאים לניתוח מפורט ולמעקב לטווח ארוך אחרי מאפייני הנתונים.

  • ‫Lightweight (גרסת טרום-השקה (Preview)): במצב הזה, סריקות הפרופיל מתבצעות במהירות ומחזירות תוצאות תוך שניות. הוא מותאם למהירות ולחיסכון בעלויות, ותומך בתרחישים לדוגמה כמו:

    • ביסוס התשובות של סוכן ה-AI על מאפייני נתונים מיידיים
    • יצירה מראש של פרופילים בקנה מידה נרחב ובאופן חסכוני, לצורך איתור נתונים גלובליים
    • הפקת דוחות תקינות מהירים במהלך ניתוח נתונים אינטראקטיבי

    במצב הקל יש את המגבלות הבאות:

    • בניגוד למצב יצירת הפרופילים הרגיל, בסריקות קלות אי אפשר לשנות את ההיקף, המסננים או גודל הדגימה.
    • הוא לא תומך בתצוגות ובטבלאות חיצוניות של BigQuery.

אפשרויות תזמון

אתם יכולים לתזמן סריקת פרופיל נתונים בתדירות מוגדרת, או להריץ את הסריקה לפי דרישה. אם משימת סריקה נמשכת יותר זמן מהצפוי, אפשר לבטל אותה.

זהות הביצוע

כברירת מחדל, קטלוג הידע משתמש בסוכן שירות מרכזי (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) כדי להריץ סריקות של פרופילי נתונים.

אתם יכולים גם לשנות את זהות ההפעלה שמוגדרת כברירת מחדל, על ידי ציון חשבון שירות בהתאמה אישית או שימוש בפרטי הכניסה של משתמש הקצה (EUC). יש לכך כמה יתרונות:

  • העיקרון של הרשאות מינימליות: כדי לצמצם את הסיכון של הקצאת הרשאות יתר, מקצים לחשבון שירות ייעודי רק את ההרשאות הספציפיות של ניהול זהויות והרשאות גישה (IAM) שנדרשות למשימות ספציפיות של יצירת פרופיל נתונים.
  • בקרת גישה פרטנית: הגדרת היקף ההרשאות למשאבים ספציפיים, כדי לאפשר שילוב עם כללי מדיניות גישה ברמת השורה וברמת העמודה ב-BigQuery.
  • יכולת ביקורת משופרת: אתם יכולים להקצות חשבונות שירות בהתאמה אישית או פרטי כניסה של משתמשים לסריקות ספציפיות, וכך לעקוב אחרי הפעילויות ולתעד אותן בצורה ברורה יותר ביומני הביקורת.
  • איחוד החיובים: כשמשתמשים בזהות מותאמת אישית להרצה, חיובי העיבוד והאחסון מרוכזים ישירות ב-BigQuery (בלי לעבור דרך המק"טים של Knowledge Catalog Premium). כך תוכלו לנצל את ההנחות הארגוניות ואת ההתחייבויות למשבצות של BigQuery.

במאמר הגדרת זהות להרצה מוסבר איך מגדירים זהות מותאמת אישית להרצה.

דרישות רשת

כדי להריץ סריקה, צריך להפעיל את גישה פרטית ל-Google ברשת המשנה של ה-VPC שבה משתמשים לסריקה. אם לא מציינים רשת משנה, צריך לוודא שברשת המשנה שמוגדרת כברירת מחדל מופעלת גישה פרטית ל-Google.

היקף

בסריקות פרופילים רגילות, אתם יכולים לציין את היקף הנתונים לסריקה:

  • טבלה מלאה: כל הטבלה נסרקת בסריקת פרופיל הנתונים. הדגימה, מסנני השורות ומסנני העמודות מופעלים על כל הטבלה לפני חישוב הנתונים הסטטיסטיים של הפרופילים.

  • מצטבר: נתונים מצטברים שאתם מציינים נסרקים בסריקת פרופיל הנתונים. מציינים עמודה מסוג Date או Timestamp בטבלה שתשמש להגדלה. בדרך כלל, זו העמודה שעל פיה הטבלה מחולקת למחיצות. הדגימה, מסנני השורות ומסנני העמודות מופעלים על הנתונים המצטברים לפני חישוב הנתונים הסטטיסטיים של הפרופיל.

סינון נתונים

בסריקות פרופילים רגילות, אפשר לסנן את הנתונים שרוצים לסרוק באמצעות מסנני שורות ומסנני עמודות. שימוש במסננים עוזר לצמצם את זמן הריצה והעלות, ולהחריג נתונים רגישים ומיותרים. סריקות פרופילים קלות לא תומכות במסנני עמודות ובמסנני שורות.

  • מסנני שורות: מסנני שורות מאפשרים לכם להתמקד בנתונים בתוך תקופה ספציפית או מפלח ספציפי, כמו אזור. לדוגמה, אפשר לסנן נתונים עם חותמת זמן לפני תאריך מסוים.

  • מסנני עמודות: מסנני עמודות מאפשרים לכלול עמודות ספציפיות בטבלה או להחריג אותן ממנה כדי להריץ את סריקת פרופיל הנתונים.

נתונים לדוגמה

בסריקות פרופילים רגילות, אתם יכולים לציין אחוז מהרשומות בנתונים שלכם שיידגמו להרצת סריקת פרופיל נתונים. יצירת סריקות של פרופיל נתונים על מדגם קטן יותר של נתונים יכולה לקצר את זמן הריצה ולהפחית את העלות של שליחת שאילתות לכל מערך הנתונים.

כמה סריקות של פרופילי נתונים

אפשר ליצור כמה סריקות של פרופילי נתונים בו-זמנית באמצעות מסוף Google Cloud . אפשר לבחור עד 100 טבלאות ממערך נתונים אחד וליצור סריקת פרופיל נתונים לכל מערך נתונים. מידע נוסף זמין במאמר יצירת כמה סריקות של פרופילי נתונים.

ייצוא של תוצאות הסריקה לטבלה ב-BigQuery

אתם יכולים לייצא את התוצאות של סריקת פרופיל נתונים לטבלה ב-BigQuery כדי לנתח אותן לעומק. כדי ליצור דוח בהתאמה אישית, אתם יכולים לקשר את נתוני הטבלה ב-BigQuery ללוח בקרה ב-Looker. כדי ליצור דוח מצטבר, אתם יכולים להשתמש באותה טבלת תוצאות בכמה סריקות.

תוצאות של יצירת פרופילים של נתונים

תוצאות יצירת הפרופילים של הנתונים כוללות את הערכים הבאים:

סוג העמודה תוצאות של יצירת פרופילים של נתונים
עמודה מספרית
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. הוא יכול להיות קטן מ-10 אם מספר הערכים הייחודיים בעמודה קטן מ-10 (לא כולל ערכי null). לכל אחד מהערכים הנפוצים ביותר, מוצג אחוז ההופעה שלהם בנתונים שנסרקו בסריקה הנוכחית.
  • ממוצע, סטיית תקן, מינימום, רבעון תחתון משוער, חציון משוער, רבעון עליון משוער וערכים מקסימליים.
עמודת מחרוזת
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. אם מספר הערכים הייחודיים בעמודה קטן מ-10, יוצגו פחות מ-10 ערכים.
  • האורך הממוצע, המינימלי והמקסימלי של המחרוזת.
עמודות אחרות שאינן מקוננות (תאריך, שעה, חותמת זמן, בינארי וכו')
  • אחוז הערכים הריקים.
  • אחוז הערכים הייחודיים (הנפרדים) המשוערים.
  • ‫10 הערכים הנפוצים ביותר בעמודה. אם מספר הערכים הייחודיים בעמודה קטן מ-10, יוצגו פחות מ-10 ערכים.
כל העמודות האחרות של סוגי נתונים מורכבים או בתצוגת עץ (כמו Record, ‏ Array,‏ JSON) או כל עמודה במצב repeated.
  • אחוז הערכים הריקים.

התוצאות כוללות את מספר הרשומות שנסרקו בכל משימה.

דיווח ומעקב

אתם יכולים לעקוב אחרי התוצאות של יצירת פרופיל הנתונים ולנתח אותן באמצעות הדוחות והשיטות הבאים:

  • דוחות שפורסמו עם טבלת המקור בדפים של BigQuery ו-Knowledge Catalog

    אם מגדירים סריקת פרופיל נתונים כדי לפרסם את התוצאות ב-BigQuery וב-Knowledge Catalog, אפשר לראות את התוצאות של סריקת פרופיל הנתונים האחרונה בכרטיסייה Data profile של טבלת המקור גם ב-BigQuery וגם ב-Knowledge Catalog. אפשר לגשת לתוצאות האלה מכל פרויקט.

    דוחות שפורסמו.

  • דוח היסטורי לכל משרה

    בדף Data profiling & quality > סריקת פרופיל נתונים ב-Knowledge Catalog וב-BigQuery, אתם יכולים לראות את הדוחות המפורטים של המשימות האחרונות וההיסטוריות. המידע הזה כולל מידע על הפרופיל ברמת העמודה ואת ההגדרות שבהן השתמשתם.

    דוח היסטורי לכל משרה.

  • הכרטיסייה "ניתוח"

    בדף Data profiling & quality > סריקת פרופיל נתונים ב-Knowledge Catalog וב-BigQuery, אתם יכולים להשתמש בכרטיסייה Analysis כדי לראות את המגמות של נתון סטטיסטי מסוים בעמודה בכמה משימות סריקת פרופיל נתונים. לדוגמה, אם יש לכם סריקה מצטברת, אתם יכולים לראות את המגמה של ממוצע הערך לאורך זמן.

    הכרטיסייה "ניתוח".

  • יצירת לוח בקרה או ניתוח נתונים משלכם

    אם הגדרתם סריקת פרופיל נתונים כדי לייצא תוצאות לטבלה ב-BigQuery, אתם יכולים ליצור לוחות בקרה משלכם באמצעות כלים כמו Data Studio.

  • מעקב אחרי עלויות המחשוב של DCU בחיוב ב-Cloud

    החישוב של סריקת פרופיל הנתונים פועל בתשתית ללא שרת (serverless), ולא שולח מדדים של סדרות עתיות ל-Cloud Monitoring. כדי לעקוב אחרי עלויות ה-DCU של יצירת פרופיל נתונים ולשייך אותן לפי פרויקט, מזהה סריקה או טבלה, שולחים שאילתה לייצוא של החיוב ב-Cloud ב-BigQuery באמצעות תוויות המערכת של goog-dataplex-datascan-*. מידע נוסף זמין במאמר מעקב אחרי עלויות ה-DCU של Dataplex ושיוך שלהן באמצעות ייצוא של החיוב ב-Cloud.

מגבלות

  • אפשר להריץ סריקות של פרופיל נתונים רק בטבלאות של BigQuery,‏ Google Cloud, ‏ Lakehouse Iceberg REST Catalog, ‏ SAP BDC Delta Lake ו-Hive.
  • אפשר ליצור פרופיל נתונים לטבלאות ב-BigQuery עם כל סוגי העמודות, חוץ מ-BIGNUMERIC. סריקה שנוצרה לטבלה עם עמודה מסוג BIGNUMERIC תגרום לשגיאת אימות ולא תיווצר בהצלחה.
  • אי אפשר להריץ כמה סריקות של פרופיל נתונים בטבלאות Lakehouse.

תמחור

המאמרים הבאים