מידע על תובנות מהנתונים לגבי נתונים מובְנים

תכונת תובנות מנתונים ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) יוצרת באופן אוטומטי תיאורים, תרשימי קשרים ושאילתות SQL מתוך המטא-נתונים של הטבלה ומערך הנתונים. המידע הזה עוזר לכם להבין במהירות את מבנה הנתונים, התוכן והקשרים בלי הגדרה ידנית נרחבת. כדי לבדוק את הנושא לעומק, אפשר לשאול שאלות המשך בקנבס נתונים.

כשמנתחי נתונים בוחנים טבלה חדשה ולא מוכרת, הם מתקשים לדעת איך להתחיל לכתוב שאילתות. הבעיה יכולה להיות קשורה לחוסר ודאות לגבי מבנה הנתונים ודפוסים מרכזיים בנתונים. התכונה "תובנות מנתונים" ב-Knowledge Catalog מאפשרת לכם לחקור ולהבין את הנתונים שלכם באופן אוטומטי. כך אפשר לגלות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי.

סקירה כללית

התכונה "תובנות מנתונים" משתמשת ב-Gemini כדי לנתח את המטא-נתונים וליצור את הדברים הבאים:

  • תיאורים: סיכומים שנוצרו על ידי AI שמסבירים את המטרה של קבוצת הנתונים או מרחב השמות, את מבנה הטבלה ואת הפרטים של עמודות ספציפיות.

  • שאילתות לדוגמה: שאילתות SQL מותאמות אישית שנוצרו במיוחד בשביל הסכימה והתוכן של קבוצת הנתונים, מרחב השמות או הטבלה.

  • תרשימי קשרים: תצוגות חזותיות שמראות את הקשרים והתלויות בין טבלאות שונות בקבוצת הנתונים או במרחב השמות.

משאבים נתמכים

תובנות מנתונים זמינות לסוגי הנתונים המובְנים הבאים:

  • מערכי נתונים, טבלאות ותצוגות ב-BigQuery
  • טבלאות Lakehouse ללא גבולות (כולל Apache Iceberg,‏ Apache Hive ו-SAP BDC)
  • טבלאות חיצוניות
  • טבלאות של קטלוג REST של Apache Iceberg
  • מרחבי שמות של Apache Iceberg (מיוצגים כמערכי נתונים ב-BigQuery)
  • טבלאות קטלוג של Apache Hive
  • טבלאות SAP Business Data Cloud (BDC)‎

דוגמה להרצת תובנות

התכונה "תובנות מנתונים" יוצרת באופן אוטומטי שאילתות בשפה טבעית ואת המקבילות שלהן ב-SQL על סמך המטא-נתונים של הטבלה.

נניח שיש טבלה בשם telco_churn עם הסכימה הבאה:

שם השדה סוג
CustomerID STRING
מגדר STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
חוזה STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
נטישה BOOLEAN

הנה כמה שאילתות לדוגמה שנוצרות על ידי תובנות מנתונים בטבלה הזו:

  • זהו את הלקוחות שנרשמו לכל שירותי הפרימיום והם לקוחות כבר יותר מ-50 חודשים.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • לזהות איזה ספק אינטרנט איבד הכי הרבה לקוחות.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • זיהוי שיעורי הנטישה לפי פלח בקרב לקוחות רווחיים.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

מצבים ליצירת תובנות מנתונים

כשיוצרים תובנות מנתונים, אפשר להשתמש בשני מצבים של Knowledge Catalog:

מצב תיאור Usage
יצירה ופרסום

שמירת תובנות מנתונים שנוצרו ב-Knowledge Catalog כהיבטים של מטא-נתונים. כדי לפרסם, אתם צריכים את ההרשאות הנדרשות. כשמשתמשים באפשרות Generate and publish, מתרחשות הפעולות הבאות:

  • מאחסן תיאורים של טבלאות ועמודות ב-Knowledge Catalog.
  • מתעד הצעות לשאילתות ולשאלות כהיבטים שאפשר לעשות בהם שימוש חוזר.
  • התובנות שפורסמו נגישות לכל המשתמשים שיש להם גישה מתאימה ל-Knowledge Catalog, וכך הידע הארגוני משותף.
  • מאפשר לערוך ולשמור תיאורים ישירות ב-Knowledge Catalog.

כדאי להשתמש במצב הזה כדי לתעד נתונים ברמת הארגון, שיישמרו ויהיה אפשר להשתמש בהם שוב, או כשיוצרים תהליכי עבודה של פיקוח שמבוססים על קטלוגים.
יצירה ללא פרסום

יוצר תובנות מנתונים, כמו תיאורים, שאלות בשפה טבעית ושאילתות SQL, לפי דרישה. האפשרות יצירה ללא פרסום לא מפרסמת תובנות ב-Knowledge Catalog.

כדאי להשתמש במצב הזה לניתוח מהיר ונקודתי, כדי לא להעמיס על הקטלוג.

תמחור

לפרטים על התמחור של התכונה הזו, ראו תמחור של Data Cloud Agent.

כדי לעקוב אחרי צריכת האסימונים במשימות סריקה של תובנות מנתונים וליצור מרכזי בקרה בהתאמה אישית ב-Cloud Monitoring, קראו את המאמר מעקב אחרי השימוש באסימונים של תובנות מנתונים.

מיקומים

אפשר להשתמש בתובנות מנתונים בכל המיקומים ב-BigQuery. מידע על המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם זמין במאמר המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם.

מגבלות

  • ללקוחות עם ריבוי עננים, הנתונים מעננים אחרים לא זמינים.
  • תובנות מנתונים לא תומכות בסוגי העמודות Geo או JSON.
  • הפעלת התובנות לא מבטיחה שהשאילתות יוצגו בכל פעם. כדי להגדיל את הסיכוי ליצור שאילתות מעניינות יותר, אפשר ליצור מחדש תובנות ב-BigQuery Studio.

המאמרים הבאים