מידע על תובנות מהנתונים לגבי נתונים מובְנים

התכונה "תובנות מנתונים" ב-Knowledge Catalog (לשעבר Dataplex Universal Catalog) יוצרת באופן אוטומטי תיאורים, תרשימי קשרים ושאילתות SQL מהמטא-נתונים של הטבלאות ומערכי הנתונים. המידע הזה עוזר לכם להבין במהירות את מבנה הנתונים, התוכן והקשרים בלי הגדרה ידנית נרחבת. כדי להמשיך לחקור, אתם יכולים לשאול שאלות המשך בקנבס נתונים.

כשמנתחי נתונים בוחנים טבלה חדשה ולא מוכרת, הם נתקלים לעיתים קרובות בקשיים בכתיבת שאילתות. הבעיה יכולה להיות קשורה לחוסר ודאות לגבי מבנה הנתונים ודפוסים מרכזיים בנתונים. התכונה "תובנות מנתונים" ב-Knowledge Catalog מאפשרת לכם לחקור ולהבין את הנתונים שלכם באופן אוטומטי. כך אפשר לגלות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי.

הערה: כדי לשלוח משוב על התכונה הזו, אפשר לשלוח אימייל לכתובת [e-mail].

סקירה כללית

התכונה "תובנות מנתונים" משתמשת ב-Gemini כדי לנתח את המטא-נתונים וליצור את הדברים הבאים:

• תיאורים: סיכומים שנוצרו על ידי AI שמסבירים את המטרה של קבוצת הנתונים או מרחב השמות, את מבנה הטבלה ואת הפרטים של עמודות ספציפיות.

• שאילתות לדוגמה: שאילתות GoogleSQL ו-Spark SQL מותאמות אישית, שנוצרו במיוחד בשביל הסכימה והתוכן של מערך הנתונים, מרחב השמות או הטבלה.

  הערה: אפשר להשתמש ב-Spark SQL רק בטבלאות של BigLake Iceberg REST Catalog.

• תרשימי קשרים: תצוגות חזותיות שמראות את הקשרים והתלויות בין טבלאות שונות במרחב השמות או בקבוצת הנתונים.

בנוסף, התובנות מהנתונים תומכות בהוראות מותאמות אישית (גרסת טרום-השקה). ההוראות המותאמות אישית מאפשרות למנהלי מדיניות מידע ארגונית להגדיר איך התובנות נוצרות, על ידי מתן יעדים עסקיים ספציפיים, ידע בתחום ואוצר מילים ארגוני.

משאבים נתמכים

תובנות מנתונים זמינות לסוגים הבאים של נתונים מובְנים:

• מערכי נתונים, טבלאות ותצוגות ב-BigQuery
• טבלאות Lakehouse ללא גבולות (כולל Apache Iceberg,‏ Apache Hive ו-SAP BDC)
• טבלאות חיצוניות
• טבלאות של קטלוג REST של Apache Iceberg
• מרחבי שמות של Apache Iceberg (מיוצגים כמערכי נתונים ב-BigQuery)
• טבלאות קטלוג של Apache Hive
• טבלאות SAP Business Data Cloud (BDC)‎

דוגמה להרצת תובנות

התכונה "תובנות מנתונים" יוצרת באופן אוטומטי שאילתות בשפה טבעית ואת המקבילות שלהן ב-SQL, על סמך המטא-נתונים של הטבלה. בטבלאות Iceberg, התובנות מהנתונים יוצרות גם מקבילות של Spark SQL.

דוגמה: תובנות לגבי SQL

נניח שיש טבלה בשם telco_churn עם הסכימה הבאה:

שם השדה	סוג
CustomerID	STRING
מגדר	STRING
Tenure	INT64
InternetService	STRING
StreamingTV	STRING
OnlineBackup	STRING
חוזה	STRING
TechSupport	STRING
PaymentMethod	STRING
MonthlyCharges	FLOAT
נטישה	BOOLEAN

הנה כמה דוגמאות לשאילתות שהתכונה "תובנות מנתונים" יוצרת לטבלה הזו:

• זהו את הלקוחות שנרשמו לכל שירותי הפרימיום והם לקוחות כבר יותר מ-50 חודשים.

  SELECT
    CustomerID,
    Contract,
    Tenure
  FROM
    agentville_datasets.telco_churn
  WHERE
    OnlineBackup = 'Yes'
    AND TechSupport = 'Yes'
    AND StreamingTV = 'Yes'
    AND Tenure > 50;
  

• לזהות באיזה שירות אינטרנט יש הכי הרבה לקוחות שנטשו.

  SELECT
    InternetService,
    COUNT(DISTINCT CustomerID) AS total_customers
  FROM
    agentville_datasets.telco_churn
  WHERE
    Churn = TRUE
  GROUP BY
    InternetService
  ORDER BY
    total_customers DESC
  LIMIT 1;
  

• לזהות את שיעורי נטישת הלקוחות לפי פלח בקרב לקוחות רווחיים.

  SELECT
    Contract,
    InternetService,
    Gender,
    PaymentMethod,
    COUNT(DISTINCT CustomerID) AS total_customers,
    SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
    (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
    * 100 AS churn_rate
  FROM
    agentville_datasets.telco_churn
  WHERE
    MonthlyCharges > 100
  GROUP BY
    Contract,
    InternetService,
    Gender,
    PaymentMethod;
  

דוגמה: תובנות של Spark SQL

נניח שיש טבלת Apache Iceberg בשם catalog_metrics עם הסכימה הבאה:

שם השדה	סוג
פרטים	STRUCT
creation_date	DATE
creation_time	TIMESTAMP
precise_measure	DOUBLE
מחיר	DOUBLE
מטא-נתונים	STRUCT
is_active	BOOLEAN

אלה כמה דוגמאות לשאילתות Spark SQL שנוצרות על ידי תובנות מנתונים בטבלה הזו:

• חשבו את הסכום המצטבר של precise_measure לפי הסדר של creation_time לכל details.field1.

  SELECT
    details.field1,
    creation_time,
    precise_measure,
    SUM(precise_measure) OVER (PARTITION BY details.field1 ORDER BY creation_time) AS cumulative_precise_measure
  FROM
    PROJECT_ID.DATASET_ID.catalog_metrics;
  

• קבלת המחיר המקסימלי לכל שילוב של details.field1 ו-details.field2, אבל רק לרשומות שנוצרו ב-30 הימים האחרונים.

  SELECT
    details.field1,
    details.field2,
    MAX(price) AS max_price
  FROM
    PROJECT_ID.DATASET_ID.catalog_metrics
  WHERE
    creation_date >= DATE_SUB(CURRENT_DATE(), 30)
  GROUP BY
    details.field1,
    details.field2;
  

• קבלת הערך הממוצע של metadata.value לפריטים שבהם is_active מוגדר כ-false.

  SELECT
    AVG(metadata.value) AS avg_value
  FROM
    PROJECT_ID.DATASET_ID.catalog_metrics
  WHERE
    is_active = false;
  

מצבים ליצירת תובנות מנתונים

כשיוצרים תובנות מנתונים, Knowledge Catalog מספק שני מצבים:

מצב	תיאור	שימוש
יצירה ופרסום	שמירת תובנות מנתונים שנוצרו ב-Knowledge Catalog כהיבטים של מטא-נתונים. צריכות להיות לכם ההרשאות הנדרשות כדי לפרסם. כשמשתמשים באפשרות Generate and publish, מתבצעות הפעולות הבאות: אחסון תיאורי הטבלה והעמודות ב-Knowledge Catalog. שומר שאילתות ושאלות מוצעות כהיבטים שאפשר להשתמש בהם שוב. התובנות שפורסמו נגישות לכל המשתמשים שיש להם גישה מתאימה ל-Knowledge Catalog, וכך הידע הארגוני משותף. מאפשרת לערוך ולשמור תיאורים ישירות ב-Knowledge Catalog.	כדאי להשתמש במצב הזה כדי לתעד נתונים ברמת הארגון, שיהיו קבועים וניתנים לשימוש חוזר, או כשבונים תהליכי עבודה של פיקוח שמבוססים על קטלוגים.
יצירה בלי פרסום	יוצר תובנות מנתונים, כמו תיאורים, שאלות בשפה טבעית ושאילתות SQL, לפי דרישה. האפשרות Generate without publishing לא מפרסמת תובנות ב-Knowledge Catalog.	כדאי להשתמש במצב הזה לניתוח מהיר ונקודתי, כדי לא להעמיס על הקטלוג.

תמחור

למחירון של סוכני Data Cloud

כדי לעקוב אחרי צריכת האסימונים במשימות סריקה של תובנות מנתונים וליצור מרכזי בקרה בהתאמה אישית ב-Cloud Monitoring, קראו את המאמר מעקב אחרי השימוש באסימונים של תובנות מנתונים.

מכסות ומגבלות

במאמר מכסות ומגבלות לתובנות מנתונים מוסבר איך לנהל את העלויות ולהגדיר מגבלות על השימוש בטוקנים של תובנות מנתונים.

מיקומים

אפשר להשתמש בתובנות מנתונים בכל המיקומים של BigQuery. במאמר איפה Gemini ב-BigQuery מעבד את הנתונים שלכם מוסבר איפה Gemini ב-BigQuery מעבד את הנתונים שלכם.

מגבלות

• ללקוחות עם ריבוי עננים, הנתונים מעננים אחרים לא זמינים.
• התכונה "תובנות מנתונים" לא תומכת בסוגי העמודות Geo או JSON.
• הפעלת התובנות לא מבטיחה שהשאילתות יוצגו בכל פעם. כדי להגדיל את הסיכוי ליצור שאילתות מעניינות יותר, אפשר ליצור מחדש תובנות ב-BigQuery Studio.

המאמרים הבאים

• איך יוצרים תובנות לגבי נתונים מובְנים ב-Knowledge Catalog
• איך יוצרים תובנות ב-BigQuery
• איך עוקבים אחרי השימוש בטוקנים של תובנות מנתונים
• איך יוצרים סריקת פרופיל נתונים
• איך כותבים שאילתות בעזרת Gemini ב-BigQuery