סקירה כללית על תובנות מנתונים

אתם יכולים להשתמש בתובנות לגבי נתונים כדי לבדוק נתונים לא מוכרים באמצעות תיאורים שנוצרו על ידי AI, גרפים של קשרים ושאילתות SQL. התכונה הזו של Gemini ב-BigQuery מנתחת את המטא-נתונים כדי לעזור לכם להבין במהירות את מבני הנתונים והתוכן. התובנות האלה מאפשרות לכם להתחיל את הניתוח בלי לבצע הגדרה ידנית מקיפה.

לפני שמתחילים

התובנות מנתונים נוצרות באמצעות Gemini ב-BigQuery. כדי להתחיל ליצור תובנות, קודם צריך להגדיר את Gemini ב-BigQuery.

סוגים של תובנות לגבי נתונים

אתם יכולים ליצור תובנות לגבי נתונים ברמת הטבלה או ברמת מערך הנתונים:

  • לגבי טבלאות: Gemini יוצר שאלות בשפה טבעית ואת המקבילות שלהן ב-SQL כדי לעזור לכם להבין את הנתונים בטבלה מסוימת. בעזרת תובנות לגבי טבלאות, אפשר לזהות דפוסי נתונים, אנומליות, ערכים חריגים או בעיות באיכות בטבלה. ‫Gemini גם יוצר תיאורים של הטבלה והעמודות.

  • לגבי מערכי נתונים ומרחבי שמות של Apache Iceberg: Gemini יוצר גרף אינטראקטיבי של קשרים שמציג קשרים בין טבלאות ושאילתות SQL בין טבלאות, כדי לעזור לכם להבין את הקשר בין הטבלאות במערך נתונים. באמצעות גרפים של קשרים אפשר לגלות איך הנתונים נגזרים, מה שיכול לעזור לפתור בעיות שקשורות לאיכות, לעקביות או לכפילות. באמצעות שאילתות בין טבלאות, אפשר למצוא קשרים רחבים יותר. לדוגמה, אפשר לחשב את ההכנסה לפי פלח לקוחות באמצעות נתונים מטבלת מכירות ומטבלת לקוחות.

    מרחבי שמות של Iceberg מיוצגים באופן טבעי כמערכי נתונים ב-BigQuery, ולכן אפשר ליצור תובנות ברמת מערך הנתונים ישירות במרחבי שמות של Iceberg.

כדי לבדוק את הנתונים לעומק, אפשר לשאול שאלות המשך בקנבס נתונים.

תובנות לגבי טבלאות

תובנות לגבי טבלאות עוזרות להבין את התוכן, האיכות והדפוסים בטבלה אחת של BigQuery. לדוגמה, אפשר ליצור שאילתות שמבצעות ניתוח סטטיסטי כדי לזהות דפוסים, אנומליות וערכים חריגים בנתונים. תובנות לגבי טבלאות יכולות לעזור לכם לזהות בעיות באיכות הנתונים, במיוחד אם סריקות של פרופיל הנתונים זמינות לטבלה. כשמפיקים תובנות לגבי טבלה, Gemini מספק תיאור של הטבלה, תיאורים של העמודות ופלט של סריקת הפרופיל על סמך המטא-נתונים של הטבלה. אלו האפשרויות הזמינות:

  • יצירת שאילתות: מציע שאלות בשפה טבעית ומספק את שאילתות ה-SQL המתאימות כדי לענות עליהן. כך תוכלו לזהות דפוסים, להעריך את איכות הנתונים ולבצע ניתוח סטטיסטי בלי לכתוב קוד SQL מאפס.
  • יצירת תיאורים: יצירת תיאורים לטבלה ולעמודות שלה. ‫Gemini משתמש בתוצאות של סריקת פרופיל (אם הן זמינות) כדי לעגן את התיאורים שנוצרו. אתם יכולים לבדוק, לערוך ולפרסם את התיאורים האלה ב-Knowledge Catalog כדי לשפר את יכולת הגילוי של הנתונים ואת התיעוד שלהם.

תובנות לגבי מערך נתונים

תובנות לגבי מערכי נתונים עוזרות להבין את הקשרים ואת נתיבי ההצטרפות בין כמה טבלאות במערך נתונים ב-BigQuery (או במרחב שמות של Iceberg שמיוצג כמערך נתונים), וכך מספקות תצוגה הוליסטית של התוכן. כשמפיקים תובנות ממערך נתונים או ממרחב שמות, Gemini מספק את הדברים הבאים:

  • תיאור מערך הנתונים: סיכום של מערך הנתונים שנוצר על ידי AI.
  • קשרים: מוצגת מפה חזותית ואינטראקטיבית שמראה את הקשרים בין הטבלאות במערך הנתונים. אפשר להציב את הסמן מעל חיבורים כדי לראות פרטים על הקשר, כמו מפתחות איחוד.
  • טבלת קשרים: מציגה תצוגת טבלה של קשרים בין טבלאות, כולל מפתחות זרים וצירופים משוערים. יחסי הגומלין יכולים להיות מוגדרים בסכימה (ממגבלות של מפתח ראשי ומפתח זר), מבוססים על שימוש (מיומני שאילתות) או ש-Gemini מסיק אותם על סמך שמות ותיאורים של טבלאות ועמודות.
  • המלצות לשאילתות: המערכת מציעה שאילתות SQL לדוגמה שמראות איך לצרף נתונים מטבלאות שונות, על סמך הקשרים שזוהו.

דוגמה לתובנות לגבי נתוני טבלה

נניח שיש טבלה בשם telco_churn עם עמודות כמו CustomerID,‏ Tenure,‏ InternetService,‏ Contract,‏ MonthlyCharges ו-Churn. בטבלה הבאה מתוארת הסכימה של הטבלה.

שם השדה סוג
CustomerID STRING
Gender STRING
Tenure INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contract STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT64
Churn BOOL

התובנות לגבי הנתונים יוצרות את השאילתות לדוגמה הבאות עבור הטבלה הזו:

  • זיהוי לקוחות שנרשמו לכל שירותי הפרימיום והם לקוחות כבר יותר מ-50 חודשים.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • לזהות את ספק שירותי האינטרנט עם הכי הרבה לקוחות שעברו לספק אחר.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  customers DESC
LIMIT 1;

דוגמה לתובנות מהנתונים של קבוצת נתונים

נניח שיש מערך נתונים שמכיל את הטבלאות order_items ו-inventory_items. תובנות לגבי מערך נתונים יכולות להסיק שorder_items.inventory_item_id קשור ל-inventory_items.id.

על סמך הקשרים האלה, Gemini עשוי ליצור את השאילתה הבאה בין הטבלאות:

זיהוי 5 קטגוריות המוצרים המובילות עם מחיר המבצע הממוצע הכי גבוה והעלות הממוצעת שלהן.

SELECT
  ii.product_category,
  AVG(oi.sale_price) AS avg_sale_price,
  AVG(ii.cost) AS avg_cost
FROM
  `ecommerce_data.order_items` AS oi
JOIN
  `ecommerce_data.inventory_items` AS ii
ON oi.inventory_item_id = ii.id
GROUP BY
  ii.product_category
ORDER BY
  avg_sale_price DESC
LIMIT 5;

תהליכי עבודה של תובנות מנתונים

בקטע הזה מתוארים תהליכי עבודה מרכזיים שמשתמשים עם תפקידים שונים יכולים לבצע באמצעות התכונה 'תובנות לגבי נתונים' ב-BigQuery.

תהליכי עבודה לצרכני נתונים

תהליכי העבודה האלה מתמקדים במשימות של מנתחי נתונים, אנליסטים עסקיים ומשתמשים אחרים שצריכים למצוא, להבין ולנתח נתונים.

  • הסבר על טבלה ב-BigQuery: תוכלו להבין במהירות את הסכימה, התוכן והשימושים האפשריים של טבלה ספציפית. אחרי שבוחרים טבלה ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

    • בודקים את תיאורי הטבלה והעמודות שנוצרו באופן אוטומטי.

    • כדי להבין את הניואנסים של הנתונים, כדאי לבדוק את השאלות המוצעות בשפה טבעית ואת שאילתות ה-SQL המקבילות.

    • כדי להתחיל בניתוח, אפשר להתאים ולהריץ שאילתות מוצעות.

    מידע נוסף על יצירה והצגה של תובנות לגבי טבלאות זמין במאמר יצירת תובנות לגבי טבלאות.

  • ניתוח של מערך נתונים או מרחב שמות שלם: גילוי הקשרים בין טבלאות במערך נתונים (או במרחב שמות של Iceberg שמיוצג כמערך נתונים) והבנת המבנה הכללי שלו. אחרי שבוחרים מערך נתונים ב-BigQuery Studio, אפשר לבצע את המשימות הבאות:

    • יצירה של תובנות לגבי מערך נתונים וצפייה בהן.

    • אפשר להשתמש בתרשים האינטראקטיבי של הקשרים כדי לראות את הקשרים בין הטבלאות.

    • ניתוח טבלת קשרי הגומלין כדי לזהות מפתחות לצירוף וסוגי חיבורים (מוגדרים בסכימה, מבוססים על שימוש, מוסקים על ידי LLM).

    • משתמשים בהצעות לשאילתות SQL חוצות טבלאות כדי לבצע שאילתות על כמה טבלאות בצורה יעילה.

    מידע נוסף על יצירה של תובנות לגבי מערך נתונים ועל הצגת התובנות האלה זמין במאמר יצירת תובנות לגבי מערך נתונים.

תהליכי עבודה למפיקי נתונים

תהליכי העבודה האלה מיועדים למהנדסי נתונים, למהנדסי ניתוח נתונים ולאנשים אחרים שיוצרים נכסי נתונים ומנהלים אותם.

  • יצירת מסמכי נתוני בסיס: יצירה ותחזוקה אוטומטיים של תיאורי מטא-נתונים חיוניים. אפשר לבצע את המשימות הבאות:

    • אחרי שיוצרים או משנים טבלה, אפשר להפעיל את התובנות לגבי הנתונים כדי ליצור תיאורים של הטבלה והעמודות. אפשר גם ליצור את התיאורים האלה בהיקף גדול באמצעות ה-API של Knowledge Catalog ליצירה אוטומטית של מטא נתונים.

    • בודקים ומשפרים את הטקסט שנוצר על ידי AI כדי לוודא שהוא מדויק מבחינה טכנית ורלוונטי לעסק.

    מידע נוסף על יצירת תיאורים של טבלאות ועמודות זמין במאמר יצירת תובנות לגבי טבלאות.

  • שיפור ההבנה של קבוצות הנתונים עבור המשתמשים: כדי להקל על הצרכנים להבין את קבוצות הנתונים שסופקו ולהשתמש בהן. אפשר לבצע את המשימות הבאות:

    • יצירת תובנות לגבי מערכי נתונים מרכזיים, במיוחד כאלה עם קשרים מורכבים.

    • כדי לקבל תובנות מדויקות ושימושיות יותר, חשוב לוודא שסריקות של פרופיל הנתונים מופעלות בטבלאות כדי לספק הקשר עשיר.

    מידע נוסף זמין במאמרים יצירת תובנות ממערך נתונים והתבססות על תוצאות של פרופיל נתונים.

תהליכי עבודה לאחראים על נתונים

תהליכי העבודה האלה תומכים באחראים על הנתונים ובצוותי ניהול הנתונים בשמירה על שלמות הנתונים והאמינות שלהם.

  • מאמתים ובודקים את המטא-נתונים שנוצרו על ידי AI: חשוב לוודא שהמטא-נתונים שנוצרו על ידי תובנות הנתונים מדויקים ומהימנים. אפשר לבצע את המשימות הבאות:

    • כדאי לבדוק באופן קבוע את התיאורים ואת קשרי הגומלין שנוצרו על ידי התכונה 'תובנות'.

    • השוואה בין קשרים שהוסקו בגרף הקשרים לבין מודלים של נתונים ולוגיקה עסקית קיימים.

    • בודקים את המטא-נתונים שנוצרו על ידי AI ומתקנים אי דיוקים.

    מידע נוסף זמין במאמרים בנושא יצירת תובנות לגבי טבלאות ויצירת תובנות לגבי מערכי נתונים.

תמחור

לפרטים על התמחור של התכונה הזו, ראו תמחור של Data Cloud Agent.

מכסות ומגבלות

מידע על מכסות ומגבלות של התכונה הזו זמין במאמר מכסות ל-Gemini ב-BigQuery.

מגבלות

אלו המגבלות שחלות על תובנות לגבי נתונים:

  • תובנות לגבי נתונים זמינות לטבלאות BigQuery, לטבלאות BigLake, לטבלאות חיצוניות, לתצוגות ולמרחבי שמות של Iceberg.

  • ללקוחות שמשתמשים בכמה עננים, הנתונים מעננים אחרים לא זמינים.

  • התובנות לגבי הנתונים לא תומכות בסוגי העמודות GEO או JSON.

  • התובנות לא תמיד יציגו שאילתות. כדי להגדיל את הסיכוי ליצור שאילתות מעוררות עניין, צריך להפעיל מחדש את צינור התובנות.

  • כדי ליצור תובנות לגבי טבלאות עם בקרת גישה ברמת העמודה והרשאות משתמש מוגבלות, צריך הרשאת קריאה לכל העמודות בטבלה. כדי להריץ את השאילתות שנוצרו, צריכות להיות לכם הרשאות מספיקות.

  • ‫Gemini יוצר תיאורים לעמודות בטבלה, עד 350 עמודות.

  • כשמדובר בתובנות לגבי מערך נתונים, אי אפשר לערוך את הקשרים בתרשים הקשרים.

  • יצירת תובנות חדשות לגבי מערך נתונים מסוים תגרום להחלפת התובנות הקודמות לגבי אותו מערך נתונים.

  • מדדי קהלים של קבוצת נתונים לא תומכים בקבוצות נתונים מקושרות.

מיקומים

אפשר להשתמש בתובנות לגבי נתונים בכל המיקומים של BigQuery. מידע על המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם זמין במאמר המיקום שבו Gemini ב-BigQuery מעבד את הנתונים שלכם.

המאמרים הבאים