ניתוח הנתונים המאוחסנים באמצעות Gemini Cloud Assist

בדף הזה מוסבר איך להשתמש בעזרה מבוססת-AI באמצעות Gemini כדי להבין טוב יותר את סביבת מאגר הנתונים ב-Cloud Storage. כשמשתמשים ב-Gemini Cloud Assist, אפשר להזין הנחיות לגבי אופן הפעולה של Cloud Storage באופן כללי. כשמפעילים מינוי ל-Storage Intelligence, אפשר להזין הנחיות לגבי קטגוריות ואובייקטים ספציפיים.

אתם יכולים להשתמש במידע ש-Gemini Cloud Assist מספק כדי:

  • ניתוח דפוסים ומגמות בשימוש בנתונים

  • זיהוי הזדמנויות לחיסכון בעלויות האחסון

  • אופטימיזציה של הנתונים לצורכי אבטחה ותאימות

  • קבלת החלטות מושכלות לגבי ניהול הנתונים

‫Gemini לא משתמש בהנחיות או בתשובות שלו כנתונים לאימון המודלים שלו בלי אישור מפורש מכם. איך Gemini for Google Cloud ‎ משתמש בנתונים שלכם

הדף הזה מיועד למפתחים, למנתחי נתונים או למהנדסי מערכות מידע, לאדמינים של פלטפורמות, למפעילי כספים ולקציני ציות. ההנחה היא שאתם יודעים איך להשתמש ב-Cloud Storage ולשלוח שאילתות למערכי נתונים מקושרים.

על אילו הנחיות Gemini יכול לענות?

כדי להבין את מאגר הנתונים, אתם יכולים לתת ל-Gemini Cloud Assist פרומפט, שהיא הצהרה או שאלה בשפה טבעית.

כשמשתמשים ב-Gemini Cloud Assist בלי מינוי ל-Storage Intelligence, אפשר לשאול שאלות כלליות על Cloud Storage, כמו:

  • "איך מעבירים אובייקטים מסוג אחסון אחד לאחר?"

  • "איך מפעילים מחיקה זמנית בקטגוריה?"

אם מפעילים מינוי ל-Storage Intelligence, אפשר גם לשאול שאלות שקשורות להזדמנויות לחיסכון בעלויות, לאבטחה ולתאימות ולגילוי נתונים. ‫Gemini Cloud Assist יכול להשתמש במטא-נתונים שכלולים במערכי הנתונים של Storage Insights כדי ליצור תובנות, שהן תשובות להנחיות לגבי המטא-נתונים והשימוש בקטגוריות ובאובייקטים. אפשר להשתמש בהנחיות כמו:

  • הנחיות שקשורות לשימוש ולחיסכון בעלויות:

    • ‫"5 הקטגוריות הגדולות ביותר בלי ניהול מחזור חיים של אובייקטים"

    • ‫"5 הקטגוריות הגדולות ביותר שהתכונה Autoclass לא מופעלת בה"

  • הנחיות שקשורות לאבטחה ולתאימות:

    • ‫"5 הקטגוריות הגדולות ביותר ללא ניהול גרסאות של אובייקטים"

    • ‫"5 האובייקטים הגדולים ביותר שתאריך התפוגה של שמירת הנתונים שלהם חל ב-30 הימים הקרובים"

  • הנחיות שקשורות לחיפוש נתונים:

    • "קטגוריות עם נפח גדול של קבצים קטנים (כל אחד קטן מ-1MB)"

    • "אובייקטים בסוג האחסון Standard Storage שקטנים מ-50MB"

לפני שמתחילים

כדי להשתמש ב-Gemini Cloud Assist להנחיות כלליות שקשורות ל-Cloud Storage, קודם צריך להגדיר את Gemini Cloud Assist, כולל קבלת התפקידים הנדרשים.

הגדרת Gemini Cloud Assist

מוודאים ש-Gemini Cloud Assist מוגדר בפרויקט ב- Google Cloud .

אם אתם רוצים להזין הנחיות שקשורות לקטגוריות ולאובייקטים ספציפיים, אתם צריכים גם לבצע את השלבים הבאים:

  1. מפעילים את Storage Intelligence, שמאפשרת גישה לשימוש במערכי הנתונים של Storage Insights.

  2. יוצרים מערך נתונים של Storage Insights, ו-Gemini Cloud Assist ינתח אותו כדי לספק מידע על קטגוריות ואובייקטים ספציפיים.

    לחלופין, אם יש קבוצת נתונים קיימת שבה אתם רוצים להשתמש, אתם יכולים לקבל את תפקידי ה-IAM הנדרשים כדי לגשת לקבוצת הנתונים הקיימת.

  3. חשוב לוודא שלסוכן השירות של Storage Insights יש גישה למערך הנתונים ש-Gemini Cloud Assist ינתח. כך אפשר לקרוא ולנתח את מערך הנתונים.

הפעלת Storage Intelligence

מוודאים ש-Storage Intelligence מופעל בפרויקט, בתיקייה או בארגון שמכילים או יכילו את מערכי הנתונים שבהם Gemini Cloud Assist ישתמש כדי לענות להנחיות.

יצירת קבוצת נתונים

יוצרים מערך נתונים ומקשרים אותו ל-BigQuery.

הקצאת התפקידים הנדרשים כדי לגשת למערכי נתונים

בפעם הראשונה שמשתמש יוצר הגדרה של מערך נתונים, נוצר סוכן שירות של Storage Insights. השם של סוכן השירות פועל לפי הפורמט service-PROJECT_NUMBER@gcp-sa-storageinsights.iam.gserviceaccount.com, והוא מופיע בדף IAM במסוף Google Cloud כשמסמנים את התיבה Include Google-provided role grants.

כדי להשתמש ב-Gemini Cloud Assist להנחיות שקשורות למטא-נתונים של קטגוריות או אובייקטים, צריך לאפשר לסוכן השירות של Storage Insights לקרוא מערכי נתונים. מבקשים מהאדמין להקצות לסוכן השירות את התפקיד "צפייה בנתונים ב-BigQuery"‏ (roles/bigquery.dataViewer) בארגון, בתיקייה או בפרויקט שמכילים את מערך הנתונים שרוצים לנתח.

במאמר איך יוצרים סוכני שירות ומקצים להם תפקידים מוסבר איך מקצים תפקידים לסוכני שירות.

קבלת התפקידים הנדרשים כדי לגשת למערכי נתונים

כדי לקבל את ההרשאות שדרושות לקבלת תובנות לגבי מטא-נתונים של קטגוריות ואובייקטים, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט, בתיקייה או בארגון שמכילים את מערכי הנתונים שאתם רוצים לנתח:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

ניתוח של מאגר הנתונים באמצעות הנחיות בשפה טבעית

כדי להזין הנחיות ל-Gemini Cloud Assist:

  1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.

    כניסה ל-Storage Insights

  2. בסרגל הכלים, לוחצים על סמל הניצוץ (Gemini) כדי לפתוח את חלונית הצ'אט של Cloud Assist.

    מופיעה חלונית הצ'אט של Cloud Assist.

  3. בחלונית הצ'אט של Cloud Assist, כותבים הנחיה בשפה טבעית לגבי מאגר הנתונים. לדוגמה, אפשר להזין את הפרטים הבאים:

    Which is my largest bucket

  4. לוחצים על (יצירה).

  5. אם מופיעה בקשה, מזינים את שם מערך הנתונים ש-Gemini ינתח כדי ליצור את התשובה, ואז לוחצים על (Generate).

    אם הפעולה בוצעה ללא שגיאות, Gemini Cloud Assist יוצר תשובה דומה לזו:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:

    

    
Bucket name
Size

    

    
my-bucket
39.1 TB

    ‫Gemini Cloud Assist מחזיר גם את שאילתת ה-SQL הבסיסית שבה הוא משתמש. שאילתת ה-SQL שנוצרה דומה לשאילתה הבאה:

    SELECT bucket_id, bucket_size
FROM buckets
WHERE project_id = 'example-project'
ORDER BY bucket_size DESC
LIMIT 1;

אפשר גם להזין הצעות להנחיות:

  1. במסוף Google Cloud , נכנסים לדף Storage Insights ב-Cloud Storage.

    כניסה ל-Storage Insights

  2. בקטע הצעות להנחיות, בוחרים הצעה להנחיה. לדוגמה, הצעה להנחיה יכולה להיות: Storage size broken down by object content type.

  3. אם הפעולה בוצעה ללא שגיאות, Gemini Cloud Assist יוצר תשובה דומה לזו:

    Here's what I found by analyzing the data in EXAMPLE_DATASET:

    

    
Content type
Size

    

    
MP4
483.2 GB

    

    
MOV
239.1 GB

    

    
MP3
125.8 GB

    ‫Gemini Cloud Assist מחזיר גם את שאילתת ה-SQL הבסיסית שבה הוא משתמש. שאילתת ה-SQL שנוצרה דומה לשאילתה הבאה:

    SELECT
oa.contentType, ROUND(sum(oa.size) / (1024 * 1024 * 1024), 2) AS total_size_gb
FROM object_attributes_latest AS oa
GROUP BY oa.contentType
ORDER BY sum(oa.size) DESC;

מכסות לעיבוד נתונים

כשמריצים הנחיה באמצעות Gemini Cloud Assist כדי לקבל מידע על הנתונים ב-Cloud Storage, ‏Gemini Cloud Assist מעבד את מערכי הנתונים כדי לספק תשובות להנחיות. אם כדי לענות על הנחיה צריך לעבד פחות מ-800GB של נתונים, Gemini Cloud Assist מחזיר את שאילתת ה-SQL הבסיסית של ההנחיה ומריץ את השאילתה, ומחזיר את התשובה ב-SQL. אם כדי לענות על הנחיה צריך לעבד 800GB של נתונים או יותר, Gemini Cloud Assist מחזיר רק את שאילתת ה-SQL הבסיסית ולא מריץ את השאילתה. אתם יכולים להריץ את השאילתה בעצמכם באמצעות BigQuery.

‫Gemini Cloud Assist יכול לעבד עד 50TiB של נתונים בחודש לכל ארגון. אם הארגון שלכם יחרוג מהמגבלה הזו, Gemini Cloud Assist יחזיר את שאילתות ה-SQL הבסיסיות לכל הנחיה נוספת שתפעילו, אבל לא יריץ את השאילתות. אם תפעילו הנחיות נוספות, תתקבל הודעת התגובה Monthly Quota Exceeded.

מגבלות

  • כשמשתמשים בהנחיות כדי לנתח משאבים של Cloud Storage, אפשר לציין עד חמישה משאבים בהנחיה. לדוגמה: 5 largest buckets without Autoclass enabled. גם אם תכללו יותר מ-5 משאבים בהנחיה, Gemini Cloud Assist יוכל להחזיר תוצאות רק ל-5 המשאבים המובילים שתואמים לקריטריונים של ההנחיה.

  • ‫Gemini Cloud Assist משתמש במטא-נתונים של הקטגוריות והאובייקטים שנמצאים במערכי הנתונים של Storage Insights כדי לענות על הנחיות לגבי אחסון הנתונים שלכם.

    הנתונים הבאים לא זמינים במערכי הנתונים של Storage Insights, ולכן ל-Gemini Cloud Assist אין את ההקשר המתאים כדי להשיב להנחיות שקשורות לנתונים האלה:

    • נתוני עלות ספציפיים, לדוגמה: "כמה עולה הקטגוריה שלי לחודש".

    • נתוני פעילות, לדוגמה: "מהו זמן הגישה האחרון לאובייקט שלי".

    • נתונים על ההגדרות של תכונות מסוימות, כמו מחיקה זמנית. לדוגמה: "באילו קטגוריות לא מופעלת מחיקה זמנית".

    בנוסף, ל-Gemini Cloud Assist אין את ההקשר המתאים כדי לענות להנחיות שקשורות למידע על סדרות זמן. לדוגמה: "how much did my bucket grow in the last 3 weeks". הסיבה לכך היא ש-Gemini Cloud Assist קורא רק את קובץ ה-snapshot האחרון של מערך הנתונים.

המאמרים הבאים