מערכי נתונים של Storage Insights

במאמר הזה מוסבר איך מערכי נתונים של Storage Insights עוזרים לכם לנהל את סביבת Cloud Storage באמצעות מתן נראות ותובנות לגבי הנתונים שלכם.

ערכות הנתונים של Storage Insights יוצרות אינדקס שאפשר להריץ עליו שאילתות של מטא-נתונים ופעילות בקטגוריות ובאובייקטים של Cloud Storage בארגון, בתיקיות, בפרויקטים או בקטגוריות ספציפיות. כדי להריץ שאילתות על המטא-נתונים ועל אינדקס הפעילות, צריך לקשר את מערך הנתונים ל-BigQuery. לאחר מכן תוכלו להשתמש במערך הנתונים המקושר ב-BigQuery כדי לנתח את הנתונים, להריץ עליהם שאילתות וליצור מהם תרשימים. מקשרים את מערך הנתונים ל-BigQuery כדי להפעיל שאילתות על המטא-נתונים ועל אינדקס הפעילות.

ערכת הנתונים של Storage Insights היא תכונה בלעדית שזמינה עם מינוי ל- Storage Intelligence. Google Cloud מציעה תקופת ניסיון של 30 יום ל-Storage Intelligence. אתם יכולים להפעיל את תקופת הניסיון כדי לקבל תובנות לגבי נפח האחסון הנדרש ב-Cloud Storage ולבצע פעולות. מידע נוסף על תקופת הניסיון זמין במאמר תקופת ניסיון של 30 יום לשימוש ב-Storage Intelligence.

סקירה כללית

מערך נתונים של Storage Insights מספק תמונת מצב מתגלגלת של מטא-נתונים, נתוני פעילות, שגיאות ואירועים לכל הפרויקטים, הקטגוריות והאובייקטים בהיקף המוגדר. הנתונים נאספים ומאונדקסים באופן רציף, וכך נוצרת תצוגה מקיפה שעוזרת להבין את מצב הנתונים, לעקוב אחרי משאבי Cloud Storage ולקבל תובנות שיעזרו לכם לנהל ולבצע אופטימיזציה של אחסון הנתונים.

מערך הנתונים זמין כמערך נתונים מקושר ב-BigQuery, עם קבוצה של טבלאות עם הסכימות הבאות:

תרחישים לדוגמה לשימוש במערכי נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים תצוגות שמאפשרות לקבל תובנות מפורטות לגבי הנתונים שלכם ברמת הארגון. בקטעים הבאים מתוארים תרחישי שימוש במערכי נתונים.

הסבר על נפח האחסון

אתם יכולים לקבל תובנות לגבי הנתונים שלכם על ידי צפייה במטא-נתונים של פרויקטים, קטגוריות ואובייקטים. תצוגות המטא-נתונים עוזרות לכם במשימות הבאות:

  • לזהות אנומליות, כמו נתונים באזור לא צפוי.
  • לזהות הזדמנויות לאופטימיזציה, כמו איתור קבצים זמניים או כפולים.
  • אפשר להריץ שאילתות כדי לקבל תובנות ספציפיות, כמו אובייקטים שנוצרו ב-24 השעות האחרונות או המספר הכולל של קבצים.PDF
  • אפשר להגיע לאובייקטים שרוצים לבצע עליהם פעולה על ידי חילוץ רשימת קידומות של קבוצת אובייקטים על סמך תוצאות השאילתה. כדי ללמוד איך לבצע פעולות על מיליארדי אובייקטים בצורה בלי שרת (serverless), ראו פעולות אצווה באחסון.

ניתוח דפוסי הפעילות

בתצוגת הפעילות בדלי, בתצוגת הפעילות בפרויקט ובתצוגת אירועי האובייקטים, אפשר:

  • לנתח דפוסים תפעוליים ולזהות דליים לא פעילים.

  • כדאי לעקוב אחרי הפעולות שמתבצעות באובייקטים כדי לראות איך נפח האחסון משתנה לאורך זמן.

  • מיפוי של הפרויקטים, הקטגוריות והקידומות הפעילים ביותר.

הסבר על פעילות בדלי אזורי

בתצוגת הפעילות האזורית של הדלי מוצגים שדות כמו request ו-response bytes, שעוזרים לכם לראות את האזורים שמתקשרים לעיתים קרובות עם הדלי. ניתוח הפעילות בקטגוריה אזורית כדי לקבוע אם יש צורך בהעברת הקטגוריה:

  • אפשר לראות את התעבורה הכוללת של נתונים יוצאים (egress) ונכנסים (ingress) לקטגוריה באזור מסוים, כדי לזהות קטגוריות שמתאימות יותר לסוג אחסון אזורי ולא לסוג אחסון במספר אזורים.

  • הערכה של תעבורת הנתונים הכוללת בתוך כל האזורים וביניהם.

האצת פתרון בעיות

ניתוח של פרטי השגיאה בתצוגת אירועי האובייקט מאפשר לבדוק פעולות באובייקטים שהובילו לשגיאות, לנתח את הסיבה לשגיאה ולזרז את פתרון הבעיה. אפשר גם לזהות פרויקטים ודליים עם המספר הגדול ביותר של שגיאות כדי לקבוע את שיעורי ההצלחה והשגיאות. לדוגמה, אפשר לפתור בעיות של שגיאות429 על ידי זיהוי של דלי, פרויקט ושורש הבעיה שהושפעו, כמו מכסת משאבים או מגבלות רוחב פס.

היתרונות של מערכי נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים מטא-נתונים ופרטי פעילות לגבי נכסי האחסון שלכם בפורמט שאפשר להריץ עליו שאילתות ב-BigQuery. אלה היתרונות של שימוש במערכי נתונים של Storage Insights:

  • אפשר לנתח את נפח האחסון בהיקף שניתן להתאמה אישית כדי לקבל תובנות לגבי הארגון כולו, או לציין תיקיות, פרויקטים או קטגוריות לניתוח.

  • אחרי שהנתונים זמינים ב-BigQuery, אפשר להשתמש ב-SQL ובשאילתות בשפה טבעית עם Gemini כדי לנתח את הנתונים. פרטים נוספים זמינים במאמר בנושא ניתוח נתונים בעזרת Gemini.

  • אתם יכולים להמחיש את הנתונים שלכם על ידי חיבור ללוח בקרה של Looker. אתם יכולים להשתמש בלוח הבקרה של Storage Intelligence כתבנית שמספקת דוגמה לתובנות שאפשר להפיק ממערכי נתונים. אתם יכולים להשתמש בתבנית כדי להתחבר למערכי הנתונים שלכם או להוסיף תרשימים בהתאמה אישית. מידע על אופן השימוש בתבנית זמין במאמר הוראות לחיבור מרכז הבקרה Storage Intelligence.

איך פועלים מערכי נתונים של Storage Insights

כדי להשתמש במערכי נתונים של Storage Insights, קודם צריך להגדיר מערך נתונים בפרויקט. מציינים את הארגון, התיקיות או הפרויקטים שרוצים לעקוב אחרי הנתונים שלהם. אחרי היצירה, צריך לתת את ההרשאות הנדרשות לסוכן השירות כדי ליצור את מערך הנתונים. אחר כך אפשר לקשר את מערך הנתונים ל-BigQuery כדי להריץ עליו שאילתות. אחרי ההגדרה, השירות אוסף ומטמיע באופן אוטומטי תמונות מצב יומיות של מטא-נתונים של אובייקטים, מטא-נתונים של קטגוריות, פעולות ושגיאות במופע BigQuery שבבעלות Cloud Storage. הנתונים נשמרים בהתאם לתקופת השמירה שהוגדרה, ומאוחסנים בצורה אופטימלית כדי לצמצם את עלויות האחסון והניתוח.

בהגדרות של מערך הנתונים, אתם מגדירים אילו נתונים ייאספו, איפה הם יאוחסנו ואיך הם ינוהלו.

בטבלה הבאה מפורטים מאפייני המפתח שצריך להגדיר כשמגדירים קבוצת נתונים:

מאפיין (property) תיאור פרטים ומגבלות
היקף מערך הנתונים מציין את המשאבים (ארגונים, פרויקטים או תיקיות) שמכילים את הקטגוריות והאובייקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקטים או תיקיות בנפרד או באמצעות קובץ CSV. כל הגדרה מאפשרת רק היקף אחד של מערך נתונים. אפשר לציין עד 10,000 פרויקטים או תיקיות.
מסנני Bucket מסננים שמשמשים להכללה או להחרגה של דליים ספציפיים ממערך הנתונים.אפשר לסנן לפי שם הקטגוריה באמצעות ביטויים רגולריים או לסנן לפי מיקום הקטגוריה.
תקופת השמירה של מערך הנתונים מספר הימים שבהם מערך הנתונים מתעד ושומר את המטא-נתונים ונתוני הפעילות, כולל תאריך היצירה של מערך הנתונים. בטבלאות של נתוני פעילות, אפשר לשנות את תקופת השמירה של הנתונים באמצעות המאפיין תקופת השמירה של נתוני פעילות. תקופת השמירה הזו היא חלון זמן מתגלגל, והיא יכולה להיות עד 90 ימים. מערכי הנתונים מתעדכנים עם מטא-נתונים חדשים כל 24 שעות. המערכת מוחקת באופן אוטומטי נתונים שנאספו מחוץ לחלון השמירה. לדוגמה, אם יוצרים מערך נתונים ב-1 באוקטובר 2023, עם חלון שמירה של 30 ימים. ב-30 באוקטובר, מערך הנתונים משקף את הנתונים מ-30 הימים האחרונים (1 באוקטובר עד 30 באוקטובר). ב-31 באוקטובר, מערך הנתונים משקף את הנתונים מ-2 באוקטובר עד 31 באוקטובר. אפשר לשנות את חלון השמירה מתי שרוצים. כברירת מחדל, תקופת השמירה חלה על טבלאות המטא-נתונים וגם על טבלאות נתוני הפעילות, אם לא מציינים את תקופת השמירה של נתוני הפעילות.
תקופת השמירה של נתוני הפעילות מספר הימים שבהם מערך הנתונים מתעד ושומר את נתוני הפעילות. אם מגדירים את הערך הזה, הוא מבטל את תקופת השמירה של מערך הנתונים. תקופת השמירה יכולה להיות עד 365 days. תקופת השמירה של נתוני הפעילות חלה על טבלאות של נתוני פעילות.
Location המיקום ב-BigQuery שבו מאוחסן מערך הנתונים והנתונים שמשויכים אליו. חייב להיות מיקום שנתמך על ידי BigQuery, כמו us-central1. אנחנו ממליצים לבחור את המיקום של טבלאות BigQuery אם יש לכם טבלאות BigQuery קיימות.
סוג סוכן השירות המדיניות הזו קובעת את היקף ההרשאות של סוכן השירות שקורא וכותב נתונים להגדרת מערך הנתונים. זה יכול להיות סוכן שירות בהיקף ההגדרה או סוכן שירות בהיקף הפרויקט סוכני שירות בפרויקט יכולים לגשת למערכי נתונים ולכתוב בהם בכל ההגדרות של מערכי הנתונים בפרויקט. לדוגמה, אם יש לכם כמה הגדרות של מערכי נתונים בפרויקט, אתם צריכים להעניק את ההרשאות הנדרשות לסוכן השירות ברמת הפרויקט רק פעם אחת. כך היא יכולה לקרוא ולכתוב מערכי נתונים לכל ההגדרות של מערכי הנתונים בפרויקט. כשמוחקים הגדרה של מערך נתונים, סוכן השירות בהיקף הפרויקט לא נמחק.

לסוכני שירות בהיקף ההגדרה יש גישה רק למערך הנתונים שנוצר על ידי ההגדרה הספציפית של מערך הנתונים, והם יכולים לכתוב בו. המשמעות היא שאם יש לכם כמה הגדרות של מערכי נתונים, אתם צריכים להעניק הרשאות נדרשות לכל סוכן שירות בהיקף ההגדרה. כשמוחקים הגדרה של מערך נתונים, סוכן השירות בהיקף ההגדרה נמחק.

אחרי שמציינים את מאפייני ההגדרה ומעניקים את ההרשאות הנדרשות לסוכן השירות, מקשרים את מערך הנתונים ל-BigQuery כדי להריץ עליו שאילתות.

פרטים על המאפיינים שמגדירים כשיוצרים או מעדכנים הגדרה של מערך נתונים מופיעים במאמר בנושא המשאב DatasetConfigs במאמרי העזרה של ה-API בפורמט JSON.

אחרי ההגדרה, השירות אוסף ומטמיע נתונים באופן אוטומטי במופע BigQuery שבבעלות Cloud Storage. ציר הזמן של אכלוס הנתונים במערכי הנתונים הוא:

  • יכול להיות שיחלפו 24 עד 48 שעות עד שמערך הנתונים הראשוני ונתוני הפעילות של דליים או אובייקטים שנוספו לאחרונה יופיעו כמערך נתונים מקושר ב-BigQuery.

  • בדרך כלל נתוני הפעילות נכללים תוך ארבע שעות מהפעילות (לפעמים זמן האחזור עשוי להיות גבוה יותר).

  • תמונות המצב של המטא-נתונים (לפרויקטים, לדליים ולאובייקטים) מתעדכנות כל 24 שעות.

לתשומת ליבכם

כדאי להביא בחשבון את הנקודות הבאות לגבי הגדרות של קבוצות נתונים:

  • כשמשנים את השם של תיקייה בקטגוריה עם מרחב שמות היררכי, השמות של האובייקטים בקטגוריה הזו מתעדכנים. כשמערך הנתונים המקושר מבצע המרה של תמונות המצב האלה של האובייקטים, הן נחשבות לרשומות חדשות.

  • סיכומי הביקורת (checksums) CRC32C והגיבובים (hashes) MD5 לא זמינים בטבלה object metadata לאובייקטים שהוצפנו באמצעות מפתחות הצפנה בניהול הלקוח (CMEK).

  • מערכי נתונים נתמכים רק במיקומים הבאים ב-BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

המאמרים הבאים