מערכי נתונים של Storage Insights

במאמר הזה מוסבר איך מערכי נתונים של Storage Insights עוזרים לכם לנהל את סביבת Cloud Storage באמצעות מתן נראות ותובנות לגבי הנתונים שלכם.

ערכות הנתונים של Storage Insights יוצרות אינדקס שאפשר להריץ עליו שאילתות של מטא-נתונים ופעילות בקטגוריות ובאובייקטים של Cloud Storage בארגון, בתיקיות, בפרויקטים או בקטגוריות ספציפיות. כדי להריץ שאילתות במטא-נתונים ובאינדקס הפעילות, צריך לקשר את מערך הנתונים ל-BigQuery. אחרי הקישור, תוכלו להשתמש במערך הנתונים המקושר ב-BigQuery כדי לנתח את הנתונים, להריץ עליהם שאילתות וליצור מהם תרשימים. מקשרים את מערך הנתונים ל-BigQuery כדי להפעיל שאילתות על המטא-נתונים ועל אינדקס הפעילות.

ערכת הנתונים של Storage Insights היא תכונה בלעדית שזמינה עם מינוי ל- Storage Intelligence. Google Cloud מציעה תקופת ניסיון של 30 יום ל-Storage Intelligence. אתם יכולים להפעיל את תקופת הניסיון כדי לקבל תובנות לגבי נפח האחסון הנדרש שלכם ב-Cloud Storage ולבצע פעולות. מידע נוסף על תקופת הניסיון זמין במאמר תקופת ניסיון של 30 יום לשימוש ב-Storage Intelligence.

סקירה כללית

מערך נתונים של Storage Insights מספק תמונת מצב מתגלגלת של מטא-נתונים, נתוני פעילות, שגיאות ואירועים של כל הפרויקטים, הקטגוריות והאובייקטים בהיקף המוגדר. הנתונים נאספים ומאונדקסים באופן רציף, וכך נוצר מערך נתונים שמציג תמונה מקיפה של מצב הנתונים, מאפשר לכם לעקוב אחרי משאבי Cloud Storage ולקבל תובנות שיעזרו לכם לנהל ולשפר את האחסון.

מערך הנתונים זמין כמערך נתונים מקושר ב-BigQuery, עם קבוצה של טבלאות עם הסכימות הבאות:

תרחישים לדוגמה לשימוש במערכי נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים תצוגות שמאפשרות לקבל תובנות מפורטות לגבי הנתונים שלכם ברמת הארגון. בקטעים הבאים מתוארים תרחישי שימוש במערכי נתונים.

הסבר על נפח האחסון

אתם יכולים לקבל תובנות לגבי הנתונים שלכם על ידי צפייה במטא-נתונים של פרויקטים, קטגוריות ואובייקטים. תצוגות המטא-נתונים עוזרות לכם במשימות הבאות:

  • לזהות חריגות, כמו נתונים באזור לא צפוי.
  • לזהות הזדמנויות לאופטימיזציה, כמו איתור קבצים זמניים או כפולים.
  • אפשר להריץ שאילתות כדי לקבל תובנות ספציפיות, כמו אובייקטים שנוצרו ב-24 השעות האחרונות או המספר הכולל של קבצים.PDF
  • אפשר להגיע לאובייקטים שרוצים לבצע עליהם פעולה על ידי חילוץ רשימת קידומות של קבוצת אובייקטים על סמך תוצאות השאילתה. במאמר פעולות אצווה באחסון מוסבר איך לבצע פעולות על מיליארדי אובייקטים בצורה חסרת שרת.

ניתוח דפוסי הפעילות

בתצוגת הפעילות של דלי, בתצוגת הפעילות של פרויקט ובתצוגת אירועים של אובייקט, אתם יכולים:

  • ניתוח דפוסים תפעוליים וזיהוי של מאגרי מידע לא פעילים.

  • כדאי לעקוב אחרי הפעולות שמתבצעות באובייקטים כדי לראות איך משתנה נפח האחסון לאורך זמן.

  • מיפוי של הפרויקטים, הקטגוריות והקידומות הפעילים ביותר.

הסבר על פעילות בדלי אזורי

בתצוגת הפעילות האזורית של המאגר מוצגים שדות כמו בקשה ותגובה בבייטים, שעוזרים לכם לראות את האזורים שמתקשרים לעיתים קרובות עם המאגר. ניתוח הפעילות בקטגוריה אזורית כדי לקבוע אם יש צורך בהעברת הקטגוריה:

  • אפשר לראות את סך תעבורת הנתונים היוצאת (egress) והנכנסת (ingress) של קטגוריה באזור מסוים כדי לזהות קטגוריות שמתאימות יותר לסוג אחסון אזורי (Regional) מאשר לסוג אחסון במספר אזורים (Multi-Regional).

  • הערכה של תעבורת הנתונים הכוללת בתוך כל האזורים וביניהם.

הערכת סטטוס האבטחה

אפשר להשתמש במטא-נתונים של קטגוריות ואובייקטים כדי לזהות אובייקטים שחשופים לציבור, סוגי הצפנה פעילים וציר זמן של תפוגה לשמירת נתונים. בקטעים הבאים מוסבר איך מערכי נתונים של Storage Insights עוזרים להעריך נקודות חולשה פוטנציאליות באבטחה.

זיהוי אובייקטים שגלויים לכולם

אתם יכולים להשתמש במערכי נתונים של Storage Insights כדי לזהות אובייקטים שנגישים לציבור. סטטוס הגישה הציבורית של האובייקטים עוזר לכם לשלוט בנתוני האחסון ולצמצם את הסיכון לזליגת נתונים, כי הוא מאפשר לכם לזהות את האובייקטים שחשופים לאינטרנט הציבורי.

סכימת המטא-נתונים של האובייקט מספקת את סטטוס הגישה הציבורית, מדד מחושב שעוזר לפשט את ניתוח האבטחה. כדי לקבוע את סטטוס הגישה הציבורית של אובייקט, מערכי הנתונים של Storage Insights מאמתים את כל ההגדרות הבאות:

כדי לעזור לכם לזהות את ההגדרה הספציפית שמעניקה גישה ציבורית, מערכי הנתונים של Storage Insights כוללים מידע על אובייקט שניתן לקריאה או לכתיבה באופן ציבורי. באובייקטים שקריאים באופן ציבורי, המידע הזה מציין אם ההרשאה נובעת מהאובייקט, מהקטגוריה או מרמת התיקייה המנוהלת. באובייקטים שניתן לכתוב בהם באופן ציבורי, הוא מספק פרטים לגבי הגישה שניתנה על ידי רשימת ACL של אובייקט, רשימת ACL של קטגוריה או מדיניות IAM.

אפשר להריץ שאילתות על סטטוס הגישה הציבורית של אובייקטים באמצעות BigQuery, ואז לעקוב אחרי האובייקטים האלה באמצעות לוחות בקרה של Looker כדי להציג רשימה של כל האובייקטים שניתן לקרוא או לכתוב אותם באופן ציבורי. מידע נוסף על שדות הסטטוס של גישה ציבורית זמין במאמר securityInsights בסכימת המטא-נתונים של האובייקט.

ביקורת של הגדרות ההצפנה

אתם יכולים להשתמש בתצוגות של מטא-נתונים של קטגוריות ואובייקטים כדי לבדוק את הגדרות ההצפנה. התצוגות האלה כוללות פרטי הצפנה ברמת הקטגוריה וברמת האובייקט, עם שדות כמו encryption במטא-נתונים של הקטגוריה ו-encryptionType במטא-נתונים של האובייקט. אתם יכולים להשתמש במידע הזה כדי:

  • כדי לוודא שהגדרתם הצפנה כברירת מחדל לדליים, בודקים את encryption.defaultEncryptionType ואת encryption.defaultKmsKeyName.
  • כדי לוודא שהאובייקטים תואמים למדיניות אכיפת ההצפנה, בודקים את encryptionType כדי לראות אם האובייקטים משתמשים במפתחות הצפנה בניהול Google, בניהול הלקוח או באספקת הלקוח.
  • זיהוי כל האובייקטים שהוצפנו באמצעות מפתח ספציפי של Cloud Key Management Service או מפתחות הצפנה באספקת הלקוח (CSEK).

מעקב אחרי מדיניות שמירת נתונים

אפשר להשתמש בתצוגות של מטא-נתונים של קטגוריות ואובייקטים כדי לעקוב אחרי מדיניות שמירת הנתונים. התצוגות האלה כוללות שדות כמו retentionExpirationTime במטא-נתונים של האובייקט ו-softDeletePolicy במטא-נתונים של הקטגוריה. אפשר להשתמש בשדות האלה כדי:

  • מעקב אחרי אובייקטים שמתקרב מועד התפוגה של השמירה שלהם.
  • מזהים את הדליים שבהם מופעלת מחיקה זמנית ועוקבים אחרי משך השמירה שלהם.
  • כדי לזהות אובייקטים במצב של מחיקה רכה, מסמנים את התיבה softDeleteTime.

האצת פתרון הבעיות

התצוגה object_events_view מכילה מידע על שגיאות שיכול לעזור בפתרון בעיות. בתצוגה הזו אפשר לבדוק פעולות שהסתיימו בשגיאות, לזהות את הסיבות לשגיאות ולגלות פרויקטים ודליים עם שיעורי שגיאות גבוהים. לדוגמה, אפשר לפתור בעיות שגיאה מסוג 429 על ידי זיהוי של דלי, פרויקט ושורש הבעיה שהושפעו, כמו מכסת משאבים או מגבלות רוחב פס.

ניתוח נתוני אובייקטים ומטא-נתונים באמצעות BigQuery

אפשר לנתח את הנתונים במערכי הנתונים של Storage Insights באמצעות פונקציות של BigQuery ObjectRef. לדוגמה, אתם יכולים ליצור שאילתות שיעזרו לכם לזהות מידע רגיש במסמכים או ליצור תיאורים של תמונות.

כדי לנתח את תוכן האובייקט, משתמשים בעמודה ref מטבלאות המטא-נתונים של האובייקט עם פונקציות ObjectRef. פרטים נוספים זמינים במאמר בנושא ניתוח נתוני אובייקטים ומטא-נתונים באמצעות BigQuery.

היתרונות של מערכי נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים מטא-נתונים ופרטי פעילות לגבי אחסון הנתונים שלכם בפורמט שאפשר להריץ עליו שאילתות ב-BigQuery. אלה היתרונות של שימוש במערכי נתונים של Storage Insights:

  • אפשר לנתח את נפח האחסון בהיקף שניתן להתאמה אישית כדי לקבל תובנות לגבי הארגון כולו, או לציין תיקיות, פרויקטים או קטגוריות לניתוח.

  • אחרי שהנתונים זמינים ב-BigQuery, אפשר להשתמש ב-Gemini כדי לנתח אותם באמצעות שאילתות SQL ושפה טבעית. פרטים נוספים זמינים במאמר בנושא ניתוח נתונים בעזרת Gemini.

  • אתם יכולים להמחיש את הנתונים שלכם באמצעות חיבור ללוח בקרה של Looker. אתם יכולים להשתמש בלוח הבקרה של Storage Intelligence כתבנית שמספקת דוגמה לתובנות שאפשר להפיק ממערכי נתונים. אתם יכולים להשתמש בתבנית כדי להתחבר למערכי הנתונים שלכם או להוסיף תרשימים בהתאמה אישית. מידע על אופן השימוש בתבנית זמין במאמר הוראות לחיבור למרכז הבקרה Storage Intelligence.

איך פועלים מערכי נתונים של Storage Insights

כדי להשתמש במערכי נתונים של Storage Insights, קודם צריך להגדיר מערך נתונים בפרויקט. מציינים את הארגון, התיקיות או הפרויקטים שרוצים לעקוב אחרי הנתונים שלהם. אחרי היצירה, צריך לתת את ההרשאות הנדרשות לסוכן השירות כדי ליצור את מערך הנתונים. אחר כך אפשר לקשר את מערך הנתונים ל-BigQuery כדי להריץ עליו שאילתות. אחרי ההגדרה, השירות אוסף ומטמיע באופן אוטומטי תמונות מצב יומיות של מטא-נתונים של אובייקטים, מטא-נתונים של קטגוריות, פעולות ושגיאות במופע BigQuery שבבעלות Cloud Storage. הנתונים נשמרים בהתאם לתקופת השמירה שהוגדרה, ומאוחסנים בצורה אופטימלית כדי לצמצם את עלויות האחסון והניתוח.

בהגדרות של מערך הנתונים, מגדירים אילו נתונים ייאספו, איפה הם יאוחסנו ואיך הם ינוהלו.

בטבלה הבאה מפורטים מאפייני המפתח שצריך להגדיר כשמגדירים קבוצת נתונים:

מאפיין (property) תיאור פרטים ומגבלות
היקף מערך הנתונים מציין את המשאבים (ארגונים, פרויקטים או תיקיות) שמכילים את הקטגוריות והאובייקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקטים או תיקיות בנפרד או באמצעות קובץ CSV. כל הגדרה מאפשרת רק היקף אחד של מערך נתונים. אפשר לציין עד 10,000 פרויקטים או תיקיות.
מסנני Bucket מסננים שמשמשים להכללה או להחרגה של דליים ספציפיים ממערך הנתונים.אפשר לסנן לפי שם הקטגוריה באמצעות ביטויים רגולריים או לסנן לפי מיקום הקטגוריה.
תקופת השמירה של מערך הנתונים מספר הימים שבהם מערך הנתונים מתעד ושומר מטא-נתונים ונתוני פעילות, כולל תאריך היצירה של מערך הנתונים. בטבלאות של נתוני פעילות, אפשר לשנות את תקופת שמירת הנתונים באמצעות המאפיין תקופת שמירת נתוני הפעילות. תקופת השמירה הזו היא חלון זמן מתגלגל, והיא יכולה להיות עד 90 ימים. מערכי הנתונים מתעדכנים עם מטא-נתונים חדשים כל 24 שעות. המערכת מוחקת באופן אוטומטי נתונים שנאספו מחוץ לחלון השמירה. לדוגמה, אם יוצרים מערך נתונים ב-1 באוקטובר 2023, עם חלון שמירה של 30 ימים. ב-30 באוקטובר, מערך הנתונים משקף את הנתונים מ-30 הימים האחרונים (1 באוקטובר עד 30 באוקטובר). ב-31 באוקטובר, מערך הנתונים משקף את הנתונים מ-2 באוקטובר עד 31 באוקטובר. אתם יכולים לשנות את חלון השמירה מתי שתרצו. כברירת מחדל, תקופת השמירה חלה על טבלאות המטא-נתונים וגם על טבלאות נתוני הפעילות, אם לא מציינים תקופת שמירה לנתוני הפעילות.
תקופת השמירה של נתוני הפעילות מספר הימים שבהם מערך הנתונים מתעד ושומר את נתוני הפעילות. אם מגדירים את הערך הזה, הוא מבטל את תקופת השמירה של מערך הנתונים. תקופת השמירה יכולה להיות עד 365 days. תקופת השמירה של נתוני הפעילות חלה על טבלאות של נתוני פעילות.
Location המיקום ב-BigQuery שבו מאוחסן מערך הנתונים והנתונים שמשויכים אליו. צריך לציין מיקום שנתמך על ידי BigQuery, כמו us-central1. מומלץ לבחור את המיקום של הטבלאות ב-BigQuery אם יש לכם טבלאות קיימות ב-BigQuery.
סוג סוכן השירות המדיניות הזו קובעת את ההיקף של סוכן השירות שקורא וכותב נתונים להגדרת מערך הנתונים. זה יכול להיות סוכן שירות בהיקף ההגדרה או סוכן שירות בהיקף הפרויקט סוכני שירות במסגרת הפרויקט יכולים לגשת למערכי נתונים ולכתוב בהם בכל הגדרות מערכי הנתונים בפרויקט. לדוגמה, אם יש לכם כמה הגדרות של מערכי נתונים בפרויקט, אתם צריכים לתת את ההרשאות הנדרשות לסוכן השירות ברמת הפרויקט רק פעם אחת. כך האפליקציה יכולה לקרוא ולכתוב מערכי נתונים בכל ההגדרות של מערכי הנתונים בפרויקט. כשמוחקים הגדרה של מערך נתונים, סוכן השירות בהיקף הפרויקט לא נמחק.

לסוכני שירות בהיקף ההגדרה יש גישה רק למערך הנתונים שנוצר על ידי ההגדרה הספציפית של מערך הנתונים, והם יכולים רק לכתוב בו. כלומר, אם יש לכם כמה הגדרות של מערכי נתונים, אתם צריכים להעניק הרשאות נדרשות לכל סוכן שירות בהיקף ההגדרה. כשמוחקים הגדרה של מערך נתונים, סוכן השירות בהיקף ההגדרה נמחק.

אחרי שמציינים את מאפייני ההגדרה ומעניקים את ההרשאות הנדרשות לסוכן השירות, מקשרים את מערך הנתונים ל-BigQuery כדי להריץ עליו שאילתות.

פרטים על המאפיינים שמגדירים כשיוצרים או מעדכנים הגדרה של מערך נתונים מופיעים במאמר בנושא המשאב DatasetConfigs במסמכי ה-API בפורמט JSON.

אחרי ההגדרה, השירות אוסף ומטמיע נתונים באופן אוטומטי במופע BigQuery בבעלות Cloud Storage. ציר הזמן של אכלוס הנתונים במערכי הנתונים הוא:

  • יכול להיות שיחלפו 24 עד 48 שעות עד שמערך הנתונים הראשוני ונתוני הפעילות של דליים או אובייקטים שנוספו לאחרונה יופיעו כמערך נתונים מקושר ב-BigQuery.

  • בדרך כלל נתוני הפעילות נכללים תוך ארבע שעות מהפעילות (לפעמים זמן האחזור עשוי להיות ארוך יותר).

  • תמונות המצב של המטא-נתונים (לפרויקטים, לדליים ולאובייקטים) מתעדכנות כל 24 שעות.

לתשומת ליבכם

כדאי להביא בחשבון את הנקודות הבאות לגבי הגדרות של קבוצות נתונים:

  • כשמשנים את השם של תיקייה בקטגוריה שמופעל בה מרחב שמות היררכי, שמות האובייקטים בקטגוריה הזו מתעדכנים. כשמערך הנתונים המקושר מבצע המרה של תמונות המצב האלה של האובייקטים, הן נחשבות כרשומות חדשות.

  • סיכומי הביקורת (checksums) CRC32C והגיבובים (hashes) MD5 לא זמינים בטבלה object metadata לאובייקטים שהוצפנו באמצעות מפתחות הצפנה בניהול הלקוח (CMEK).

  • מערכי נתונים נתמכים רק במיקומים הבאים ב-BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • כשמשתמשים במערכי נתונים של Storage Insights כדי לקבוע את סטטוס הגישה הציבורית לאובייקטים, חלות המגבלות הבאות:

    • סטטוס הגישה הציבורית לא זמין לאובייקטים בתיקיות מנוהלות.

    • כשקובעים את סטטוס הגישה הציבורית של אובייקט, מערכי הנתונים של Storage Insights לא מתייחסים להגדרות של VPC Service Controls או של סינון כתובות IP בקטגוריה.

המאמרים הבאים