מערכי נתונים של Storage Insights

בעזרת מערכי הנתונים של Storage Insights אתם יכולים לנהל את המשאבים שלכם ב-Cloud Storage. לשם כך, המערכת יוצרת אינדקס של מטא-נתונים ופעילות שאפשר לשלוח אליו שאילתות, בארגונים, בתיקיות, בפרויקטים או בקטגוריות ספציפיות. אחרי שמקשרים את מערך הנתונים ל-BigQuery, אפשר לנתח את נתוני הקטגוריות והאובייקטים, להריץ עליהם שאילתות וליצור להם תצוגות חזותיות.

תוכן וסכימות של מערכי נתונים

מערך נתונים של Storage Insights מספק תמונת מצב מתגלגלת של מטא-נתונים, נתוני פעילות, שגיאות ואירועים לכל הפרויקטים, הקטגוריות והאובייקטים בהיקף שהוגדר. קבוצת הנתונים אוספת מידע ומוסיפה אותו לאינדקס כדי לספק תצוגה של הנתונים. בתצוגה הזו אתם יכולים לעקוב אחרי המשאבים שלכם ב-Cloud Storage ולנהל את נכסי האחסון.

מערך הנתונים זמין כמערך נתונים מקושר ב-BigQuery, עם קבוצת טבלאות עם הסכימות הבאות:

תרחישים לדוגמה לשימוש בקבוצות נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים תצוגות לקבלת תובנות מפורטות על הנתונים ברמת הארגון. בקטעים הבאים מתוארים תרחישים לדוגמה של מערכי נתונים.

הסבר על נפח האחסון

כדי לקבל תובנות לגבי הנתונים, אתם יכולים להציג את המטא-נתונים של הפרויקט, הקטגוריה והאובייקט. תצוגות המטא-נתונים עוזרות לכם לבצע את המשימות הבאות:

  • לזהות חריגות, כמו נתונים באזור לא צפוי.
  • לזהות הזדמנויות לאופטימיזציה, כמו איתור קבצים זמניים או כפולים.
  • שאילתות לתובנות ספציפיות, כמו אובייקטים שנוצרו ב-24 השעות האחרונות או המספר הכולל של קובצי PDF.
  • כדי להציג פירוט של אובייקטים שרוצים לבצע בהם פעולה, מחלצים רשימת קידומות של קבוצת אובייקטים על סמך תוצאות השאילתה.

ביצוע פעולות בכמות גדולה באמצעות מסננים של מערכי נתונים

כשמשלבים את מערכי הנתונים של Storage Insights עם פעולות רבות על פריטי אחסון, אפשר לבצע פעולות בקנה מידה נרחב על אובייקטים שזוהו במערכי הנתונים. השילוב הזה מאפשר לכם לבחור קבוצות משנה ספציפיות של נתונים מכמה קטגוריות ברמת הפרויקט, ולהחיל טרנספורמציות על סמך שדות בקבוצת הנתונים. הגישה הזו מייתרת את הצורך בקובצי מניפסט ידניים.

בחירת אובייקט ישירה

אתם יכולים להשתמש בדגלי סינון של Common Expression Language ‏ (CEL) (--bucket-filters ו---object-filters) ישירות ב-Google Cloud CLI כדי לבחור ולעבד אובייקטים בקנה מידה נרחב. הבחירה הישירה הזו מאפשרת לכם להעריך את השדות של קבוצת הנתונים ולהריץ פעולות באצווה בכל הפרויקט. השיטה הזו מייתרת את הצורך ליצור קובצי מניפסט בפורמט CSV באופן ידני. אתם לא צריכים לשלוח שאילתות למערך הנתונים ב-BigQuery, לייצא את תוצאות החיפוש ולהעלות מניפסטים לקטגוריות שלכם. ההיקף הזה ברמת הפרויקט מאפשר להריץ משימה אחת באצווה על עד 1,000 קטגוריות.

לדוגמה, אפשר לציין קריטריונים לסינון ישירות ב-Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

למידע על השדות והאופרטורים הזמינים שאפשר להשתמש בהם במסננים האלה, עיינו בחומר העזר בנושא מסנני CEL.

ניתוח דפוסי הפעילות

בעזרת תצוגת הפעילות בקטגוריה, תצוגת הפעילות בפרויקט ותצוגת האירועים באובייקט, אתם יכולים:

  • לנתח דפוסי פעולה ולזהות קטגוריות לא פעילות.

  • מעקב אחרי הפעולות באובייקטים כדי לראות איך נכסי האחסון משתנים לאורך זמן.

  • ממפים את הפרויקטים, הקטגוריות והקידומות הכי פעילים.

הסבר על פעילות בקטגוריות אזוריות

בתצוגה של הפעילות האזורית בקטגוריה מוצגים שדות כמו בייטים של בקשות ותגובות, שמראים את האזורים שיוצרים אינטראקציה עם הקטגוריה בתדירות גבוהה. כדי להחליט אם צריך להעביר את הקטגוריה למיקום גיאוגרפי אחר, מנתחים את הפעילות בקטגוריה האזורית:

  • כדי לזהות קטגוריות שמתאימות יותר לסוג אחסון אזורי ולא לסוג אחסון במספר אזורים, אפשר להציג את סך כל תעבורת הנתונים הנכנסת והיוצאת של קטגוריה באזור מסוים.

  • להעריך את תעבורת הנתונים הכוללת בתוך כל האזורים וביניהם.

הערכת סטטוס האבטחה

אתם יכולים להשתמש במטא-נתונים של קטגוריות ואובייקטים כדי לזהות אובייקטים שחשופים לכולם, סוגי הצפנה פעילים ולוחות זמנים לתפוגה של שמירת נתונים. בקטעים הבאים מוסבר איך מערכי הנתונים של Storage Insights עוזרים לכם להעריך נקודות חולשה פוטנציאליות באבטחה.

זיהוי אובייקטים שגלויים לכולם

אתם יכולים להשתמש במערכי הנתונים של Storage Insights כדי לזהות אובייקטים שנגישים לכולם. סטטוס הגישה הציבורית של האובייקטים עוזר לכם לנהל את נתוני האחסון ולצמצם את הסיכונים לזליגת נתונים, כי הוא מאפשר לכם לזהות את האובייקטים שחשופים לאינטרנט הציבורי.

סכימת המטא-נתונים של האובייקט מספקת את סטטוס הגישה הציבורית, מדד מחושב שעוזר לפשט את ניתוח האבטחה. כדי לקבוע את סטטוס הגישה הציבורית של אובייקט, מערכי הנתונים של Storage Insights מאמתים את כל ההגדרות הבאות:

כדי לעזור לכם לזהות את ההגדרה הספציפית שמעניקה גישה ציבורית, מערכי הנתונים של Storage Insights כוללים מידע על אובייקטים שניתנים לקריאה או לכתיבה באופן ציבורי. באובייקטים שניתנים לקריאה באופן ציבורי, המידע הזה מציין אם מקור ההרשאה הוא ברמת האובייקט, הקטגוריה או התיקייה המנוהלת. באובייקטים שניתנים לכתיבה באופן ציבורי, מפורט אם הגישה ניתנת על ידי רשימת ACL של אובייקט, רשימת ACL של קטגוריה או מדיניות IAM.

אתם יכולים לשלוח שאילתות על סטטוס הגישה הציבורית של אובייקטים באמצעות BigQuery, ואז לעקוב אחרי האובייקטים האלה באמצעות לוחות הבקרה של Looker כדי להציג את כל האובייקטים שניתן לקרוא או לכתוב באופן ציבורי. למידע נוסף על שדות הסטטוס של הגישה הציבורית, קראו את המאמר securityInsights בסכימה של המטא-נתונים של האובייקט.

בדיקת הגדרות ההצפנה

אתם יכולים להשתמש בתצוגות של מטא-נתונים של קטגוריות ואובייקטים כדי לבדוק את הגדרות ההצפנה. התצוגות האלה כוללות מידע על הצפנה גם ברמת הקטגוריה וגם ברמת האובייקט, עם שדות כמו encryption במטא-נתונים של הקטגוריה ו-encryptionType במטא-נתונים של האובייקט. אתם יכולים להשתמש במידע הזה כדי:

  • כדי לוודא שבקטגוריות מוגדרת הצפנה כברירת מחדל, בודקים את encryption.defaultEncryptionType ואת encryption.defaultKmsKeyName.
  • כדי לוודא שהאובייקטים עומדים בדרישות של מדיניות האכיפה של ההצפנה, בודקים את encryptionType ורואים אם הם מוצפנים באמצעות מפתחות הצפנה בניהול Google, בניהול הלקוח או מפתחות הצפנה מטעם הלקוח.
  • זיהוי כל האובייקטים שמוצפנים באמצעות מפתח ספציפי של Cloud Key Management Service או באמצעות מפתחות הצפנה באספקת הלקוח (CSEK).

מעקב אחרי כללי מדיניות שמירת נתונים

אתם יכולים להשתמש בתצוגות של מטא-נתונים של קטגוריות ואובייקטים כדי לעקוב אחרי כללי מדיניות שמירת הנתונים. התצוגות האלה כוללות שדות כמו retentionExpirationTime במטא-נתונים של אובייקטים ו-softDeletePolicy במטא-נתונים של קטגוריות. אתם יכולים להשתמש בשדות האלה כדי:

  • מעקב אחרי אובייקטים שמתקרבים למועד התפוגה של שמירת הנתונים.
  • מזהים קטגוריות שבהן מופעלת מחיקה זמנית ועוקבים אחרי משך השמירה שלהן.
  • כדי לזהות אובייקטים במצב של מחיקה זמנית, בודקים את softDeleteTime.

פתרון בעיות מהיר יותר

התצוגה object_events_view מכילה מידע על שגיאות שיכול לעזור בפתרון בעיות. אתם יכולים להשתמש בתצוגה הזו כדי לבדוק פעולות שהובילו לשגיאות, לזהות את הסיבות לשגיאות ולזהות פרויקטים וקטגוריות עם שיעורי שגיאות גבוהים. לדוגמה, אתם יכולים לפתור שגיאות מסוג 429 על ידי זיהוי הקטגוריה והפרויקט שמושפעים מהשגיאה, וזיהוי שורש הבעיה, כמו מכסת משאבים או מגבלות רוחב פס.

ניתוח נתונים ומטא-נתונים של אובייקטים באמצעות BigQuery

אתם יכולים לנתח את הנתונים במערכי הנתונים של Storage Insights באמצעות פונקציות ObjectRef של BigQuery. לדוגמה, אתם יכולים ליצור שאילתות שיעזרו לזהות מידע רגיש במסמכים או ליצור תיאורי תמונות.

כדי לנתח את תוכן האובייקט, משתמשים בעמודה ref מטבלאות המטא-נתונים של האובייקטים עם פונקציות ObjectRef. פרטים נוספים זמינים במאמר ניתוח נתונים ומטא-נתונים של אובייקטים באמצעות BigQuery.

היתרונות של מערכי נתונים של Storage Insights

מערכי הנתונים של Storage Insights מספקים מטא-נתונים ומידע על הפעילות במאגר האחסון שלכם, בפורמט שניתן לשאילתה ב-BigQuery. אלה היתרונות של שימוש במערכי נתונים של Storage Insights:

  • לנתח את נכסי האחסון בהיקף שניתן להתאמה אישית כדי לקבל תובנות ברמת הארגון, או לציין תיקיות, פרויקטים או קטגוריות לניתוח.

  • כשהנתונים זמינים ב-BigQuery, אתם יכולים להשתמש ב-SQL ובשאילתות בשפה טבעית עם Gemini כדי לנתח את הנתונים. פרטים נוספים זמינים במאמר ניתוח נתונים בעזרת Gemini.

  • אתם יכולים להמחיש את הנתונים שלכם על ידי התחברות למרכז הבקרה של Looker. אתם יכולים להשתמש בלוח הבקרה של Storage Intelligence כתבנית שמספקת דוגמה לתובנות שאפשר להפיק ממערכי נתונים. אתם יכולים להשתמש בתבנית כדי להתחבר למערכי הנתונים שלכם או להוסיף תרשימים בהתאמה אישית. הוראות לחיבור מרכז הבקרה של Storage Intelligence

איך פועלות קבוצות הנתונים של Storage Insights

כדי להשתמש במערכי נתונים של Storage Insights, קודם צריך להגדיר מערך נתונים בפרויקט. מציינים את הארגון, התיקיות או הפרויקטים שרוצים לעקוב אחרי הנתונים שלהם. אחרי שיוצרים את סוכן השירות, נותנים לו את ההרשאות הנדרשות כדי ליצור את מערך הנתונים. לאחר מכן תוכלו לקשר את מערך הנתונים ל-BigQuery כדי להריץ שאילתות. אחרי שמגדירים את השירות, הוא אוסף ומעביר באופן אוטומטי תמונות מצב יומיות של מטא-נתונים של אובייקטים, מטא-נתונים של קטגוריות, פעולות ושגיאות למכונה של BigQuery בבעלות Cloud Storage. הנתונים נשמרים בהתאם לתקופת השמירה שהוגדרה, ומאוחסנים באופן שמצמצם את עלויות האחסון והניתוח.

בהגדרות של מערך הנתונים אתם קובעים אילו נתונים נאספים, איפה הם מאוחסנים ואיך הם מנוהלים.

בטבלה הבאה מתוארים המאפיינים העיקריים שצריך להגדיר כשיוצרים מערך נתונים:

מאפיין (property) תיאור פרטים ומגבלות
היקף קבוצת הנתונים מציין את המשאבים (ארגונים, פרויקטים או תיקיות) שמכילים את הקטגוריות והאובייקטים שרוצים לכלול במערך הנתונים. אפשר לציין פרויקטים או תיקיות בנפרד או באמצעות קובץ CSV. כל הגדרה מאפשרת רק היקף אחד של מערך נתונים. אפשר לציין עד 10,000 פרויקטים או תיקיות.
מסנני קטגוריות מסננים שמשמשים להכללה או להחרגה של קטגוריות ספציפיות מקבוצת הנתונים.אפשר לסנן לפי שם הקטגוריה באמצעות ביטויים רגולריים או לפי מיקום הקטגוריה.
תקופת השמירה של מערך הנתונים מספר הימים שבהם קבוצת הנתונים מתעדת ושומרת מטא-נתונים ונתוני פעילות, כולל תאריך היצירה של קבוצת הנתונים. בטבלאות של נתוני פעילות, אפשר לשנות את תקופת שמירת הנתונים באמצעות המאפיין Retention period for activity data. תקופת השמירה הזו היא חלון זמן דינמי שיכול להיות עד 90 ימים. מערכי הנתונים מתעדכנים במטא-נתונים חדשים כל 24 שעות. המערכת מוחקת באופן אוטומטי נתונים שנאספו מחוץ לחלון השמירה. לדוגמה, אם יוצרים קבוצת נתונים ב-1 באוקטובר 2023, עם חלון שמירה של 30 ימים. ב-30 באוקטובר, קבוצת הנתונים משקפת את הנתונים של 30 הימים האחרונים (מ-1 באוקטובר עד 30 באוקטובר). ב-31 באוקטובר, קבוצת הנתונים משקפת את הנתונים מ-2 באוקטובר עד 31 באוקטובר. אפשר לשנות את חלון השמירה בכל שלב. כברירת מחדל, תקופת השמירה חלה על טבלאות המטא-נתונים וגם על טבלאות נתוני הפעילות, אם לא צוינה תקופת השמירה של נתוני הפעילות.
תקופת השמירה של נתוני הפעילות מספר הימים שבהם קבוצת הנתונים מתעדת ושומרת את נתוני הפעילות. כשהערך הזה מוגדר, הוא מבטל את תקופת השמירה של מערך הנתונים. תקופת השמירה יכולה להיות עד 365 days. תקופת השמירה של נתוני הפעילות חלה על טבלאות של נתוני פעילות.
Location המיקום ב-BigQuery שבו מאוחסנים מערך הנתונים המקושר והנתונים שמשויכים אליו. מערך הנתונים המקושר חייב להיות במיקום שנתמך על ידי BigQuery, כמו us-central1, אבל קטגוריות המקור יכולות להיות בכל מיקום ב-Cloud Storage. אם יש לכם טבלאות קיימות ב-BigQuery, מומלץ לבחור את המיקום שלהן.
סוג סוכן השירות קובע את ההיקף של סוכן השירות שקורא וכותב נתונים להגדרת מערך הנתונים. זה יכול להיות סוכן שירות ברמת ההגדרה או סוכן שירות ברמת הפרויקט. סוכני שירות ברמת הפרויקט יכולים לגשת למערכי נתונים ולכתוב אותם בכל ההגדרות של מערכי הנתונים בפרויקט. לדוגמה, אם יש לכם כמה הגדרות של מערכי נתונים בפרויקט, אתם צריכים לתת את ההרשאות הנדרשות לסוכן השירות ברמת הפרויקט רק פעם אחת. כך הוא יכול לקרוא ולכתוב קבוצות נתונים בכל ההגדרות של קבוצות הנתונים בפרויקט. כשמוחקים הגדרה של מערך נתונים, סוכן השירות ברמת הפרויקט לא נמחק.סוכני שירות ברמת ההגדרה יכולים לגשת רק למערך הנתונים שנוצר על ידי ההגדרה הספציפית של מערך הנתונים, ולכתוב רק בו.

לכן, אם יש לכם כמה הגדרות של מערכי נתונים, אתם צריכים לתת את ההרשאות הנדרשות לכל סוכן שירות ברמת ההגדרה. כשמוחקים הגדרה של קבוצת נתונים, נמחק גם סוכן השירות ברמת ההגדרה.

אחרי שמגדירים את מאפייני ההגדרה ונותנים את ההרשאות הנדרשות לסוכן השירות, מקשרים את מערך הנתונים ל-BigQuery כדי לשלוח שאילתות.

פרטים על המאפיינים שאתם מגדירים כשאתם יוצרים או מעדכנים הגדרה של קבוצת נתונים מופיעים במשאב DatasetConfigs במסמכי התיעוד של ה-API בפורמט JSON.

אחרי ההגדרה, השירות אוסף ומטמיע נתונים באופן אוטומטי במכונה של BigQuery שבבעלות Cloud Storage. אכלוס הנתונים במערכי הנתונים מתבצע לפי לוח הזמנים הבא:

  • יכול להיות שיעברו 24 עד 48 שעות עד שהטעינה הראשונית של קבוצת הנתונים ונתוני הפעילות של קטגוריות או אובייקטים שנוספו לאחרונה יופיעו כקבוצת נתונים מקושרת ב-BigQuery.

  • נתוני הפעילות נכללים בדרך כלל תוך ארבע שעות מהפעילות (לפעמים זמן האחזור עשוי להיות ארוך יותר).

  • תמונות המצב של המטא-נתונים (של פרויקטים, קטגוריות ואובייקטים) מתעדכנות כל 24 שעות.

לתשומת ליבכם

כדאי להביא בחשבון את הדברים הבאים לגבי הגדרות של קבוצות נתונים:

  • כשמשנים שם של תיקייה בקטגוריה שמופעל בה מרחב שמות היררכי, שמות האובייקטים בקטגוריה הזו מתעדכנים. כשהמערכת מטמיעה את קובצי ה-snapshot של האובייקטים האלה במערך הנתונים המקושר, הם נחשבים לרשומות חדשות.

  • סיכומי ביקורת (checksum) מסוג CRC32C וגיבובים (hash) מסוג MD5 לא זמינים בטבלה object metadata לאובייקטים שהוצפנו באמצעות מפתחות הצפנה בניהול הלקוח (CMEK).

  • מערכי הנתונים של Storage Insights יכולים להטמיע מטא-נתונים מקטגוריות מקור בכל מיקום ב-Cloud Storage, כולל מיקומים שלא מופיעים כאן. עם זאת, מערך הנתונים המקושר חייב להיות באחד מהמיקומים הנתמכים הבאים של BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • המגבלות הבאות חלות כשקובעים את סטטוס הגישה הציבורית לאובייקטים באמצעות מערכי נתונים של Storage Insights:

    • סטטוס הגישה הציבורית לא זמין לאובייקטים בתוך תיקיות מנוהלות.

    • כשמגדירים את סטטוס הגישה הציבורית של אובייקט, מערכי הנתונים של Storage Insights לא מתייחסים להגדרות של VPC Service Controls או של סינון ה-IP של הקטגוריה.

המאמרים הבאים