טבלאות וסכימות של מערכי נתונים ב-Storage Insights

מערכי הנתונים של Storage Insights מספקים טבלאות ותצוגות של BigQuery שמאפשרות לנתח דפוסי פעולה ולעקוב אחרי השימוש במשאבים בקטגוריות, באובייקטים ובפרויקטים של Cloud Storage. אתם יכולים להשתמש בסכימות האלה כדי לכתוב שאילתות שבודקות את נפח האחסון הנדרש, מאמתות את הגדרות האבטחה ועוקבות אחרי הפעילות בסביבת האחסון.

סכימת המטא-נתונים של מערך הנתונים

בקטעים הבאים מתוארים שדות המטא-נתונים שנכללים במערכי הנתונים. למידע נוסף על מצבי עמודות ב-BigQuery, קראו את המאמר מצבים. מצבי העמודות קובעים איך BigQuery מאחסן את הנתונים ומריץ עליהם שאילתות.

אתם יכולים לחבר פעולות רבות על פריטי אחסון למערכי נתונים של Storage Insights כדי לבחור נתונים באופן דינמי. הגישה הזו מאפשרת לשלוח שאילתות ישירות לעמודות של מערך הנתונים באמצעות ביטויי סינון, במקום להשתמש בקובצי מניפסט ידניים. העמודה Storage batch operations filterable בטבלאות הבאות מציינת אם יש תמיכה בשדה מטא-נתונים כשיוצרים ארגומנטים של מסננים ב-Common Expression Language‏ (CEL) (--bucket-filters או --object-filters) ישירות ב-Google Cloud CLI. אם שדה נתמך, אפשר להפנות לשם העמודה שלו ישירות בביטויי הסינון. לפרטים על התחביר הנתמך, קראו את ההפניה למסנני CEL.

מטא-נתונים של קטגוריה

סכימת המטא-נתונים של הקטגוריה כוללת את הטבלאות bucket_attributes_view ו-bucket_attributes_latest_snapshot_view. הטבלאות של המטא-נתונים של הקטגוריות מכילות את השדות הבאים:

שדה מטא-נתונים מצב סוג תיאור אפשר לסנן את הפעולות הרבות על פריטי אחסון
snapshotTime NULLABLE TIMESTAMP בשדה snapshotTime מאוחסן הזמן של רענון תמונת המצב של המטא-נתונים של הקטגוריה, בפורמט RFC 3339. לכל הרשומות שנוצרות מאותו רענון של תמונת מצב יש את אותו snapshotTime.
name NULLABLE STRING שם הקטגוריה.
location NULLABLE STRING המיקום של הקטגוריה. נתוני האובייקטים בקטגוריה נמצאים באחסון פיזי במיקום הזה.
project NULLABLE INTEGER מספר הפרויקט שהקטגוריה שייכת אליו.
storageClass NULLABLE STRING סוג האחסון (storage class) שמוגדר כברירת מחדל בקטגוריה.
public NULLABLE RECORD הוצאה משימוש, השדה הזה מציין אם הקטגוריה נגישה לציבור. במקום זאת, אתם צריכים להשתמש ב-iamConfiguration.
public.bucketPolicyOnly NULLABLE BOOLEAN הוצאה משימוש, השדה הזה, שהוא חלק מהרשומה public, מציין אם מופעלות הרשאות גישה מאוחדות ברמת הקטגוריה (UBLA), שמונעות גישה דרך רשימות ACL ברמת האובייקט.
public.publicAccessPrevention NULLABLE STRING הוצאה משימוש, השדה הזה, שהוא חלק מהרשומה public, מציין אם הגישה הציבורית לקטגוריה נמנעת.
autoclass NULLABLE RECORD הגדרת הסיווג האוטומטי של הקטגוריה. כשההגדרה הזו מופעלת, היא קובעת את סוג האחסון של האובייקטים על סמך אופן הגישה לאובייקטים ומועד הגישה אליהם.
autoclass.enabled NULLABLE BOOLEAN אם הסיווג האוטומטי מופעל או לא.
autoclass.toggleTime NULLABLE TIMESTAMP הזמן שבו הופעל או הושבת הסיווג האוטומטי בקטגוריה הזו, בפורמט RFC 3339.
versioning NULLABLE BOOLEAN אם בקטגוריה מופעל ניהול גרסאות או לא. מידע נוסף זמין במאמר ניהול גרסאות של אובייקטים.
lifecycle NULLABLE BOOLEAN אם לקטגוריה יש הגדרה של מחזור חיים. מידע נוסף זמין במאמר בנושא ניהול מחזור חיים.
metageneration NULLABLE INTEGER מספר הגנרציה של המטא-נתונים של הקטגוריה הזו.
timeCreated NULLABLE TIMESTAMP זמן היצירה של הקטגוריה, בפורמט RFC 3339.
tags NULLABLE RECORD הוצאה משימוש, השדה הזה מכיל צמדי מפתח/ערך שמוגדרים על ידי המשתמש ומשויכים לקטגוריה. במקום זאת, אתם צריכים להשתמש ב-resourceTags.
tags.lastUpdatedTime NULLABLE TIMESTAMP הוצאה משימוש, השדה הזה מציין את הפעם האחרונה שבה tags עודכנו.
tags.tagMap REPEATED RECORD הוצאה משימוש, השדה הזה, שהוא חלק מהרשומה tags, מכיל את המפה של מפתחות וערכי התגים.
tags.tagMap.key NULLABLE STRING הוצאה משימוש, השדה הזה, שהוא חלק מהרשומה tags.tagMap, הוא המפתח של התג.
tags.tagMap.value NULLABLE STRING הוצאה משימוש, השדה הזה, שהוא חלק מהרשומה tags.tagMap, הוא הערך של תג.
labels REPEATED RECORD תוויות של קטגוריות שסופקו על ידי המשתמש, בצמדי מפתח/ערך.
labels.key NULLABLE STRING רשומה של תווית בודדת.
labels.value NULLABLE STRING הערך של התווית.
retentionPeriod NULLABLE LONG תקופת השמירה של מדיניות שמירת הנתונים של הקטגוריה, בשניות.
retentionMode NULLABLE STRING מצב שמירת הנתונים של מדיניות שמירת הנתונים בקטגוריה. הערכים האפשריים הם Locked או Unlocked.
objectRetentionEnabled NULLABLE BOOLEAN אם נעילת שמירת אובייקטים מופעלת בקטגוריה. הערכים האפשריים הם True או False. אם השדה הזה הוא True, לאובייקטים בקטגוריה יכולות להיות הגדרות שמירה ברמת האובייקט.
defaultEventBasedHold NULLABLE BOOLEAN אם בקטגוריה מופעל מאפיין ברירת מחדל מבוסס-אירועים. הערכים האפשריים הם True או False.
softDeletePolicy NULLABLE RECORD מדיניות המחיקה הרכה של הקטגוריה, שמגדירה את משך הזמן שבו האובייקטים בקטגוריה נשמרים במצב של מחיקה רכה אחרי שהם נמחקים. אי אפשר למחוק באופן סופי אובייקטים במצב "נמחק באופן זמני", ואפשר לשחזר אותם עד hardDeleteTime.
softDeletePolicy.effectiveTime NULLABLE DATETIME

התאריך והשעה שבהם המדיניות בנושא מחיקת נתונים נכנסת לתוקף, בפורמט RFC 3339.

הערך של softDeletePolicy.effectiveTime מתעדכן בכל פעם שהערך של softDeletePolicy.retentionDurationSeconds גדל.
softDeletePolicy.retentionDurationSeconds NULLABLE LONG משך הזמן בשניות שבו אובייקט שנמחק באופן זמני נשמר ואי אפשר למחוק אותו באופן סופי. הערך צריך להיות בין 7 ל-90 ימים. אפשר גם להגדיר את הערך 0, שמשבית את מדיניות המחיקה הרכה.
enforcedEncryptionAllowedTypes REPEATED STRING סוגי ההצפנה שמותרים בקטגוריה. הערכים האפשריים הם:
  • GMEK (Google-owned and Google-managed encryption keys)
  • ‫CMEK (מפתחות הצפנה בניהול הלקוח)
  • ‫CSEK (מפתחות הצפנה מטעם הלקוח)
encryption NULLABLE RECORD הגדרת ההצפנה של הקטגוריה. ‫Cloud Storage משתמש בהגדרה הזו כדי להצפין אובייקטים חדשים שנוספים לקטגוריה, אלא אם מציינים הצפנה ברמת האובייקט במהלך ההעלאה.
encryption.defaultEncryptionType NULLABLE STRING סוג ההצפנה שמוגדר כברירת מחדל בקטגוריה. אם encryption.defaultKmsKeyName מוגדר, הערך הוא CMEK. אחרת הערך הוא GMEK.
encryption.defaultKmsKeyName NULLABLE STRING מפתח ברירת המחדל של Cloud Key Management Service שמוגדר לשימוש באובייקטים חדשים בקטגוריה. אם השדה הזה מוגדר, Cloud Key Management Service משמש להצפנת ברירת המחדל (CMEK). אם לא מגדירים את המדיניות, Google-owned and Google-managed encryption keys משמשים להצפנה שמוגדרת כברירת מחדל (GMEK).
iamConfiguration NULLABLE RECORD הגדרת ה-IAM של קטגוריה.
iamConfiguration.uniformBucketLevelAccess NULLABLE RECORD ההגדרה של הרשאות גישה מאוחדות ברמת הקטגוריה (UBLA).
iamConfiguration.uniformBucketLevelAccess.enabled NULLABLE BOOLEAN אם בקטגוריה מוגדרות הרשאות גישה מאוחדות ברמת הקטגוריה (UBLA).
iamConfiguration.publicAccessPrevention NULLABLE STRING הסטטוס של מניעת הגישה הציבורית לקטגוריה, שיכול להיות "inherited" או "enforced".
resourceTags REPEATED RECORD התגים של הקטגוריה. מידע נוסף זמין במאמר Cloud Resource Manager API.
resourceTags.key NULLABLE STRING המפתח של resourceTags.
resourceTags.value NULLABLE STRING הערך של resourceTags.
objectCount NULLABLE INTEGER המספר הכולל של האובייקטים בקטגוריה.
totalSize NULLABLE INTEGER הגודל הכולל של הקטגוריה בבייטים.

מטא-נתונים של אובייקט

סכימת המטא-נתונים של האובייקט כוללת את הטבלאות object_attributes_view ו-object_attributes_latest_snapshot_view. הטבלאות האלה כוללות מטא-נתונים של אובייקטים פעילים, גרסאות לא עדכניות של אובייקטים אם מופעל ניהול גרסאות של אובייקטים, ואובייקטים שנמחקו באופן זמני אם מופעלת מחיקה זמנית. אלה השדות בטבלאות המטא-נתונים של האובייקטים:

שדה מטא-נתונים מצב סוג תיאור אפשר לסנן את הפעולות הרבות על פריטי אחסון
snapshotTime NULLABLE TIMESTAMP בשדה snapshotTime מאוחסן הזמן של רענון תמונת המצב של המטא-נתונים של האובייקט, בפורמט RFC 3339. לכל הרשומות שנוצרות מאותו רענון של תמונת מצב יש את אותו snapshotTime.
bucket NULLABLE STRING שם הקטגוריה שמכילה את האובייקט הזה.
location NULLABLE STRING המיקום של הקטגוריה. נתוני האובייקטים בקטגוריה נמצאים באחסון פיזי במיקום הזה.
componentCount NULLABLE INTEGER מוחזר רק עבור אובייקטים מורכבים. מספר האובייקטים הלא-מורכבים באובייקט המורכב. ‫componentCount כולל אובייקטים לא מורכבים שהיו חלק מאובייקטים מורכבים ששימשו להרכבה של האובייקט הנוכחי.
contentDisposition NULLABLE STRING Content-Disposition של נתוני האובייקט.
contentEncoding NULLABLE STRING השדה Content-Encoding של נתוני האובייקט.
contentLanguage NULLABLE STRING שפת התוכן של נתוני האובייקט.
contentType NULLABLE STRING השדה Content-Type של נתוני האובייקט.
contexts REPEATED RECORD הקשרים שמצורפים לאובייקט, בצמדי מפתח/ערך. למידע נוסף על הקשרי אובייקטים, ראו סקירה כללית של הקשרי אובייקטים.
contexts.key NULLABLE STRING מפתח לקביעת גישה מבוססת הקשר של האובייקט.
contexts.value NULLABLE STRING הערך של מפתח ההקשר של האובייקט.
contexts.type NULLABLE STRING סוג ההקשר של האובייקט, שהוא תמיד custom.
contexts.createTime NULLABLE TIMESTAMP המועד שבו מפתח ההקשר של האובייקט הזה נוסף לאובייקט בפעם הראשונה. מצוין בפורמט RFC 3339.
contexts.updateTime NULLABLE TIMESTAMP המועד שבו מפתח ההקשר של האובייקט הזה עודכן לאחרונה. מצוין בפורמט RFC 3339.
crc32c NULLABLE INTEGER סיכום ביקורת (checksum) של CRC32c, כפי שמתואר בנספח ב' של RFC 4960, מקודד באמצעות base64 כשהבייטים מסודרים בשיטת Big Endian. השדה הזה לא קיים באובייקטים שמוצפנים באמצעות מפתחות הצפנה בניהול הלקוח (CMEK).
customTime NULLABLE TIMESTAMP חותמת זמן שהמשתמש ציין לאובייקט. מצוין בפורמט RFC 3339.
etag NULLABLE STRING תג ישות מסוג HTTP 1.1 של האובייקט.
eventBasedHold NULLABLE BOOLEAN אם האובייקט כפוף להחזקה מבוססת-אירועים.
generation NULLABLE INTEGER מספר הגנרציה של התוכן של האובייקט הזה.
md5Hash NULLABLE STRING גיבוב MD5 של הנתונים, שמקודד באמצעות base64. השדה הזה לא קיים באובייקטים מורכבים ובאובייקטים שהוצפנו באמצעות מפתחות הצפנה בניהול הלקוח (CMEK).
metadata REPEATED RECORD מטא-נתונים שהמשתמשים מספקים, בצמדי מפתח/ערך.
metadata.key NULLABLE STRING רשומת מטא-נתונים בודדת.
metadata.value NULLABLE STRING ערך המטא-נתונים.
metageneration NULLABLE INTEGER גרסת המטא-נתונים של האובייקט בגנרציה הזו.
name NULLABLE STRING שם האובייקט.
size NULLABLE INTEGER גודל האובייקט בבייטים.
storageClass NULLABLE STRING סוג האחסון (storage class) של האובייקט.
temporaryHold NULLABLE BOOLEAN אם האובייקט כפוף להחזקה זמנית.
timeCreated NULLABLE TIMESTAMP זמן היצירה של האובייקט. חותמת הזמן הזו לא משתנה. מצוין בפורמט RFC 3339.
timeDeleted NULLABLE TIMESTAMP זמן המחיקה של האובייקט. מצוין בפורמט RFC 3339. בגרסאות לא עדכניות של אובייקטים, השדה timeDeleted מציין מתי גרסת האובייקט הפכה ללא עדכנית.
updated NULLABLE TIMESTAMP זמן השינוי האחרון של המטא-נתונים של האובייקט. מצוין בפורמט RFC 3339.
timeStorageClassUpdated NULLABLE TIMESTAMP התאריך והשעה שבהם סוג האחסון של האובייקט השתנה בפעם האחרונה.
retentionExpirationTime NULLABLE TIMESTAMP הזמן המוקדם ביותר שבו אפשר למחוק את האובייקט. הערך הזה תלוי גם בהגדרת השמירה שנקבעה לאובייקט, וגם במדיניות שמירת הנתונים שנקבעה לקטגוריה שמכילה את האובייקט. מצוין בפורמט RFC 3339.
retentionExpirationTimeLockStatus NULLABLE BOOLEAN סטטוס הנעילה של retentionExpirationTime.
retentionExpirationTimeSource NULLABLE STRING המקור של retentionExpirationTime.
retainUntilTime NULLABLE TIMESTAMP מציין את הזמן שמוגדר בהגדרת מדיניות שמירת הנתונים ברמת האובייקט, ומשקף רק את ההגדרה ברמת האובייקט. מועד הכניסה לתוקף שעד אליו האובייקט נשמר מופיע בשדה retentionExpirationTime. הערך של retentionExpirationTime הוא התאריך המאוחר יותר מבין התאריכים שצוינו בכל מדיניות שמירת נתונים ברמת הקטגוריה וברמת האובייקט.
retainUntilTimeLockStatus NULLABLE BOOLEAN סטטוס הנעילה של retainUntilTime, כפי שהוגדר בהגדרות של מדיניות שמירת הנתונים ברמת האובייקט.
softDeleteTime NULLABLE DATETIME התאריך והשעה שבהם האובייקט נמחק באופן זמני. האפשרות הזו זמינה רק לאובייקטים בקטגוריות עם המדיניות בנושא מחיקת נתונים זמנית.
hardDeleteTime NULLABLE DATETIME המועד שבו אובייקט שנמחק באופן זמני יימחק באופן סופי ולא יהיה אפשר לשחזר אותו יותר. הערך הוא הסכום של הערך softDeleteTime והערך softDeletePolicy.retentionDurationSeconds של הקטגוריה. האפשרות הזו זמינה רק לאובייקטים בקטגוריות עם המדיניות בנושא מחיקת נתונים זמנית.
project NULLABLE INTEGER מספר הפרויקט שהקטגוריה שייכת אליו.
ref NULLABLE RECORD ערך ObjectRef ב-BigQuery שמפנה לאובייקט ב-Cloud Storage. כדי להשתמש בעמודה הזו בשאילתות, קראו את המאמר ניתוח נתונים ומטא-נתונים של אובייקטים באמצעות BigQuery. באובייקטים שמסתיימים ב-/, השדה הזה מחזיר ערכי null. למידע על פתרון בעיות, ראו ערכי Null בעמודה ref כששולחים שאילתות למערכי נתונים.
ref.uri NULLABLE STRING כתובת URL להפניה ב-BigQuery לאובייקט המשויך ב-Cloud Storage, ששווה ל-URI של האובייקט. לדוגמה, gs://bucket_name/object_name.
ref.version NULLABLE STRING מזהה הגרסה של BigQuery לאובייקט המשויך ב-Cloud Storage, ששווה ערך לשדה generation של האובייקט.
ref.authorizer NULLABLE STRING הקישור למשאבים ב-Cloud שבו אפשר להשתמש כדי לגשת לאובייקט ב-Cloud Storage מ-BigQuery. הערך הוא תמיד null בסכימת המטא-נתונים של האובייקט.
ref.details NULLABLE JSON

שדות המטא-נתונים שזמינים בייצוג של BigQuery לאובייקט Cloud Storage, באמצעות הסכימה הבאה:

gcs_metadata json {
          "content_type": string,
          "md5_hash": string,
          "size": number,
          "updated": number
        }
encryptionType NULLABLE STRING סוג ההצפנה של האובייקט. הערכים האפשריים הם:
  • GMEK (Google-owned and Google-managed encryption keys)
  • ‫CMEK (מפתחות הצפנה בניהול הלקוח)
  • ‫CSEK (מפתחות הצפנה מטעם הלקוח)
securityInsights NULLABLE RECORD סטטוס הגישה הציבורית של האובייקט, שמציין אם הוא ניתן לקריאה או לכתיבה באופן ציבורי. פרטים נוספים זמינים במאמר זיהוי אובייקטים שנגישים באופן ציבורי.
securityInsights.publicAccessInsight NULLABLE RECORD סטטוס הנגישות הציבורית של האובייקט.
securityInsights.publicAccessInsight.readPublicAccess NULLABLE STRING סטטוס הקריאוּת הציבורית של האובייקט. אלה הערכים האפשריים:
  • ‫PUBLIC: מציין שלאובייקט יש הרשאות שמעניקות גישה ציבורית, ואין כללי מדיניות אחרים שמגבילים את הגישה הזו.
  • ‫NOT_PUBLIC: מציין שהאובייקט מוגן מפני גישה ציבורית באמצעות הרשאות או מדיניות מניעה.
  • ‫UNSUPPORTED: מציין שהאובייקט נמצא בתוך תיקייה מנוהלת.
  • ‫ERROR: מציין שאירעה שגיאה פנימית זמנית בזמן חישוב הסטטוס הציבורי של האובייקט. הסטטוס "נכשל" לא מתעדכן רטרואקטיבית בתמונות מצב קיימות. התכונה "תובנות לגבי האחסון" משחזרת את הסטטוס בתמונות המצב הבאות.
securityInsights.publicAccessInsight.readPublicAccessSource NULLABLE STRING אם הערך של readPublicAccess הוא PUBLIC, הפונקציה מחזירה את המקור של הרשאת הקריאה הציבורית. אחרת, הערך של השדה הזה הוא null. אלה הערכים האפשריים:
  • ‫Object: מציין הרשאות ברמת האובייקט.
  • ‫Bucket: מציין הרשאות ברמת הקטגוריה.
  • ‫ERROR: מציין שאירעה שגיאה פנימית זמנית בזמן קביעת המקור של הגישה הציבורית.
securityInsights.publicAccessInsight.writePublicAccess NULLABLE STRING סטטוס הנגישות לכתיבה של האובייקט. הערכים האפשריים הם:
  • ‫PUBLIC: מציין שלאובייקט יש הרשאות שמעניקות גישה ציבורית, ואין כללי מדיניות אחרים שמגבילים את הגישה הזו.
  • ‫NOT_PUBLIC: מציין שהאובייקט מוגן מפני גישה ציבורית באמצעות הרשאות או מדיניות מניעה.
  • ‫UNSUPPORTED: מציין שהאובייקט נמצא בתוך תיקייה מנוהלת.
  • ‫ERROR: מציין שאירעה שגיאה פנימית זמנית בזמן חישוב הסטטוס הציבורי של האובייקט. הסטטוס "נכשל" לא מתעדכן רטרואקטיבית בתמונות מצב קיימות. התכונה "תובנות לגבי האחסון" משחזרת את הסטטוס בתמונות המצב הבאות.

תמונת המצב האחרונה של המטא-נתונים של הקטגוריות והאובייקטים

מערך הנתונים המקושר חושף את תמונת המצב האחרונה של המטא-נתונים של הקטגוריה והאובייקט, באמצעות התצוגות הייעודיות הבאות:

מטא-נתונים של הפרויקט

מערך הנתונים המקושר חושף את המטא-נתונים של הפרויקט כתצוגה בשם project_attributes_view:

שדה מטא-נתונים מצב סוג תיאור
snapshotTime NULLABLE TIMESTAMP בשדה snapshotTime מאוחסן הזמן של רענון תמונת המצב של המטא-נתונים של הפרויקט, בפורמט RFC 3339. לכל הרשומות שנוצרות מאותו רענון של תמונת מצב יש את אותו snapshotTime.
name NULLABLE STRING שם הפרויקט.
id NULLABLE STRING המזהה הייחודי של הפרויקט.
number NULLABLE INTEGER ערך מספרי שמשויך לפרויקט.

קטלוג ההקשרים של האובייקטים

מערך הנתונים המקושר חושף את המטא-נתונים העדכניים ביותר של הקשרי אובייקטים, כולל מטענים ייעודיים (payloads) של נתונים מורחבים (גרסת טרום-השקה (Preview)), כתצוגה בשם object_contexts_catalog_view.

התצוגה object_contexts_catalog_view מספקת את המידע העדכני ביותר על ההקשר של האובייקטים ב-Cloud Storage. תצוגת הקטלוג מתעדכנת כל 24 שעות. הטעינה הראשונית נמשכת 24 עד 48 שעות. אובייקטים בקטגוריות חדשות או בקטגוריות שהועברו מופיעים תוך 24 עד 48 שעות.

הטבלה object_contexts_catalog_view מכילה את השדות הבאים:

שדה מטא-נתונים מצב סוג תיאור
project NULLABLE INTEGER מספר הפרויקט שהקטגוריה שייכת אליו.
bucket NULLABLE STRING שם הקטגוריה שמכילה את האובייקט הזה.
name NULLABLE STRING שם האובייקט.
generation NULLABLE INTEGER מספר הגנרציה של התוכן של האובייקט הזה.
location NULLABLE STRING המיקום של האובייקט.
createdTime NULLABLE STRING זמן היצירה של האובייקט.
catalogUpdatedTime NULLABLE TIMESTAMP השעה שבה הרשומה בקטלוג עודכנה.
contexts REPEATED RECORD מערך של רשומות הקשר שמצורפות לאובייקט.
contexts.key NULLABLE STRING המפתח של רשומת ההקשר (לדוגמה, google:annotation:label-detector-v1).
contexts.value NULLABLE STRING ערך המחרוזת שמשויך למפתח ההקשר.
contexts.contextCreationTime NULLABLE TIMESTAMP זמן היצירה של רשומת ההקשר הספציפית הזו.
contexts.contextUpdateTime NULLABLE TIMESTAMP זמן העדכון האחרון של רשומת ההקשר הספציפית הזו.
contexts.extendedData (גרסת טרום-השקה (Preview)) NULLABLE JSON אובייקט JSON שמכיל מטענים ייעודיים (payloads) מובְנים של נתונים מורחבים להקשרים (כמו תוויות ותיבות תוחמות של מודל ML). השדה הזה הוא NULL אם להקשר אין נתונים מורחבים.

סכימה של קבוצת נתונים לטבלאות של נתוני פעילות

מערכי הנתונים של Storage Insights מספקים נתוני פעילות, כולל מדדים תפעוליים, יומני שגיאות ותצוגות נתונים נצברים עם היקפים שניתנים להתאמה אישית, כדי לתמוך בצורכי ניתוח שונים. בקטעים הבאים מתוארות הסכימות של נתוני הפעילות והנתונים שזמינים בהן.

נתוני הפעילות של האובייקט

הטבלה object_events_view במערך הנתונים של Storage Insights מספקת רשומות שניתן לשלוח אליהן שאילתות, של פעולות יצירה, עדכון ומחיקה של אובייקטים, מטא-נתונים ופרטים על השגיאות שנתקלו בהן במהלך הפעולות האלה. אתם יכולים להשתמש בנתונים כדי לעקוב אחרי שינויים בנכסי האחסון ולפתור בעיות שקשורות אליהם, על ידי שליחת שאילתות לתצוגה object_events_view. הנתונים בתצוגה object_events_view מוגבלים למינוי שלכם ל-Storage Intelligence, ומופיעה בהם רשימה של כל האובייקטים שמופעלים באופן פעיל במינוי.

הטבלה object_events_view כוללת את השדות הבאים:

שדה מצב סוג תיאור
requestCompletionTimestamp NULLABLE TIMESTAMP חותמת הזמן של השלמת הבקשה, בפורמט RFC 3339.
project NULLABLE INTEGER מספר הפרויקט שהמשאב של הקטגוריה שייך לו.
bucketName NULLABLE STRING שם הקטגוריה שצוינה בבקשה.
objectName NULLABLE STRING שם האובייקט שצוין בבקשה. הערך בשדה הזה יכול להיות null.
requestOperation NULLABLE STRING הפעולה שבוצעה ב-Cloud Storage. השדה הזה מוגבל לפעולות כתיבה, עדכון ומחיקה, והוא יכול להיות ריק.
requestBytes NULLABLE INTEGER מספר הבייטים שנשלחו בבקשה.
responseBytes NULLABLE INTEGER מספר הבייטים שנשלחו בתגובה.
requestProcessingTimeMicros NULLABLE INTEGER הזמן במיקרו-שניות שלקח לשרת לעבד את הבקשה. הזמן הזה נמדד מרגע קבלת הבייט הראשון ועד לשליחת התגובה. בהעלאות שניתן להמשיך, התגובה לבקשת ההעלאה הסופית קובעת את נקודת הקצה.
requestId NULLABLE STRING המזהה של הבקשה.
requestHost NULLABLE STRING המארח שצוין בבקשה המקורית.
requestHttpMethod NULLABLE STRING שיטת ה-HTTP שמשמשת לבקשה הזו.
responseStatus NULLABLE INTEGER קוד הסטטוס של HTTP שנשלח בתגובה של השרת.
requestReferrer NULLABLE STRING הגורם המפנה מסוג HTTP של הבקשה.
size NULLABLE INTEGER גודל האובייקט בבייטים.
generation NULLABLE INTEGER מספר הגנרציה של התוכן של האובייקט, שמשמש לניהול גרסאות של אובייקטים.
timeCreated NULLABLE TIMESTAMP זמן היצירה של האובייקט, בפורמט RFC 3339.
storageClass NULLABLE STRING סוג האחסון (storage class) של האובייקט.
errorReason NULLABLE STRING הסיבה לשגיאה (מוגבל ל-429 שגיאות).
location NULLABLE STRING המיקום של האובייקט.

תצוגת הפעילות בפרויקט

בטבלה project_activity_view מוצגות תובנות תפעוליות נצברות בכל הפרויקטים. בטבלה מסוכמת הפעילות הכוללת לפי ספירה של סוגי הפעולות, הבייטים שהועברו, קודי התגובה והשגיאות. אתם יכולים להשתמש בתובנות לגבי הפעילות בפרויקט למטרות מעקב, ניטור ושיוך פנימי של עלויות. הנתונים בתצוגה נקבעים לפי היקף המינוי שלכם ל-Storage Intelligence. בתצוגה מוצגים נתונים נצברים רק לגבי הקטגוריות והאובייקטים שמופעלים באופן פעיל במינוי שלכם. לדוגמה, אם תפעילו את Storage Intelligence רק ל-10 קטגוריות ספציפיות, בתצוגה יופיעו נתונים רק של 10 הקטגוריות האלה. לעומת זאת, אם מפעילים את Storage Intelligence ברמה גבוהה יותר (ארגון, תיקייה או פרויקט), כל הקטגוריות והאובייקטים בהיקף הזה נכללים באופן אוטומטי, והתצוגה מציגה את הנתונים הנצברים שלהם.

הטבלה project_activity_view כוללת את השדות הבאים:

שדה מצב סוג תיאור
snapshotStartTime NULLABLE TIMESTAMP שעת ההתחלה של תמונת המצב, בפורמט RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP שעת הסיום של תמונת המצב, בפורמט RFC 3339.
project NULLABLE INTEGER מספר הפרויקט.
totalRequests NULLABLE INTEGER המספר הכולל של הבקשות שנשלחו בפרויקט.
totalReads NULLABLE INTEGER המספר הכולל של פעולות הקריאה.
totalWrites NULLABLE INTEGER המספר הכולל של פעולות הכתיבה.
totalUpdates NULLABLE INTEGER המספר הכולל של פעולות העדכון.
totalDeletes NULLABLE INTEGER המספר הכולל של פעולות המחיקה.
totalLists NULLABLE INTEGER המספר הכולל של פעולות הרשימה.
totalRequestBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בבקשה.
totalResponseBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בתגובה.
count4xx NULLABLE INTEGER המספר הכולל של שגיאות 4xx.
count5xx NULLABLE INTEGER המספר הכולל של שגיאות 5xx.
count2xx NULLABLE INTEGER המספר הכולל של תגובות 2xx (הצלחה).
count400 NULLABLE INTEGER המספר הכולל של שגיאות 400 בגלל בקשות שגויות.
count401 NULLABLE INTEGER המספר הכולל של שגיאות 401 בבקשות לא מורשות.
count403 NULLABLE INTEGER המספר הכולל של שגיאות 403 בבקשות אסורות.
count429 NULLABLE INTEGER המספר הכולל של שגיאות 429 בבקשות שחרגו ממגבלת השימוש.

תצוגת הפעילות בקטגוריה

בטבלה bucket_activity_view מוצגות תובנות תפעוליות מצטברות לגבי הקטגוריות. הטבלה מסכמת את הפעילות הכוללת לפי סוגי הפעולות, מספר הבייטים שהועברו, קודי התגובה והשגיאות, וכוללת פרטים על הקידומות המובילות. אתם יכולים להשתמש בתובנות לגבי הפעילות בקטגוריות כדי לעקוב אחרי הקטגוריות, לפתור בעיות, למדוד ולנתח את הקטגוריות הכי פעילות והכי פחות פעילות. הנתונים בטבלה bucket_activity_view מוגבלים למינוי שלכם ל-Storage Intelligence, והם כוללים רשומות של כל הקטגוריות הפעילות.

הטבלה bucket_activity_view כוללת את השדות הבאים:

שדה מצב סוג תיאור
snapshotStartTime NULLABLE TIMESTAMP שעת ההתחלה של תמונת המצב, בפורמט RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP שעת הסיום של תמונת המצב, בפורמט RFC 3339.
name NULLABLE STRING שם הקטגוריה.
generation NULLABLE INTEGER מספר הגנרציה של הקטגוריה.
project NULLABLE INTEGER מספר הפרויקט.
location NULLABLE STRING המיקום של הקטגוריה.
totalRequests NULLABLE INTEGER המספר הכולל של הבקשות שנשלחו לקטגוריה.
totalReads NULLABLE INTEGER המספר הכולל של פעולות הקריאה.
totalWrites NULLABLE INTEGER המספר הכולל של פעולות הכתיבה.
totalUpdates NULLABLE INTEGER המספר הכולל של פעולות העדכון.
totalDeletes NULLABLE INTEGER המספר הכולל של פעולות המחיקה.
totalLists NULLABLE INTEGER המספר הכולל של פעולות הרשימה.
totalRequestBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בבקשה.
totalResponseBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בתגובה.
count4xx NULLABLE INTEGER המספר הכולל של שגיאות 4xx.
count5xx NULLABLE INTEGER המספר הכולל של שגיאות 5xx.
count2xx NULLABLE INTEGER המספר הכולל של תגובות 2xx (הצלחה).
count400 NULLABLE INTEGER המספר הכולל של שגיאות 400 בגלל בקשות שגויות.
count401 NULLABLE INTEGER המספר הכולל של שגיאות 401 בבקשות לא מורשות.
count403 NULLABLE INTEGER המספר הכולל של שגיאות 403 בבקשות אסורות.
count429 NULLABLE INTEGER המספר הכולל של שגיאות 429 בבקשות שחרגו ממגבלת השימוש.
topPrefixes429Errors REPEATED RECORD ‫5 הקידומות המובילות של הקטגוריות עם הכי הרבה שגיאות 429, שמוחזרות בתור RECORD שמכיל את הקידומת בתור STRING ואת מספר השגיאות בתור INTEGER.
topPrefixesRequestBytes REPEATED RECORD חמשת הקידומות המובילות של הקטגוריות עם המספר הגבוה ביותר של בייטים שהתבקשו, שמוחזרות בתור RECORD שמכיל את הקידומת בתור STRING ואת הספירה בתור INTEGER.
topPrefixesResponseBytes REPEATED RECORD חמשת הקידומות המובילות של הקטגוריות עם המספר הגבוה ביותר של בייטים בתגובה, שמוחזרות בתור RECORD שמכיל את הקידומת בתור STRING ואת הספירה בתור INTEGER.
topPrefixesHighestOperations REPEATED RECORD חמשת הקידומות של הקטגוריות עם מספר הפעולות הגבוה ביותר, שמוחזרות בתור RECORD שמכיל את הקידומת בתור STRING ואת הספירה בתור INTEGER.

תצוגת הפעילות של אזור הקטגוריה

הטבלה bucket_region_activity_view מסכמת את סך הבייטים שנשלחו והתקבלו בקטגוריה, לפי אזור היעד. אתם יכולים להשתמש בנתונים האזוריים של הפעילות בקטגוריה כדי לזהות את האזורים הכי פעילים, וכך לקבוע את המיקום האופטימלי של הקטגוריה, לנתח את תעבורת הנתונים היוצאת לפי אזור ולשקול העברת קטגוריות למיקום גיאוגרפי אחר לפי הצורך כדי לשפר את הביצועים, העלות או העמידות. הנתונים בטבלה bucket_region_activity_view מוגבלים למינוי שלכם ל-Storage Intelligence, וכוללים רשומות של כל הקטגוריות שמופעלות באופן פעיל.

שדה מצב סוג תיאור
snapshotStartTime NULLABLE TIMESTAMP שעת ההתחלה של תמונת המצב, בפורמט RFC 3339.
snapshotEndTime NULLABLE TIMESTAMP שעת הסיום של תמונת המצב, בפורמט RFC 3339.
project NULLABLE INTEGER מספר הפרויקט של הקטגוריה.
name NULLABLE STRING שם הקטגוריה.
generation NULLABLE INTEGER מספר הגנרציה של הקטגוריה.
requestLocation NULLABLE STRING Google Cloud המיקום שממנו הגיעה הבקשה.
bucketLocation NULLABLE STRING המיקום של הקטגוריה.
requestBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בבקשות בין הקטגוריה והמיקום שצוינו.
responseBytes NULLABLE INTEGER המספר הכולל של בייטים שהועברו בתגובות בין הקטגוריה והמיקום שצוינו.

סכימת קבוצת נתונים של אירועים ושגיאות

במערך הנתונים המקושר, אפשר גם לראות את אירועי העיבוד של קובץ ה-snapshot ואת השגיאות בתצוגות events_view ו-error_attributes_view. כדי לפתור את השגיאות בעיבוד של תמונת המצב, קראו את המאמר פתרון שגיאות במערך הנתונים.

יומן אירועים

אפשר לראות את יומני האירועים בתצוגה events_view במערך הנתונים המקושר:

שדה מטא-נתונים מצב סוג תיאור
manifest.snapshotTime NULLABLE TIMESTAMP השעה שבה תמונת המצב של האירועים מתרעננת, בפורמט RFC 3339.
manifest.viewName NULLABLE STRING שם התצוגה שמתרעננת.
manifest.location NULLABLE STRING מיקום המקור של הנתונים שמתרעננים.
globalManifest.snapshotTime NULLABLE TIMESTAMP זמן השלמת ההטמעה, בפורמט RFC 3339, של טבלאות המאפיינים של הקטגוריות והאובייקטים בכל מיקומי המקור.
eventTime NULLABLE TIMESTAMP השעה שבה האירוע התרחש.
eventCode NULLABLE STRING קוד האירוע שמשויך לרשומה התואמת. אלה הערכים של eventCode:
  • eventCode 1 מציין שהתצוגה manifest.viewName מתרעננת עם כל הרשומות של מיקום המקור (manifest.location) בתמונת המצב (manifest.snapshotTime).
  • ‫eventCode 2 מציין שקבוצת הנתונים מתרעננת עם רשומות הקטגוריות והאובייקטים של כל מיקומי המקור. הרענון מתבצע בתמונת המצב (globalManifest.snapshotTime).
  • ‫eventCode 3 מתייחס לתצוגות של נתוני הפעילות שמתרעננות עם כל הרשומות של מיקום המקור (manifest.location) בחלון היומן.

קודי שגיאה

אפשר לראות את קודי השגיאה בטבלה error_attributes_view במערך הנתונים המקושר:

שדה מטא-נתונים מצב סוג תיאור
errorCode NULLABLE INTEGER קוד השגיאה שמשויך לרשומה הזו. במאמר פתרון שגיאות במערך הנתונים מופיעה רשימה של ערכים חוקיים ומוסבר איך לפתור את השגיאות האלה.
errorSource NULLABLE STRING מקור השגיאה. הערך התקין: CONFIGURATION_PREPROCESSING.
errorTime NULLABLE TIMESTAMP המועד שבו השגיאה מתרחשת.
sourceGcsLocation NULLABLE STRING מיקום השגיאה במקור ב-Cloud Storage. בפרויקטים, השדה הזה הוא null כי פרויקטים לא משויכים למיקום.
bucketErrorRecord.bucketName NULLABLE STRING שם הקטגוריה שבה קרתה השגיאה. אתם יכולים להשתמש במידע הזה כדי לנפות באגים בשגיאה בקטגוריה.
bucketErrorRecord.serviceAccount NULLABLE STRING חשבון השירות שצריך הרשאה כדי להטמיע אובייקטים מהקטגוריה. אתם יכולים להשתמש במידע הזה כדי לנפות באגים בשגיאה בקטגוריה.
projectErrorRecord.projectNumber NULLABLE INTEGER מספר הפרויקט שבו קרתה השגיאה. אתם יכולים להשתמש במידע הזה כדי לנפות באגים בשגיאה בפרויקט.
projectErrorRecord.organizationName NULLABLE STRING שם הארגון שהפרויקט צריך להשתייך אליו כדי לעבור עיבוד. הערך 0 מציין שהפרויקט לא נמצא בארגון. אתם יכולים להשתמש במידע הזה כדי לנפות באגים בשגיאה בפרויקט.

פתרון בעיות שקשורות לשגיאות בקבוצות נתונים

כדי לפתור את השגיאות בעיבוד של תמונת המצב שנרשמו בתצוגה error_attributes_view במערך הנתונים המקושר, אפשר להיעזר בטבלה הבאה:

קוד שגיאה מקרה של שגיאה הודעת שגיאה פתרון בעיות
1 פרויקט המקור לא שייך לארגון פרויקט המקור projectErrorRecord.projectNumber לא שייך לארגון projectErrorRecord.organizationName. מוסיפים את פרויקט המקור projectErrorRecord.projectNumber לארגון projectErrorRecord.organizationName. במאמר העברת פרויקטים בין ארגונים מוסבר איך מעבירים פרויקט בין ארגונים.
2 שגיאת הרשאה בקטגוריה ההרשאה להטמעת אובייקטים בקטגוריה bucketErrorRecord.bucketName נדחתה. צריך לתת לחשבון השירות bucketErrorRecord.serviceAccount הרשאות לניהול זהויות והרשאות גישה (IAM) כדי לאפשר הטמעה של אובייקטים בקטגוריה bucketErrorRecord.bucketName. מידע נוסף זמין במאמר מתן ההרשאות הנדרשות לסוכן השירות.
3 פרויקט היעד לא שייך לארגון פרויקט היעד projectErrorRecord.projectNumber לא נמצא בארגון projectErrorRecord.organizationName. מוסיפים את פרויקט היעד projectErrorRecord.projectNumber לארגון projectErrorRecord.organizationName. במאמר העברת פרויקטים בין ארגונים מוסבר איך מעבירים פרויקט בין ארגונים.
4 בפרויקט המקור לא מוגדר Storage Intelligence. בפרויקט המקור projectErrorRecord.projectNumber לא מוגדר Storage Intelligence. מגדירים את Storage Intelligence לפרויקט המקור projectErrorRecord.projectNumber. מידע נוסף זמין במאמר הגדרה וניהול של Storage Intelligence.
5 לא הוגדר Storage Intelligence בקטגוריה. לא הוגדר Storage Intelligence בקטגוריה bucketErrorRecord.bucketName. מגדירים את Storage Intelligence לקטגוריה bucketErrorRecord.bucketName. מידע נוסף זמין במאמר הגדרה וניהול של Storage Intelligence.
6 שגיאת אימות בגישה לקטגוריה ACTIVITY_BUCKET_ACCESS_AUTHORIZATION_ERROR לקטגוריה bucketErrorRecord.bucketName. צריך לתת לחשבון השירות bucketErrorRecord.serviceAccount הרשאות לניהול זהויות והרשאות גישה (IAM) כדי לאפשר הטמעה של פעילות בקטגוריה bucketErrorRecord.bucketName. מידע נוסף זמין במאמר מתן ההרשאות הנדרשות לסוכן השירות.

המאמרים הבאים