יומני שימוש ויומני אחסון

במאמר הזה מוסבר איך להוריד ולבדוק יומני שימוש ומידע על אחסון של הקטגוריות שלכם ב-Cloud Storage, ואיך לנתח את היומנים באמצעות Google BigQuery.

מבוא

ב-Cloud Storage יש יומני שימוש ויומני אחסון בפורמט של קובצי CSV, שאפשר להוריד ולראות. יומני שימוש מספקים מידע על כל הבקשות בקטגוריה מסוימת, ונוצרים מדי שעה. יומני אחסון מספקים מידע על צריכת נפח האחסון של הקטגוריה ביום האחרון, ונוצרים פעם ביום.

אחרי הגדרת יומני השימוש ויומני האחסון, הם נוצרים באופן אוטומטי לקטגוריה שציינתם ונשמרים כאובייקטים חדשים בקטגוריה שציינתם.

יומני השימוש ויומני האחסון כפופים לאותו תמחור כמו אובייקטים אחרים שמאוחסנים ב-Cloud Storage.

האם כדאי להשתמש ביומני שימוש או ביומני ביקורת של Cloud?

ברוב המקרים, כדי ליצור יומנים שעוקבים אחרי פעולות API ב-Cloud Storage מומלץ להשתמש ביומני הביקורת של Cloud:

  • יומני הביקורת של Cloud עוקבים אחרי הגישה באופן רציף, והאירועים מוצגים תוך שניות ספורות מרגע התרחשותם.
  • קל יותר לעבוד עם הרישומים של יומני הביקורת של Cloud.
  • יומני הביקורת של Cloud מאפשרים לעקוב אחרי רבים מהשירותים שלכם, ולא רק אחרי Cloud Storage. Google Cloud
  • יומני הביקורת של ה-Cloud יכולים, אם תרצו, לרשום מידע מפורט על בקשות ותגובות.

במקרים מסוימים כדאי להשתמש ביומני שימוש במקום יומני הביקורת של Cloud או בנוסף אליהם. המקרים שבהם עדיף להשתמש ביומני שימוש הם כאשר:

  • אתם רוצים לעקוב אחרי גישה שניתנה כי בהגדרות בקרת הגישה של משאב מסוים נקבעה הרשאת allUsers או allAuthenticatedUsers, כמו גישה לנכסים בקטגוריה שהגדרתם כאתר סטטי.
  • אתם רוצים לעקוב אחרי שינויים שבוצעו באמצעות ניהול מחזור חיים של אובייקטים או באמצעות תכונות הסיווג האוטומטי.
  • אתם רוצים שהיומנים יכללו מידע על זמן האחזור, גודל הבקשה וגודל התגובה של כל בקשת HTTP בנפרד או את הנתיב המלא של כתובת ה-URL וכל אחד מהפרמטרים של השאילתה.
  • אתם רוצים לעקוב אחרי הגישה לקטגוריות מסוימות בלבד בפרויקט, ולכן אתם לא רוצים להפעיל את יומני הביקורת של Data Access, שעוקבים אחרי הגישה לכל הקטגוריות בפרויקט.

האם כדאי להשתמש ביומני אחסון או ב-Monitoring?

באופן כללי, לא מומלץ להשתמש ביומני אחסון. הכלי המומלץ למדידה של צריכת נפח האחסון הוא Monitoring, שמספק כלים להמחשה חזותית ומדדים נוספים שקשורים לצריכת נפח האחסון, שלא קיימים ביומני האחסון. להוראות מפורטות על השימוש ב-Monitoring אפשר לעיין בכרטיסיית המסוף לקביעת גודל הקטגוריה.

הגדרת הצגה של יומנים

לפני שמגדירים את העברת היומנים, צריך ליצור קטגוריה לאחסון היומנים. הקטגוריה הזו צריכה לעמוד בדרישות הבאות, אחרת הרישום ביומן ייכשל:

  • קטגוריית האחסון של היומנים צריכה להיות באותו ארגון כמו קטגוריית האחסון שמתועדת ביומן.

    • אם הקטגוריה שמתועדת לא נמצאת בארגון כלשהו, הקטגוריה שבה מאוחסנים היומנים צריכה להיות באותו פרויקט כמו הקטגוריה שמתועדת.

  • אם אתם משתמשים בשירות VPC Service Controls או מפעילים אותו, הקטגוריה שמאחסנת את היומנים צריכה להיכלל באותו מתחם אבטחה היקפית כמו הקטגוריה שמתועדת ביומן.

אם עדיין אין לכם קטגוריה שעומדת בדרישות האלה, צרו את הקטגוריה.

בשלבים הבאים מוסבר איך להגדיר הצגת יומנים לקטגוריה:

שורת הפקודה

  1. מקצים ל-Cloud Storage את התפקיד roles/storage.objectCreator לקטגוריה:

    gcloud storage buckets add-iam-policy-binding gs://example-logs-bucket --member=group:cloud-storage-analytics@google.com --role=roles/storage.objectCreator

    התפקיד הזה מעניק ל-Cloud Storage, דרך הקבוצה cloud-storage-analytics@google.com, הרשאה ליצור יומנים ולאחסן אותם כאובייקטים חדשים.

    האובייקטים של היומנים מקבלים את רשימת ה-ACL שמשמשת כברירת המחדל של האובייקטים שבקטגוריה ביומן, אלא אם כן מופעלת בה גישה אחידה ברמת הקטגוריה.

  2. מפעילים רישום ביומן של הקטגוריה באמצעות הדגל --log-bucket:

    gcloud storage buckets update gs://example-bucket --log-bucket=gs://example-logs-bucket [--log-object-prefix=log_object_prefix]

    לחלופין, אפשר להגדיר קידומת לאוביייקטים של היומנים באמצעות הדגל --log-object-prefix. הקידומת של האובייקט יוצרת את תחילת השם של אובייקט היומן. היא יכולה להכיל עד 900 תווים וחייבת להיות שם אובייקט תקין. כברירת מחדל, קידומת האובייקט היא שם הקטגוריה שבה הופעלו היומנים.

ממשקי API ל-REST

API ל-JSON

  1. מקצים ל-Cloud Storage את התפקיד roles/storage.objectCreator לקטגוריה. אם יש לקטגוריה קישורי IAM נוספים ברמת הקטגוריה, הקפידו לכלול אותם בבקשה.

    POST /storage/v1/b/example-logs-bucket/iam
Host: storage.googleapis.com
{
  "bindings":[
    {
      "role": "roles/storage.objectCreator",
      "members":[
        "group-cloud-storage-analytics@google.com"
      ]
    }
  ]
}

    התפקיד הזה מעניק ל-Cloud Storage, דרך הקבוצה cloud-storage-analytics@google.com, הרשאה ליצור יומנים ולאחסן אותם כאובייקטים חדשים.

    האובייקטים של היומנים מקבלים את רשימת ה-ACL שמשמשת כברירת המחדל של האובייקטים שבקטגוריה ביומן, אלא אם כן מופעלת בה גישה אחידה ברמת הקטגוריה.

  2. מפעילים רישום ביומן לקטגוריה באמצעות הבקשה הבאה:

    PATCH /storage/v1/b/example-bucket
Host: storage.googleapis.com

{
 "logging": {
  "logBucket": "example-logs-bucket",
  "logObjectPrefix": "log_object_prefix"
 }
}

‫API בפורמט XML

  1. כדי ליצור ולאחסן את היומנים כאובייקטים חדשים, אתם צריכים לתת ל-Cloud Storage הרשאות WRITE לקטגוריה. אתם צריכים להוסיף רשומת ACL לקטגוריה כדי לתת גישת כתיבה לקבוצה cloud-storage-analytics@google.com. חשוב לכלול בבקשה את כל רשימות ה-ACL הקיימות לקטגוריה, נוסף על רשימת ה-ACL החדשה.

    PUT /example-logs-bucket?acl HTTP/1.1
Host: storage.googleapis.com

<AccessControlList>
  <Entries>
    <Entry>
      <Scope type="GroupByEmail">
        <EmailAddress>cloud-storage-analytics@google.com</EmailAddress>
      </Scope>
     <Permission>WRITE</Permission>
    </Entry>
    <!-- include other existing ACL entries here-->
  </Entries>
</AccessControlList>

  2. מפעילים רישום ביומן של הקטגוריה באמצעות הפרמטר של שאילתת הרישום ביומן:

    PUT /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

<Logging>
    <LogBucket>example-logs-bucket</LogBucket>
    <LogObjectPrefix>log_object_prefix</LogObjectPrefix>
</Logging>

בדיקת סטטוס הרישום ביומן

שורת הפקודה

כדי לבדוק את הרישום ביומן, משתמשים בפקודה buckets describe עם הדגל --format:

gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"

אפשר גם לשמור בקובץ את הגדרות הרישום ביומן:

gcloud storage buckets describe gs://example-bucket > your_logging_configuration_file --format="default(logging_config)"

אם הרישום ביומן מופעל, השרת מחזיר בתגובה את הגדרות הרישום ביומן:

logging:
  logBucket: example-logs-bucket
  logObjectPrefix: log_object_prefix

אם הרישום ביומן לא מופעל, מוחזר:

null

ממשקי API בארכיטקטורת REST

‫API בפורמט JSON

שולחים בקשת GET להגדרות הרישום ביומן של הקטגוריה, כמו בדוגמה הבאה:

GET /storage/v1/b/example-bucket?fields=logging
Host: storage.googleapis.com

אם הרישום ביומן מופעל, השרת שולח בתגובה את ההגדרות. התגובה עשויה להיראות כך:

{
 "logging": {
  "logBucket": "example-logs-bucket",
  "logObjectPrefix": "log_object_prefix"
  }
}

אם הרישום ביומן לא מופעל, יוחזרו הגדרות ריקות:

{}

‫API בפורמט XML

שולחים בקשת GET Bucket להגדרות הרישום ביומן של הקטגוריה, כפי שמופיע בדוגמה הבאה:

GET /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

אם הרישום ביומן מופעל, השרת שולח בתגובה את ההגדרות. התגובה עשויה להיראות כך:

<?xml version="1.0" ?>
<Logging>
    <LogBucket>
        example-logs-bucket
    </LogBucket>
    <LogObjectPrefix>
        log_object_prefix
    </LogObjectPrefix>
</Logging>

אם הרישום ביומן לא מופעל, יוחזרו הגדרות ריקות:

<?xml version="1.0" ?>
<Logging/>

הורדת היומנים

יומני אחסון נוצרים פעם ביום ומכילים את נפח האחסון שנעשה בו שימוש ביום הקודם. בדרך כלל הם נוצרים לפני השעה 10:00 (שעון החוף המערבי).

יומני השימוש נוצרים מדי שעה כשיש בקטגוריה שעוקבים אחריה פעילות לדווח עליה. יומני שימוש נוצרים בדרך כלל 15 דקות אחרי סוף שעה עגולה.

הדרך הקלה ביותר להורדת יומני השימוש ויומני האחסון מהקטגוריה שבה הם מאוחסנים היא דרך מסוףGoogle Cloud או דרך ה-CLI של gcloud storage. יומני השימוש הם בפורמט CSV והשמות שלהם נבנים לפי המוסכמה הבאה:

OBJECT_PREFIX_usage_TIMESTAMP_ID_v0

באופן דומה, השמות של יומני אחסון נבנים לפי המוסכמה הבאה:

OBJECT_PREFIX_storage_TIMESTAMP_ID_v0

לדוגמה, זהו השם של אובייקט יומן שימוש, עם קידומת ברירת המחדל לאובייקטים, מדווח על השימוש בקטגוריה example-bucket ונוצר ב-18 ביוני 2022 בשעה 14:00 לפי שעון UTC:

example-bucket_usage_2022_06_18_14_00_00_1702e6_v0

באותו אופן, זהו השם של אובייקט יומן האחסון עם קידומת ברירת המחדל לאובייקטים, שנוצר ב-18 ביוני 2022 לאותה קטגוריה:

example-bucket_storage_2022_06_18_07_00_00_1702e6_v0

כדי להוריד יומנים:

המסוף

  1. במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage.

    כניסה לדף Buckets

  2. בוחרים את הקטגוריה שבה מאוחסנים היומנים.

  3. מורידים את היומנים או צופים בהם על ידי לחיצה על אובייקט היומן המתאים.

שורת הפקודה

מריצים את הפקודה הבאה:

gcloud storage cp gs://BUCKET_NAME/LOGS_OBJECT DESTINATION

כאשר:

  • ‫BUCKET_NAME הוא שם הקטגוריה שבה מאוחסנים היומנים. לדוגמה, example-logs-bucket.

  • ‫LOGS_OBJECT הוא השם של יומן השימוש או יומן האחסון שמורידים. לדוגמה, example-bucket_usage_2022_06_18_14_00_00_1702e6_v0.

  • ‫DESTINATION הוא המיקום שאליו מורידים את היומן. לדוגמה, Desktop/Logs.

ניתוח יומנים ב-BigQuery

כדי לשלוח שאילתות על יומני השימוש והאחסון ב-Cloud Storage, אתם יכולים להשתמש ב-Google BigQuery, שמאפשר לשלוח שאילתות מהירות דמויות SQL על טבלאות מסוג append-only. כלי שורת הפקודה ב-BigQuery, bq, הוא כלי מבוסס Python שמאפשר לגשת ל-BigQuery משורת הפקודה. לקבלת מידע נוסף על ההורדה של bq והשימוש בו, פנו אל דף העזר של כלי שורת הפקודה של BigQuery.

טעינת יומנים ל-BigQuery

  1. בוחרים פרויקט ברירת מחדל.

    בעבודה עם פרויקטים מוסבר על בחירת פרויקט.

  2. יוצרים מערך נתונים חדש.

    $ bq mk storageanalysis
Dataset 'storageanalysis' successfully created.

  3. מציגים ברשימה את מערכי הנתונים בפרויקט:

    $ bq ls
 
datasetId
-----------------
storageanalysis

  4. שומרים במחשב המקומי את סכימות השימוש והאחסון, לשימוש בפקודת הטעינה.

    אפשר למצוא את הסכימות לשימוש במיקומים הבאים: cloud_storage_usage_schema_v0 ו- cloud_storage_storage_schema_v0. הסכימות מתוארות גם בקטע פורמט של יומני שימוש ואחסון.

  5. טוענים את יומני השימוש למערך הנתונים.

    $ bq load --skip_leading_rows=1 storageanalysis.usage \
      gs://example-logs-bucket/example-bucket_usage_2014_01_15_14_00_00_1702e6_v0 \
      ./cloud_storage_usage_schema_v0.json
$ bq load --skip_leading_rows=1 storageanalysis.storage \
      gs://example-logs-bucket/example-bucket_storage_2014_01_05_14_00_00_091c5f_v0 \
      ./cloud_storage_storage_schema_v0.json

    הפקודות האלה מבצעות את הפעולות הבאות:

    • טעינת יומני השימוש והאחסון מהקטגוריה example-logs-bucket.
    • יצירת הטבלאות usage ו-storage במערך הנתונים storageanalysis.
    • קריאה של נתוני סכימה (קובץ ‎.json) מאותה הספרייה שבה רצה הפקודה של bq.
    • דילוג על השורה הראשונה של כל קובץ יומן, מפני שהיא מכילה את תיאורי העמודות.

    זו הייתה הפעם הראשונה שהרצתם את פקודת הטעינה בדוגמה הזו, לכן נוצרו הטבלאות usage ו-storage. אפשר להמשיך לצרף לטבלאות האלה נתונים באמצעות פקודות טעינה נוספות שכוללות שמות קבצים של יומני שימוש אחרים או תווים כלליים לחיפוש. לדוגמה, הפקודה הבאה מצרפת לטבלה storage נתונים מכל היומנים שמתחילים ב-'bucket_usuage_2014':

    $ bq load --skip_leading_rows=1 storageanalysis.usage \
      gs://example-logs-bucket/bucket_usage_2014* \
      ./cloud_storage_usage_schema_v0.json

    כשמשתמשים בתווים כלליים לחיפוש, כדאי להעביר יומנים שכבר הועלו ל-BigQuery לספרייה אחרת (למשל, gs://example-logs-bucket/processed), כדי למנוע מצב שבו נתונים מיומן יועלו יותר מפעם אחת.

אפשר להשתמש ב-BigQuery גם דרך כלי הדפדפן של BigQuery. כלי הדפדפן מאפשר לטעון נתונים דרך התהליך של יצירת טבלה.

למידע נוסף על טעינת נתונים מ-Cloud Storage, כולל טעינה פרוגרמטית של נתונים, ראו טעינת נתונים מ-Cloud Storage.

שינוי הסכימה של יומן שימוש

בתרחישים מסוימים כדאי לבצע עיבוד מקדים ליומני השימוש לפני שטוענים אותם ל-BigQuery. לדוגמה, אפשר להוסיף מידע ליומני השימוש כדי להקל על ניתוח השאילתה ב-BigQuery. בחלק הזה נסביר איך מוסיפים ליומן את שם הקובץ של כל יומן שימוש בנפח אחסון. לשם כך אתם צריכים לשנות את הסכימה הקיימת ואת כל אחד מקובצי היומן.

  1. משנים את הסכימה הקיימת, cloud_storage_storage_schema_v0, כדי להוסיף את שם הקובץ כפי שמוצג בהמשך. נותנים לסכימה החדשה שם חדש, לדוגמה cloud_storage_storage_schema_custom.json, כדי להבחין בינה לבין המקור.

    [  {"name": "bucket", "type": "string", "mode": "REQUIRED"},
{"name": "storage_byte_hours","type": "integer","mode": "REQUIRED"},
{"name": "filename","type": "string","mode": "REQUIRED"}
]

  2. מבצעים עיבוד מקדים של קובצי יומן השימוש בנפח אחסון על סמך הסכימה החדשה, לפני שטוענים אותם ל-BigQuery.

    לדוגמה, בסביבה של Linux, macOS או Windows (Cygwin), אפשר להשתמש בפקודות הבאות:

    gcloud storage cp gs://example-logs-bucket/example-bucket_storage\* .
for f in example-bucket_storage\*; do sed -i -e "1s/$/,\"filename\"/" -e "2s/$/,\""$f"\"/" $f; done

    הפקודה gcloud storage מעתיקה את הקבצים לספריית העבודה. הפקודה השנייה עוברת על קובצי היומן בלולאה (loop) ומוסיפה 'filename' לשורת התיאור (השורה הראשונה) ואת שם הקובץ בפועל לשורת הנתונים (השורה השנייה). דוגמה לקובץ יומן לאחר השינוי:

    "bucket","storage_byte_hours","filename"
"example-bucket","5532482018","example-bucket_storage_2014_01_05_08_00_00_021fd_v0"

  3. כשטוענים את יומני השימוש בנפח אחסון ל-BigQuery, אתם צריכים לטעון את היומנים ששונו באופן מקומי ולהשתמש בסכימה המותאמת אישית.

    for f in example-bucket_storage\*; \
do ./bq.py load --skip_leading_rows=1 storageanalysis.storage $f ./cloud_storage_storage_schema_custom.json; done

שליחת שאילתות על היומנים ב-BigQuery

אחרי שטענתם את היומנים ל-BigQuery, תוכלו לשלוח שאילתות על יומני השימוש כדי להחזיר מידע על הקטגוריות ביומן. הדוגמה הבאה מראה איך להשתמש בכלי bq בתרחיש שבו יש לכם יומני שימוש של קטגוריה במשך מספר ימים, וטענתם את היומנים כפי שמוצג בקטע טעינת יומני שימוש ל-BigQuery. אפשר להפעיל את השאילתות שבהמשך גם באמצעות כלי הדפדפן של BigQuery.

  1. בכלי bq, נכנסים למצב האינטראקטיבי.

    $ bq shell

  2. מריצים שאילתה על טבלת יומן האחסון.

    לדוגמה, השאילתה הבאה מראה איך נפח האחסון של קטגוריה ביומן משתנה עם הזמן. ההנחה היא ששיניתם את יומני השימוש בנפח האחסון כפי שמתואר בשינוי הסכימה של יומן השימוש, ושקובצי היומן נקראים 'log‎storage*‎'.

    project-name>SELECT SUBSTRING(filename, 13, 10) as day, storage_byte_hours/24 as size FROM [storageanalysis.storage] ORDER BY filename LIMIT 100

    פלט לדוגמה מהשאילתה:

    Waiting on bqjob_r36fbf5c164a966e8_0000014379bc199c_1 ... (0s) Current status: DONE
+------------+----------------------+
|    day     |         size         |
+------------+----------------------+
| 2014_01_05 | 2.3052008408333334E8 |
| 2014_01_06 | 2.3012297245833334E8 |
| 2014_01_07 | 3.3477797120833334E8 |
| 2014_01_08 | 4.4183686058333334E8 |
+-----------------------------------+

    אם לא שיניתם את הסכימה ואתם משתמשים בסכימת ברירת המחדל, אפשר להריץ את השאילתה הבאה:

    project-name>SELECT storage_byte_hours FROM [storageanalysis.storage] LIMIT 100

  3. מריצים שאילתה על טבלת יומן השימוש.

    לדוגמה, השאילתה הבאה מראה איך לסכם את ה-methods של הבקשות שבהן הלקוחות משתמשים כדי לגשת למשאבים בקטגוריה ביומן.

    project-name>SELECT cs_method, COUNT(*) AS count FROM [storageanalysis.usage] GROUP BY cs_method

    פלט לדוגמה מהשאילתה:

    Waiting on bqjob_r1a6b4596bd9c29fb_000001437d6f8a52_1 ... (0s) Current status: DONE
+-----------+-------+
| cs_method | count |
+-----------+-------+
| PUT       |  8002 |
| GET       | 12631 |
| POST      |  2737 |
| HEAD      |  2173 |
| DELETE    |  7290 |
+-----------+-------+

  4. יוצאים מהמעטפת האינטראקטיבית של הכלי של bq.

    project-name> quit

השבתת רישום ביומן

שורת הפקודה

משביתים את הרישום ביומן באמצעות הדגל --clear-log-bucket בפקודה buckets update:

gcloud storage buckets update gs://example-bucket --clear-log-bucket

כדי לבדוק אם הרישום ביומן הושבת ללא שגיאות, משתמשים בפקודה buckets describe:

gcloud storage buckets describe gs://example-bucket --format="default(logging_config)"

אם הרישום ביומן מושבת, מוחזר:

null

ממשקי API בארכיטקטורת REST

‫API בפורמט JSON

כדי להשבית את הרישום ביומן, שולחים בקשת PATCH להגדרות הרישום ביומן של הקטגוריה, כפי שמוצג בדוגמה הבאה.

PATCH /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

{
 "logging": null
}

‫API בפורמט XML

כדי להשבית את הרישום ביומן, שולחים בקשת PUT להגדרות הרישום ביומן של הקטגוריה, כפי שמוצג בדוגמה הבאה:

PUT /example-bucket?logging HTTP/1.1
Host: storage.googleapis.com

<Logging/>

פורמט של יומן שימוש ושל יומן אחסון

יומני השימוש ויומני האחסון יכולים לספק כמויות אדירות של מידע. אפשר להיעזר בטבלאות הבאות כדי לזהות את כל המידע שמופיע ביומנים האלה.

השדות של יומן השימוש:

שדה סוג תיאור
time_micros מספר שלם הזמן שבו הבקשה הושלמה, במיקרו-שניות מאז ראשית זמן יוניקס (Unix epoch).
c_ip מחרוזת כתובת ה-IP שממנה נשלחה הבקשה. הקידומת 'c' מציינת שמדובר במידע על הלקוח.
c_ip_type מספר שלם סוג ה-IP בשדה c_ip:
  • הערך 1 מציין כתובת IPV4.
  • הערך 2 מציין כתובת IPV6.
c_ip_region מחרוזת שמור לשימוש בעתיד.
cs_method מחרוזת ה-method של ה-HTTP של הבקשה הזו. הקידומת 'cs' מציינת שהמידע הזה נשלח מהלקוח לשרת.
cs_uri מחרוזת ה-URI של הבקשה.
sc_status מספר שלם קוד מצב ה-HTTP שהשרת שלח בתגובה. הקידומת 'sc' מציינת שהמידע הזה נשלח מהשרת ללקוח.
cs_bytes מספר שלם מספר הבייטים שנשלחו בבקשה.
sc_bytes מספר שלם מספר הבייטים שנשלחו בתגובה.
time_taken_micros מספר שלם הזמן שלקח למלא את הבקשה במיקרו-שניות, נמדד מרגע קבלת הבייט הראשון ועד לשליחת התגובה. הערה: כשמדובר בהעלאות שניתן להמשיך, נקודת הסיום נקבעת לפי התגובה לבקשת ההעלאה הסופית שהייתה חלק מההעלאה שניתן להמשיך.
cs_host מחרוזת המארח בבקשה המקורית.
cs_referer מחרוזת הגורם המפנה מסוג HTTP של הבקשה.
cs_user_agent מחרוזת הסוכן המשתמש של הבקשה. הערך הוא GCS Lifecycle Management לבקשות שנשלחו על ידי ניהול מחזור חיים.
s_request_id מחרוזת מזהה הבקשה.
cs_operation מחרוזת הפעולה של Cloud Storage, למשל GET_Object. הערך בשדה הזה יכול להיות null.
cs_bucket מחרוזת הקטגוריה שצוינה בבקשה.
cs_object מחרוזת האובייקט שצוין בבקשה הזו. הערך בשדה הזה יכול להיות null.

השדות של יומן האחסון:

שדה סוג תיאור
bucket מחרוזת שם הקטגוריה.
storage_byte_hours מספר שלם הגודל הממוצע של הקטגוריה בבייטים לשעות בפרק זמן של 24 שעות. כדי לקבל את הגודל הכולל הממוצע של הקטגוריה, צריך לחלק את הבייטים לשעות ב-24.