הגדרת מאגרי יומנים

במאמר הזה מוסבר איך ליצור ולנהל מאגרי נתונים (buckets) של Cloud Logging באמצעות מסוף Google Cloud ,‏ Google Cloud CLI ו-Logging API. בנוסף, במאמר מוסבר איך ליצור ולנהל קטגוריות של יומנים ברמת הפרויקט.Google Cloud אי אפשר ליצור מאגרי יומנים ברמת התיקייה או הארגון, אבל Cloud Logging יוצר באופן אוטומטי מאגרי יומנים _Default ו-_Required ברמת התיקייה והארגון.

אפשר לשדרג את מאגרי היומנים כדי להשתמש ב-Observability Analytics. בעזרת Observability Analytics אתם יכולים להריץ שאילתות SQL על נתוני היומן, וכך לפתור בעיות באפליקציה, באבטחה וברשת.

כדי להשתמש ב-BigQuery לניתוח נתוני היומנים, יש לכם שתי אפשרויות:

  • משדרגים קטגוריה ביומן כדי להשתמש ב-Observability Analytics, ואז יוצרים מערך נתונים מקושר ב-BigQuery. בתרחיש הזה, נתוני היומן מאוחסנים ב-Logging, אבל אפשר לקרוא אותם ב-BigQuery.

  • ייצוא של רשומות היומן ל-BigQuery. בתרחיש הזה, אתם צריכים ליצור יעד, BigQuery מאחסן את הנתונים ומנהל אותם, ויש לכם אפשרות להשתמש בטבלאות עם חלוקה למחיצות.

אחרי שנתוני היומן יהיו זמינים ב-BigQuery, תוכלו לצרף אותם לנתונים אחרים שמאוחסנים ב-BigQuery, ולגשת לנתונים האלה מכלי ניתוח אחרים כמו Data Studio ו-Looker.

סקירה כללית של קטגוריות ביומן מופיעה במאמר סקירה כללית על ניתוב ואחסון: קטגוריות ביומן.

במסמך הזה לא מתואר איך ליצור קטגוריה ביומן שמשתמשת במפתח הצפנה בניהול הלקוח (CMEK). אם הנושא הזה מעניין אתכם, כדאי לעיין במאמר בנושא הגדרה של CMEK לאחסון יומנים.

לפני שמתחילים

כדי להתחיל להשתמש בדליים, צריך לבצע את הפעולות הבאות:

יצירת קטגוריה

אפשר ליצור עד 100 קטגוריות לכל פרויקט.Google Cloud אי אפשר ליצור מאגרי יומנים בתיקיות או בארגונים.

כדי ליצור קטגוריה ביומן שמוגדרת על ידי המשתמש עבור הפרויקט Google Cloud , מבצעים את הפעולות הבאות:

מסוף Google Cloud

כדי ליצור קטגוריה ביומן בפרויקט Google Cloud :

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. לוחצים על Create log bucket.

  3. מזינים שם ותיאור לקטגוריה.

  4. אופציונלי: משדרגים את הדלי כדי להשתמש ב-Observability Analytics.

    1. לוחצים על שדרוג לשימוש ב-Observability Analytics.

      כשמשדרגים מאגר (bucket) לשימוש ב-Observability Analytics, אפשר להריץ שאילתות על היומנים בדף Observability Analytics באמצעות שאילתות SQL. אפשר גם להמשיך לצפות ביומנים באמצעות Logs Explorer.

    2. אופציונלי: כדי לראות את היומנים ב-BigQuery, בוחרים באפשרות Create a new BigQuery dataset that links to this bucket (יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה) ומזינים שם ייחודי למערך הנתונים.

      כשבוחרים באפשרות הזו, מערכת BigQuery יכולה לקרוא את הנתונים שמאוחסנים בקטגוריה ביומן. עכשיו אפשר להריץ שאילתות בממשק של BigQuery, שבו אפשר לצרף את נתוני היומן וגם לגשת לנתונים מכלי אחרים כמו Data Studio ו-Looker.

  5. כדי לבחור את האזור שבו יישמרו היומנים, לוחצים על התפריט בחירת אזור של קטגוריה ביומן ובוחרים אזור.

  6. אופציונלי: כדי להגדיר שמירה בהתאמה אישית של היומנים בדלי, לוחצים על הבא.

    בשדה תקופת השמירה, מזינים את מספר הימים, בין יום אחד ל-3650 days, שבהם רוצים ש-Cloud Logging ישמור את היומנים. אם לא משנים את תקופת השמירה, ברירת המחדל היא 30 days.

    אפשר גם לעדכן את תקופת השמירה של קטגוריית היומנים אחרי שיוצרים אותה.

  7. לוחצים על Create bucket.

    אחרי שיוצרים את קטגוריית היומן, שירות Logging משדרג את הקטגוריה ויוצר את הקישור למערך הנתונים, אם האפשרויות האלה נבחרו.

    יכול להיות שיעבור קצת זמן עד שהשלבים האלה יסתיימו.

gcloud

כדי ליצור רק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets create. אם רוצים לשדרג את קטגוריית היומן כדי להשתמש ב-Observability Analytics, צריך לכלול את הדגלים --enable-analytics ו---async, ולוודא שהמשתנה LOCATION מוגדר לאזור נתמך:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

הדגל --async מאלץ את הפקודה להיות אסינכרונית. הערך שמוחזר משיטה אסינכרונית הוא אובייקט Operation, שמכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

אם לא רוצים לשדרג את קטגוריית היומן לשימוש ב-Observability Analytics, צריך להשמיט את הדגלים --enable-analytics ו---async.

לדוגמה, אם רוצים ליצור קטגוריה עם השם BUCKET_ID my-bucket באזור global, הפקודה תיראה כך:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

לדוגמה, כדי ליצור קטגוריה עם השם BUCKET_ID my-upgraded-bucket במיקום global, ואז לשדרג את קטגוריית היומנים לשימוש ב-Observability Analytics, הפקודה תיראה כך:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

כדי ליצור קטגוריה, משתמשים בשיטה projects.locations.buckets.create או בשיטה projects.locations.buckets.createAsync. מכינים את הארגומנטים של השיטה באופן הבא:

  1. מגדירים את הפרמטר parent בתור המשאב שבו רוצים ליצור את הדלי: projects/PROJECT_ID/locations/LOCATION

    המשתנה LOCATION מתייחס לאזור שבו רוצים לאחסן את היומנים.

    לדוגמה, אם רוצים ליצור קטגוריה לפרויקט my-project באזור global, הפרמטר parent ייראה כך: projects/my-project/locations/global

  2. מגדירים את הפרמטר bucketId. לדוגמה, my-bucket.

  3. מבצעים אחת מהפעולות הבאות:

    • כדי ליצור קטגוריה ביומן ואז לשדרג אותה לשימוש ב-Observability Analytics:

      1. מגדירים את הערך הבוליאני LogBucket.analyticsEnabled לערך true.

      2. מבצעים קריאה לשיטה האסינכרונית projects.locations.buckets.createAsync כדי ליצור את הקטגוריה.

        התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

        השיטה createAsync נמשכת כמה דקות. השיטה הזו לא יוצרת הודעת שגיאה או נכשלת כשהערך הבוליאני analyticsEnabled מוגדר ל-true.

    • אחרת, מתקשרים לשיטה הסינכרונית projects.locations.buckets.create כדי ליצור את הקטגוריה.

אחרי שיוצרים קטגוריה, יוצרים יעד להעברת נתוני יומן כדי להעביר את רשומות היומן לקטגוריה, ומגדירים תצוגות מפורטות של יומנים כדי לקבוע למי תהיה גישה ליומנים בקטגוריה החדשה ולאילו יומנים תהיה להם גישה. אפשר גם לעדכן את ה-bucket כדי להגדיר שמירה בהתאמה אישית ושדות מוגבלים.

מעקב אחר נפח היומנים שמאוחסנים בקטגוריות של יומנים

בדף Logs Storage במסוף Google Cloud אפשר לעקוב אחרי נפח נתוני היומנים שמאוחסנים בקטגוריות של יומנים:

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בדף Logs Storage מוצג סיכום של נתונים סטטיסטיים עבור הפרויקטGoogle Cloud :

בדוח הנתונים הסטטיסטיים של הסיכום מופיעה כמות נתוני היומן שמאוחסנים בקטגוריות של יומנים בפרויקט שנבחר.

הנתונים הסטטיסטיים הבאים מדווחים:

  • הטמעה בחודש הנוכחי: כמות נתוני היומנים שפרויקטGoogle Cloud שלכם אחסן בקטגוריות של יומנים מאז היום הראשון של החודש הקלנדרי הנוכחי.

  • הטמעה של נתונים מהחודש הקודם: כמות נתוני היומנים שפרויקטGoogle Cloud שלכם אחסן בקטגוריות של יומנים בחודש הקלנדרי האחרון.

  • היקף ההטמעה הצפוי עד סוף החודש: כמות נתוני היומן המשוערת שפרויקטGoogle Cloud יאחסן במאגרי יומנים עד סוף החודש הקלנדרי הנוכחי, על סמך השימוש הנוכחי.

  • אחסון שניתן לחיוב בחודש הנוכחי: כמות נתוני היומנים שנשמרו יותר מ-30 ימים וניתנים לחיוב.

הנתונים הסטטיסטיים הקודמים לא כוללים יומנים במאגר _Required. אי אפשר להחריג או להשבית את היומנים בדלי הזה.

בדף Log Router במסוף Google Cloud יש כלים שבעזרתם אפשר לצמצם את העלויות של אחסון יומנים בדלי יומנים או של אחסון מעבר למכסת האחסון החודשית. אפשר לבצע את הפעולות הבאות:

  • השבתת האפשרות לאחסן יומנים ברמת הקטגוריה.
  • החרגה של רשומות מסוימות ביומן כך שלא יישמרו בקטגוריות של יומנים.

מידע נוסף מופיע במאמר בנושא ניהול של יעדים.

ניהול קטגוריות

בקטע הזה מוסבר איך לנהל את מאגרי היומנים באמצעות Google Cloud CLI או מסוף Google Cloud. Google Cloud

עדכון קטגוריה

כדי לעדכן את המאפיינים של הדלי, כמו התיאור או תקופת השמירה:

מסוף Google Cloud

כדי לעדכן את המאפיינים של הדלי:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. לוחצים על עוד לצד הדלי שרוצים לעדכן.

  3. בוחרים באפשרות עריכת קבוצת משתמשים.

  4. עורכים את ה-bucket לפי הצורך.

  5. לוחצים על עדכון מאגר.

gcloud

כדי לעדכן את המאפיינים של הקטגוריה, מריצים את הפקודה gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

לדוגמה:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

כדי לעדכן את המאפיינים של הקטגוריה, משתמשים ב-projects.locations.buckets.patch ב-Logging API.

שדרוג קטגוריה לשימוש ב-Observability Analytics

אחרי שמשדרגים קטגוריה לשימוש ב-Observability Analytics, כל רשומות היומן החדשות שמגיעות זמינות לניתוח בממשק של Observability Analytics. אי אפשר לבטל פעולת שדרוג בדלי.

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics, חלות ההגבלות הבאות:

  • קטגוריית היומנים נוצרה ברמת הפרויקט Google Cloud .
  • קטגוריית היומן לא נעולה, אלא אם היא קטגוריית _Required.

  • אין עדכונים בהמתנה לדלי.

מסוף Google Cloud

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מאתרים את מאגר הנתונים שרוצים לשדרג.

  3. אם בעמודה Observability Analytics available מופיע הערך Upgrade, אפשר לשדרג את קטגוריית היומן כדי להשתמש ב-Observability Analytics. לוחצים על שדרוג.

    תיפתח תיבת דו-שיח. לוחצים על אישור.

gcloud

כדי לשדרג את קטגוריית היומן לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging buckets update. חובה להגדיר את הדגל --enable-analytics, ומומלץ להגדיר גם את הדגל --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

הדגל --async מאלץ את הפקודה להיות אסינכרונית. הערך המוחזר של שיטה אסינכרונית הוא אובייקט Operation, והוא מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

REST

כדי לשדרג קטגוריה ביומן לשימוש ב-Observability Analytics, משתמשים בשיטה projects.locations.buckets.updateAsync של Cloud Logging API.

מכינים את הארגומנטים של השיטה באופן הבא:

  1. מגדירים את הערך הבוליאני LogBucket.analyticsEnabled לערך true.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-updateMask=analyticsEnabled.

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר בנושא שיטות API אסינכרוניות.

התהליך של updateAsync עשוי להימשך כמה דקות.

כדי להשתמש ביכולות של BigQuery לניתוח נתוני יומנים, שדרגו קטגוריה ביומן לשימוש ב-Observability Analytics, ואז צרו מערך נתונים מקושר. בהגדרה הזו, שירות Logging שומר את נתוני היומן, אבל ל-BigQuery יש גישה לקריאת נתוני היומן.

מסוף Google Cloud

כדי ליצור קישור למערך נתונים ב-BigQuery עבור קטגוריה ביומן קיימת:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מאתרים את קטגוריית היומנים ומוודאים שבעמודה Observability Analytics available מופיע הערך Open.

    אם בעמודה הזו מופיע הכיתוב שדרוג, סימן שלא שדרגתם את קטגוריית היומן לשימוש ב-Observability Analytics. הגדרת ניתוח נתונים של ניראות (observability):

    1. לוחצים על שדרוג.
    2. לוחצים על אישור בתיבת הדו-שיח.

    אחרי שהשדרוג מסתיים, ממשיכים לשלב הבא.

  3. בקטגוריה ביומן, לוחצים על סמל האפשרויות הנוספות ואז על עריכת קטגוריה.

    תיבת הדו-שיח עריכת קטגוריה ביומן נפתחת.

  4. בוחרים באפשרות יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה ומזינים את השם של מערך הנתונים החדש.

    שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מזינים שם של מערך נתונים קיים, מוצגת השגיאה הבאה: Dataset name must be unique in the selected region.

  5. לוחצים על Done ואז על Update bucket.

    אחרי ששם מערך הנתונים המקושר מוצג ב-Logging בדף Logs Storage, יכול להיות שיעברו כמה דקות עד שמערך הנתונים יזוהה ב-BigQuery.

gcloud

כדי ליצור מערך נתונים מקושר עבור קטגוריית יומנים ששודרגה לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי לפרויקט Google Cloud שלכם.

הפקודה links create היא אסינכרונית. הערך שמוחזר משיטה אסינכרונית הוא אובייקט Operation, והוא מכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

השלמת הפקודה links create עשויה להימשך כמה דקות.

לדוגמה, הפקודה הבאה יוצרת מערך נתונים מקושר בשם mylink עבור קטגוריית היומנים בשם my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מנסים ליצור מערך נתונים עם שם שזהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרג לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

REST

כדי ליצור מערך נתונים מקושר ב-BigQuery עבור קטגוריה ביומן קיימת ששודרגה לשימוש ב-Observability Analytics, צריך לקרוא לשיטה האסינכרונית projects.locations.buckets.links.create של Cloud Logging API.

מכינים את הארגומנטים של השיטה באופן הבא:

  1. יוצרים את גוף הבקשה לפקודה create. גוף הבקשה הוא אובייקט בפורמט Link.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-linkId=LINK_ID. הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי עבור הפרויקט שלכם ב- Google Cloud .

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

השיטה links.create נמשכת כמה דקות.

שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מנסים ליצור מערך נתונים עם שם שזהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרג לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

נעילת קטגוריה

כשנועלים קטגוריה מפני עדכונים, נועלים גם את מדיניות שמירת הנתונים של הקטגוריה. אחרי שמדיניות שמירת נתונים ננעלת, אי אפשר למחוק את הקטגוריה עד שכל רשומה ביומן בקטגוריה תעמוד בתקופת השמירה של הקטגוריה. אם רוצים למנוע מחיקה בטעות של פרויקט שמכיל קטגוריה ביומן נעולה, צריך להוסיף מנעול למניעת מחיקה לפרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות מנעולים.

כדי למנוע מאנשים לעדכן או למחוק קטגוריה ביומן, נועלים את הקטגוריה. כדי לנעול את הקטגוריה:

מסוף Google Cloud

במסוף Google Cloud אין תמיכה בנעילת מאגר יומנים.

gcloud

כדי לנעול את הקטגוריה, מריצים את הפקודה gcloud logging buckets update עם הדגל --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

לדוגמה:

gcloud logging buckets update my-bucket --location=global --locked

REST

כדי לנעול את המאפיינים של הקטגוריה, משתמשים ב-projects.locations.buckets.patch ב-Logging API. מגדירים את הפרמטר locked לערך true.

הצגת רשימה של קטגוריות

כדי לראות את מאגרי היומנים שמשויכים ל Google Cloud פרויקט, ופרטים כמו הגדרות השמירה:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בטבלה שנקראת Log buckets מפורטות הקטגוריות שמשויכות לפרויקטGoogle Cloud הנוכחי.

בטבלה מפורטים המאפיינים הבאים של כל קטגוריה ביומן:

  • שם: השם של קטגוריה ביומן.
  • תיאור: תיאור של הדלי.
  • תקופת השמירה: מספר הימים שבהם נתוני הקטגוריה יישמרו על ידי Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • סטטוס: האם הקטגוריה נעולה או לא נעולה.

אם קטגוריה נמצאת בהמתנה למחיקה על ידי Cloud Logging, הערך שלה בטבלה יסומן בסמל אזהרה.

gcloud

מריצים את הפקודה gcloud logging buckets list:

gcloud logging buckets list

אלה המאפיינים שמוצגים לגבי מאגרי היומנים:

  • ‫LOCATION: האזור שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫BUCKET_ID: השם של קטגוריה ביומן.
  • ‫RETENTION_DAYS: מספר הימים שבהם נתוני הקטגוריה יאוחסנו על ידי Cloud Logging.
  • ‫LIFECYCLE_STATE: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫LOCKED: מציין אם הקטגוריה נעולה או לא נעולה.
  • ‫CREATE_TIME: חותמת זמן שמציינת מתי נוצר המאגר.
  • ‫UPDATE_TIME: חותמת זמן שמציינת מתי בוצע השינוי האחרון בקטגוריה.

אפשר גם להציג את המאפיינים של קטגוריה אחת בלבד. לדוגמה, כדי לראות את הפרטים של קטגוריית היומנים _Default באזור global, מריצים את הפקודה gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

כדי לראות רשימה של מאגרי היומנים שמשויכים לפרויקט Google Cloud , משתמשים ב-projects.locations.buckets.list ב-Logging API.

הצגת פרטים של קטגוריה

כדי לראות את הפרטים של קטגוריה ביומן יחידה:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בקטגוריה ביומן, לוחצים על More ואז בוחרים באפשרות View bucket details.

בתיבת הדו-שיח מפורטים המאפיינים הבאים של קטגוריה ביומן:

  • שם: השם של קטגוריה ביומן.
  • תיאור: תיאור של קטגוריה ביומן.
  • תקופת השמירה: מספר הימים שבהם נתוני הקטגוריה יישמרו על ידי Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • ניתוח נתונים של יכולת התבוננות: מציין אם המאגר שודרג לשימוש בניתוח נתונים של יכולת התבוננות.
  • ניתוח BigQuery: מציין אם מערך נתונים של BigQuery מקושר למאגר.
  • מערך נתונים של BigQuery: קישור למערך הנתונים של BigQuery, שנפתח בדף BigQuery Studio. מוצג גם התאריך שבו הופעל הקישור ל-BigQuery.

gcloud

מריצים את הפקודה gcloud logging buckets describe.

לדוגמה, הפקודה הבאה מציגה את הפרטים של הקטגוריה _Default:

gcloud logging buckets describe _Default --location=global

מוצגים המאפיינים הבאים של קטגוריה ביומן:

  • ‫createTime: חותמת זמן שמציינת מתי נוצר המאגר.
  • ‫description: תיאור של קטגוריה ביומן.
  • ‫lifecycleState: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫name: השם של קטגוריה ביומן.
  • ‫retentionDays: מספר הימים שבהם נתוני הקטגוריה יאוחסנו על ידי Cloud Logging.
  • ‫updateTime: חותמת זמן שמציינת מתי בוצע השינוי האחרון בקטגוריה.

REST

כדי לראות את הפרטים של קטגוריה ביומן יחיד, משתמשים בפקודה projects.locations.buckets.get ב-Logging API.

מחיקת קטגוריה

אפשר למחוק מאגרי יומנים שעומדים באחד מהתנאים הבאים:

  • מאגר היומנים לא נעול.
  • קטגוריית היומנים נעולה וכל רשומות היומן בקטגוריית היומנים עברו את תקופת השמירה של הקטגוריה.

אי אפשר למחוק קטגוריה ביומן שנעולה מפני עדכונים אם קטגוריה ביומן זו מאחסנת רשומות ביומן שלא השלימו את תקופת השמירה של הקטגוריה.

אחרי שמוציאים את פקודת המחיקה, קטגוריה ביומן עוברת למצב DELETE_REQUESTED ונשארת במצב הזה למשך 7 ימים. במהלך תקופה זו, הרישום ביומן ממשיך לנתב את היומנים לקטגוריה ביומן. כדי להפסיק להעביר יומנים לקטגוריה ביומן, צריך למחוק או לשנות את sink ביומן שמעבירים רשומות ביומן לקטגוריה.

אי אפשר ליצור קטגוריה חדשה ביומן שמשתמשת באותו שם כמו קטגוריה ביומן שנמצאת במצב DELETE_REQUESTED.

כדי למחוק קטגוריה ביומן:

מסוף Google Cloud

כדי למחוק קטגוריה ביומן:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מאתרים את ה-bucket שרוצים למחוק ולוחצים על אפשרויות נוספות.

  3. אם בעמודה Linked dataset in BigQuery (מערך נתונים מקושר ב-BigQuery) מוצג קישור, צריך למחוק את מערך הנתונים המקושר ב-BigQuery:

    1. לוחצים על עריכת מאגר.
    2. מבטלים את הסימון של יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה, לוחצים על סיום ואז על עדכון המאגר.

      אחרי שחוזרים לדף Logs Storage, לוחצים על More ליד הדלי שרוצים למחוק, ואז ממשיכים לשלבים הבאים.

  4. בוחרים באפשרות מחיקת קטגוריה.

  5. בחלונית האישור, לוחצים על מחיקה.

  6. בדף Logs Storage (אחסון יומנים), הקטגוריה שלכם כוללת אינדיקטור שמציין שהיא ממתינה למחיקה. המאגר, כולל כל היומנים שבו, נמחק אחרי 7 ימים.

gcloud

כדי למחוק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

אי אפשר למחוק קטגוריה ביומן אם היא מקושרת למערך נתונים ב-BigQuery:

  • כדי להציג רשימה של הקישורים שמשויכים לקטגוריית יומנים, מריצים את הפקודה gcloud logging links list.
  • כדי למחוק קבוצת נתונים מקושרת, מריצים את הפקודה gcloud logging links delete.

REST

כדי למחוק קטגוריה, משתמשים ב-projects.locations.buckets.delete ב-Logging API.

אי אפשר למחוק קטגוריה ביומן אם היא מקושרת למערך נתונים ב-BigQuery. צריך למחוק את מערך הנתונים המקושר לפני שמוחקים את קטגוריה ביומן:

שחזור של קטגוריה שנמחקה

אפשר לשחזר או לבטל את המחיקה של קטגוריה ביומן שנמצאת במצב 'בהמתנה למחיקה'. כדי לשחזר קטגוריה ביומן:

מסוף Google Cloud

כדי לשחזר קטגוריה ביומן שממתינה למחיקה:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. בקטגוריה שרוצים לשחזר, לוחצים על More ואז בוחרים באפשרות Restore deleted bucket.

  3. בחלונית האישור, לוחצים על שחזור.

  4. בדף Logs Storage (אחסון יומנים), האינדיקטור של מחיקה בהמתנה מוסר מקטגוריית היומנים.

gcloud

כדי לשחזר קטגוריה ביומן שממתינה למחיקה, מריצים את הפקודה gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

כדי לשחזר קטגוריה שנמצאת בהמתנה למחיקה, משתמשים ב-projects.locations.buckets.undelete ב-Logging API.

התראה על בייטים של יומנים חודשיים שמאוחסנים בקטגוריות של יומנים

כדי ליצור מדיניות התראות, בדף Logs Storage במסוףGoogle Cloud , לוחצים על Create usage alert. הכפתור הזה פותח את הדף Create alerting policy ב-Monitoring, ומאכלס את השדה של סוג המדד בערך logging.googleapis.com/billing/bytes_ingested.

כדי ליצור מדיניות התראה שמופעלת כשמספר הבייטים ביומן שנכתבו לקטגוריות היומן חורג מהמגבלה שהוגדרה על ידי המשתמש עבור Cloud Logging, משתמשים בהגדרות הבאות.

תנאי חדש
שדה
ערך
משאב ומדד בתפריט Resources (משאבים), בוחרים באפשרות Global (גלובלי).
בתפריט Metric categories בוחרים באפשרות מדד מבוסס-יומנים.
בתפריט Metrics, בוחרים באפשרות Monthly log bytes ingested.
מסנן אין.
בסדרות עיתיות
צבירה של סדרות עיתיות		 sum
חלון נע 60 m
פונקציה אנליטית (window function) max
הגדרת טריגר להתראה
שדה
ערך
סוג התנאי Threshold
טריגר להתראה Any time series violates
מיקום הסף Above threshold
ערך הסף אתם קובעים את הערך הקביל.
חלון הבדיקה מחדש הערך המינימלי הקביל הוא 30 דקות.

מידע נוסף על מדיניות התראות מופיע במאמר סקירה כללית על התראות.

כתיבה לקטגוריה

אתם לא כותבים יומנים ישירות לקטגוריית יומנים. במקום זאת, אתם כותבים את היומנים לGoogle Cloud משאב: Google Cloud פרויקט, תיקייה או ארגון. היעדים במשאב ההורה מעבירים את היומנים ליעדים, כולל מאגרי יומנים. מאגר זמני מעביר יומנים ליעד של קטגוריית יומנים אם היומנים תואמים למסנן של המאגר הזמני, ולמאגר הזמני יש הרשאה להעביר את היומנים לקטגוריית היומנים.

קריאה מקטגוריה

לכל קטגוריה ביומן יש קבוצה של תצוגות יומנים. כדי לקרוא יומנים מקטגוריית יומנים, צריך גישה לתצוגת יומנים בקטגוריית היומנים. תצוגות יומנים מאפשרות להעניק למשתמש גישה רק לקבוצת משנה של היומנים שמאוחסנים בקטגוריה ביומן. מידע על הגדרת תצוגות יומנים ועל מתן גישה לתצוגות יומנים ספציפיות זמין במאמר הגדרת תצוגות יומנים בקטגוריה ביומן.

כדי לקרוא יומנים מקטגוריית יומנים:

מסוף Google Cloud

  1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

    כניסה אל Logs Explorer

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. כדי להתאים אישית את היומנים שמוצגים ב-Logs Explorer, לוחצים על Refine scope (צמצום ההיקף) ובוחרים באפשרות הרצויה. לדוגמה, אפשר להציג יומנים שמאוחסנים בפרויקט או לפי תצוגת יומן.

  3. לוחצים על אישור. החלונית Query results נטענת מחדש עם יומנים שתואמים לאפשרות שבחרתם.

מידע נוסף זמין במאמר סקירה כללית של Logs Explorer: צמצום ההיקף.

gcloud

כדי לקרוא יומנים מקטגוריה ביומן, משתמשים בפקודה gcloud logging read ומוסיפים LOG_FILTER כדי לבחור נתונים:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

כדי לקרוא יומנים מקטגוריית יומנים, משתמשים בשיטה entries.list. מגדירים את resourceNames כדי לציין את הקטגוריה המתאימה ואת תצוגת היומן, ומגדירים את filter כדי לבחור נתונים.

מידע מפורט על תחביר הסינון זמין במאמר בנושא שפת השאילתות של Logging.

הגדרת שימור מותאם אישית

כשיוצרים קטגוריה ביומן, אפשר להתאים אישית את התקופה שבה Cloud Logging מאחסן יומנים בקטגוריה. אפשר גם להגדיר את תקופת השמירה של קטגוריית היומן _Default כשקטגוריית היומן נמצאת בפרויקט.

אי אפשר לשנות את תקופת השמירה של קטגוריית היומנים _Required. בנוסף, אי אפשר להאריך את תקופת השמירה של קטגוריית יומנים שנמצאת בתיקייה או בארגון. עם זאת, אתם יכולים ליצור sink ביומן כדי להפנות רשומות ביומן ברמת התיקייה או הארגון לקטגוריה ביומן שנמצאת בפרויקט, ואז להגדיר את תקופת השמירה של קטגוריה זו ביומן.

אם מקצרים את תקופת השמירה של מאגר יומנים, יש תקופת חסד של 7 ימים שבה יומנים שתוקף השמירה שלהם פג לא נמחקים. אי אפשר לשלוח שאילתות לגבי היומנים שתוקפם פג או לצפות בהם. עם זאת, תוך 7 ימים, אפשר לשחזר את הגישה המלאה על ידי הארכת תקופת השמירה של ה-bucket. יומנים שנשמרים במהלך תקופת החסד נכללים בעלויות השמירה.

אכיפת שמירת הנתונים היא תהליך עקבי הדרגתי. אם אתם כותבים רשומות ביומן לקטגוריה ביומן כשהרשומות ביומן ישנות יותר מתקופת השמירה של הקטגוריה, יכול להיות שתוכלו לראות את הרשומות האלה ביומן לזמן קצר. לדוגמה, אם שולחים רשומות ביומן מלפני 10 ימים לקטגוריה ביומן עם תקופת שמירה של 7 ימים, הרשומות האלה יישמרו ואז יימחקו בסופו של דבר. רשומות היומן האלה לא נכללות בעלויות השמירה. הם כן נכללים בעלויות האחסון. כדי לצמצם את עלויות האחסון, אל תכתבו רשומות ביומן שגילן גבוה מתקופת השמירה של הדלי.

כדי לעדכן את תקופת השמירה של קטגוריה ביומן בהתאמה אישית או של קטגוריה ביומן _Default שנמצאת בפרויקט:

מסוף Google Cloud

כדי לעדכן את תקופת השמירה של מאגר יומנים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. בקטגוריה שרוצים לעדכן, לוחצים על More ואז על Edit bucket.

  3. בשדה שמירה, מזינים את מספר הימים, בין יום אחד ל-3650 days, שבהם רוצים ש-Cloud Logging ישמור את היומנים.

  4. לוחצים על עדכון מאגר. תקופת השמירה החדשה מופיעה ברשימה Logs bucket.

gcloud

כדי לעדכן את תקופת השמירה של קטגוריית יומנים שהוגדרה על ידי המשתמש או של קטגוריית היומנים _Default שנמצאת בפרויקט, מריצים את הפקודה gcloud logging buckets update אחרי שמגדירים ערך ל-RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

לדוגמה, כדי לשמור את היומנים בקטגוריה _Default במיקום global למשך שנה, הפקודה תיראה כך:

gcloud logging buckets update _Default --location=global --retention-days=365

אם מאריכים את תקופת השמירה של קטגוריה, כללי השמירה חלים על נתונים שנוספו אחרי השינוי, ולא באופן רטרואקטיבי. אחרי שתקופת השמירה הרלוונטית מסתיימת, אי אפשר לשחזר את היומנים.

שיטות API אסינכרוניות

התגובה של שיטה אסינכרונית כמו projects.locations.buckets.createAsync היא אובייקט Operation.

אפליקציות שמפעילות method אסינכרוני ב-API צריכות לבצע בדיקה חוזרת (polling) של נקודת הקצה operation.get עד שהערך של השדה Operation.done יהיה true:

  • כשהערך של done הוא false, הפעולה מתבצעת.

    כדי לרענן את פרטי הסטטוס, שולחים בקשת GET לנקודת הקצה operation.get.

  • כשהערך של done הוא true, הפעולה הושלמה ואחד מהשדות error או response מוגדר:

    • ‫error: אם הערך מוגדר, הפעולה האסינכרונית נכשלה. הערך של השדה הזה הוא אובייקט Status שמכיל קוד שגיאה של gRPC והודעת שגיאה.
    • ‫response: כשהערך מוגדר, הפעולה האסינכרונית הושלמה בהצלחה, והערך משקף את התוצאה.

כדי לבדוק את הסטטוס של פקודה אסינכרונית באמצעות Google Cloud CLI, מריצים את הפקודה הבאה:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

מידע נוסף זמין במאמר gcloud logging operations describe.

פתרון בעיות נפוצות

אם נתקלתם בבעיות בשימוש בדליים של יומנים, תוכלו להיעזר בשלבים הבאים לפתרון בעיות ובתשובות לשאלות נפוצות.

למה אי אפשר למחוק את הדלי הזה?

אם אתם מנסים למחוק קטגוריה, אתם צריכים:

  • מוודאים שיש לכם את ההרשאות הנכונות למחיקת המאגר. רשימת ההרשאות הנדרשות מופיעה במאמר בקרת גישה באמצעות IAM.

  • כדי לדעת אם הקטגוריה נעולה, צריך לבדוק את המאפיינים שלה. אם המאגר נעול, צריך לבדוק את תקופת השמירה של המאגר. אי אפשר למחוק קטגוריה נעולה עד שכל היומנים בקטגוריה יסיימו את תקופת השמירה של הקטגוריה.

  • מוודאים שקטגוריה ביומן לא מקושרת למערך נתונים ב-BigQuery. אי אפשר למחוק קטגוריה ביומן עם קבוצת נתונים מקושרת.

    השגיאה הבאה מוצגת בתגובה לפקודה delete בקטגוריית יומנים שמקושר אליה מערך נתונים:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    כדי לראות את רשימת הקישורים שמשויכים לקטגוריה ביומן, מריצים את הפקודה gcloud logging links list או את ה-method‏ projects.locations.buckets.links.list של ה-API.

אילו חשבונות שירות מעבירים יומנים אל הדלי שלי?

כדי לבדוק אם לחשבונות שירות מסוימים יש הרשאות IAM להעברת יומנים לקטגוריית היעד, מבצעים את הפעולות הבאות:

  1. נכנסים לדף IAM במסוף Google Cloud :

    כניסה לדף IAM

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שמופיע בה הכותרת המשנית IAM & Admin.

  2. בכרטיסייה Permissions (הרשאות), בוחרים באפשרות Roles (תפקידים). מוצגת טבלה עם כל התפקידים ב-IAM וחשבונות המשתמשים שמשויכים לGoogle Cloud פרויקט.

  3. בתיבת הטקסט Filter בטבלה, מזינים Logs Bucket Writer.

    מוצגים כל חשבונות המשתמשים עם התפקיד Logs Bucket Writer. אם חשבון המשתמש הוא חשבון שירות, המזהה שלו מכיל את המחרוזת gserviceaccount.com.

  4. אופציונלי: אם רוצים להסיר חשבון שירות מהאפשרות לנתב יומנים לפרויקט Google Cloud , מסמנים את תיבת הסימון של חשבון השירות ולוחצים על הסרה.

למה אני רואה יומנים של פרויקט מסוים למרות שהחרגתי אותם ממאגר הנתונים שלי? Google Cloud _Default

יכול להיות שאתם צופים ביומנים בדלי יומנים בפרויקט מרכזי Google Cloud , שבו היומנים מכל הארגון מרוכזים.

אם אתם משתמשים ב-Logs Explorer כדי לגשת ליומנים האלה ולראות יומנים שהחרגתם מ-_Default sink, יכול להיות שהתצוגה מוגדרת לGoogle Cloud רמת הפרויקט.

כדי לפתור את הבעיה, בוחרים באפשרות Log view בתפריט Refine scope ואז בוחרים את תצוגת היומן שמשויכת למאגר _Default בפרויקטGoogle Cloud . היומנים שהוחרגו לא אמורים להופיע יותר.

המאמרים הבאים

מידע על שיטות ה-API של קטגוריה ביומן מופיע במאמרי העזרה של LogBucket.

אם אתם מנהלים ארגון או תיקייה, אתם יכולים לציין את המיקום של מאגרי היומנים _Default ו-_Required של משאבי צאצא. אפשר גם להגדיר אם מאגרי יומנים ישתמשו ב-CMEK ואת ההתנהגות של _Default sink ביומן. מידע נוסף מופיע במאמר בנושא קביעת הגדרות ברירת מחדל לארגונים ולתיקיות.

מידע על טיפול בתרחישי שימוש נפוצים באמצעות מאגרי יומנים זמין בנושאים הבאים: