הגדרת מאגרי יומנים

אתם יכולים ליצור, להציג ולנהל באקטים של Cloud Logging כדי לאחסן את נתוני היומנים ולרכז אותם באמצעות Google Cloud המסוף, Google Cloud CLI או Logging API. אפשר גם להגדיר תקופות שמירה ולנעול את הדליים כדי לעמוד בדרישות התאימות.

כדי לנתח את נתוני היומן באמצעות Observability Analytics, שמספק ממשק SQL, צריך לשדרג את מאגרי היומנים. הממשק הזה מאפשר לכם להריץ שאילתות על נתוני יומן ולצרף נתוני יומן ונתוני מעקב.

כדי לנתח את נתוני היומנים באמצעות שירותי BigQuery, צריך ליצור מערכי נתונים מקושרים של BigQuery בדלי היומנים. מערכי הנתונים האלה הם לקריאה בלבד, והשאילתות בהם דומות לשאילתות בכל מערך נתונים אחר ב-BigQuery. אפשר גם לנתב רשומות ביומן ישירות ל-BigQuery.

מידע על המושגים מופיע במאמר אחסון רשומות ביומן.

לפני שמתחילים

מגדירים את הפרויקט ואת תפקידי ה-IAM, ובוחרים את הממשק שמתכננים להשתמש בו.

הגדרת הפרויקט והתפקידים

כדי להתחיל להשתמש בדליים:

בחירת הממשק שבו רוצים להשתמש

מסוף Google Cloud

כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.

gcloud

במסוף Google Cloud , מפעילים את Cloud Shell.

הפעלת Cloud Shell

בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

REST

כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

    התקינו את ה-CLI של Google Cloud.

    אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

יצירת קטגוריה

ההוראות האלה מניחות שאתם משתמשים בהצפנה שמנוהלת על ידי Google. אם אתם מעדיפים להשתמש במפתחות הצפנה בניהול הלקוח (CMEK), תוכלו לעיין במאמר בנושא הגדרת CMEK לאחסון יומנים.

אפשר ליצור עד 100 קטגוריות בכל פרויקטGoogle Cloud . אי אפשר ליצור מאגרי יומנים בתיקיות או בארגונים.

כדי ליצור קטגוריה של יומנים שמוגדרת על ידי המשתמש עבור הפרויקט Google Cloud :

מסוף Google Cloud

כדי ליצור קטגוריה של יומנים בפרויקט Google Cloud :

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. לוחצים על Create log bucket (יצירת מאגר ליומנים).

  3. מזינים שם ותיאור לקטגוריה.

  4. אופציונלי: שדרוג הדלי לשימוש ב-Observability Analytics.

    1. לוחצים על שדרוג לשימוש ב-Observability Analytics.

      כשמשדרגים מאגר (bucket) לשימוש ב-Observability Analytics, אפשר להריץ שאילתות על היומנים בדף Observability Analytics באמצעות שאילתות SQL. אפשר גם להמשיך לצפות ביומנים באמצעות Logs Explorer.

    2. אופציונלי: כדי לראות את היומנים ב-BigQuery, בוחרים באפשרות Create a new BigQuery dataset that links to this bucket (יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה) ומזינים שם ייחודי למערך הנתונים.

      כשבוחרים באפשרות הזו, מערכת BigQuery יכולה לקרוא את הנתונים שמאוחסנים בקטגוריית היומנים. עכשיו אפשר לשלוח שאילתות בממשק של BigQuery, שבו אפשר לצרף את נתוני היומן וגם לגשת לנתונים מכלי אחרים כמו Data Studio ו-Looker.

  5. כדי לבחור את האזור שבו יישמרו היומנים, לוחצים על התפריט בחירת אזור של מאגר יומנים ובוחרים אזור.

  6. אופציונלי: כדי להגדיר תקופת שמירה מותאמת אישית ליומנים בדלי, לוחצים על הבא.

    בשדה Retention period (תקופת השמירה), מזינים את מספר הימים שרוצים ש-Cloud Logging ישמור את היומנים, בין יום אחד ל-3650 daysימים. אם לא תתאימו אישית את תקופת השמירה, ברירת המחדל תהיה 30 days.

    אפשר גם לעדכן את תקופת השמירה של קטגוריית היומנים אחרי שיוצרים אותה.

  7. לוחצים על Create bucket.

    אחרי שיוצרים את מאגר היומנים, שירות Logging משדרג את המאגר ויוצר את הקישור למערך הנתונים, אם האפשרויות האלה נבחרו.

    יכול להיות שיעבור קצת זמן עד שהשלבים האלה יושלמו.

gcloud

כדי ליצור רק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets create. אם רוצים לשדרג את מאגר היומנים כדי להשתמש ב-Observability Analytics, צריך לכלול את הדגלים --enable-analytics ו---async, ולוודא שהמשתנה LOCATION מוגדר לאזור נתמך:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

הדגל --async מאלץ את הפקודה להיות אסינכרונית. הערך שמוחזר משיטה אסינכרונית הוא אובייקט Operation, שמכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל מידע על הצלחת הבקשה או על הכישלון שלה. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

אם אתם לא רוצים לשדרג את מאגר היומנים כדי להשתמש ב-Observability Analytics, אל תכללו את הדגלים --enable-analytics ו---async.

לדוגמה, אם רוצים ליצור קטגוריה עם השם BUCKET_ID my-bucket באזור global, הפקודה תיראה כך:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

לדוגמה, כדי ליצור קטגוריה עם השם BUCKET_ID my-upgraded-bucket במיקום global, ואז לשדרג את קטגוריית היומנים לשימוש ב-Observability Analytics, הפקודה תיראה כך:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

כדי ליצור קטגוריה, משתמשים בשיטה projects.locations.buckets.create או בשיטה projects.locations.buckets.createAsync. מכינים את הארגומנטים של השיטה באופן הבא:

  1. מגדירים את הפרמטר parent בתור המשאב שבו רוצים ליצור את הדלי: projects/PROJECT_ID/locations/LOCATION

    המשתנה LOCATION מתייחס לאזור שבו רוצים לאחסן את היומנים.

    לדוגמה, אם רוצים ליצור קטגוריה לפרויקט my-project באזור global, הפרמטר parent ייראה כך: projects/my-project/locations/global

  2. מגדירים את הפרמטר bucketId. לדוגמה: my-bucket.

  3. מבצעים אחת מהפעולות הבאות:

    • כדי ליצור קטגוריית יומנים ואז לשדרג אותה לשימוש ב-Observability Analytics:

      1. מגדירים את הערך הבוליאני LogBucket.analyticsEnabled לערך true.

      2. מבצעים קריאה ל-method האסינכרונית projects.locations.buckets.createAsync כדי ליצור את הקטגוריה.

        התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

        השיטה createAsync נמשכת כמה דקות. השיטה הזו לא יוצרת הודעת שגיאה או נכשלת כשהערך הבוליאני analyticsEnabled מוגדר כ-true.

    • אחרת, מתקשרים לשיטה הסינכרונית projects.locations.buckets.create כדי ליצור את הקטגוריה.

אחרי שיוצרים קטגוריה, יוצרים יעד להעברת רשומות ביומן לקטגוריה ומגדירים תצוגות מפורטות של יומנים כדי לקבוע למי תהיה גישה ליומנים בקטגוריה החדשה ולאילו יומנים תהיה להם גישה. אפשר גם לעדכן את הדלי כדי להגדיר שמירה בהתאמה אישית ושדות מוגבלים.

הצגת רשימה של קטגוריות ביומן ופרטים שלהן

בקטע הזה מוסבר איך להציג את רשימת מאגרי היומנים בפרויקט, בתיקייה או בארגון, ואיך לראות את הפרטים שלהם.

הצגת רשימה של קטגוריות

כדי להציג את מאגרי היומנים שמשויכים ל Google Cloud פרויקט, ולראות פרטים כמו הגדרות השמירה, מבצעים את הפעולות הבאות:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בטבלה בשם Log buckets מפורטות הקטגוריות שמשויכות לפרויקטGoogle Cloud הנוכחי.

בטבלה הבאה מפורטים המאפיינים של כל מאגר יומנים:

  • ‫Name: השם של מאגר היומנים.
  • תיאור: תיאור של הדלי.
  • תקופת השמירה: מספר הימים שבהם נתוני הקטגוריה יישמרו על ידי Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • סטטוס: מציין אם הקטגוריה נעולה או לא נעולה.

אם קטגוריה נמצאת בהמתנה למחיקה על ידי Cloud Logging, הערך שלה בטבלה יסומן בסמל אזהרה.

gcloud

מריצים את הפקודה gcloud logging buckets list:

gcloud logging buckets list

אלה המאפיינים שמוצגים לגבי מאגרי היומנים:

  • ‫LOCATION: האזור שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫BUCKET_ID: השם של מאגר היומנים.
  • ‫RETENTION_DAYS: מספר הימים שבהם נתוני הקטגוריה יאוחסנו על ידי Cloud Logging.
  • ‫LIFECYCLE_STATE: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫LOCKED: מציין אם הקטגוריה נעולה או לא נעולה.
  • ‫CREATE_TIME: חותמת זמן שמציינת מתי נוצר המאגר.
  • ‫UPDATE_TIME: חותמת זמן שמציינת מתי הקטגוריה שונתה לאחרונה.

אפשר גם לראות את המאפיינים של קטגוריה אחת בלבד. לדוגמה, כדי לראות את הפרטים של קטגוריית היומנים _Default באזור global, מריצים את הפקודה gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

כדי לראות רשימה של מאגרי היומנים שמשויכים ל Google Cloud פרויקט, משתמשים ב-projects.locations.buckets.list ב-Logging API.

צפייה בפרטי קטגוריה

פרטי מאגר יומנים כוללים את השם, התיאור, המיקום ותקופת השמירה. אפשר גם לראות מתי נוצר מאגר היומנים ומתי הוא עודכן לאחרונה, ומה השם של מערך הנתונים המקושר ב-BigQuery, אם קיים כזה.

כדי לראות את הפרטים של מאגר יומנים יחיד:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בקטגוריית יומני הגישה, לוחצים על סמל האפשרויות הנוספות ואז בוחרים באפשרות הצגת פרטי הקטגוריה.

בתיבת הדו-שיח מפורטים המאפיינים הבאים של מאגר היומנים:

  • ‫Name: השם של מאגר היומנים.
  • תיאור: תיאור של מאגר היומנים.
  • תקופת השמירה: מספר הימים שבהם נתוני הקטגוריה יישמרו על ידי Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫Observability Analytics: מציין אם המאגר שודרג לשימוש ב-Observability Analytics.
  • ניתוח BigQuery: מציין אם קבוצת נתונים של BigQuery מקושרת לקטגוריה.
  • מערך נתונים ב-BigQuery: קישור למערך הנתונים ב-BigQuery, שנפתח בדף BigQuery Studio. מוצג גם התאריך שבו הופעל הקישור ל-BigQuery.

gcloud

מריצים את הפקודה gcloud logging buckets describe.

לדוגמה, הפקודה הבאה מציגה את הפרטים של הקטגוריה _Default:

gcloud logging buckets describe _Default --location=global

אלה המאפיינים שמוצגים לגבי מאגר היומנים:

  • ‫createTime: חותמת זמן שמציינת מתי נוצר המאגר.
  • ‫description: תיאור של מאגר יומנים.
  • ‫lifecycleState: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫name: השם של מאגר היומנים.
  • ‫retentionDays: מספר הימים שבהם נתוני הקטגוריה יאוחסנו על ידי Cloud Logging.
  • ‫updateTime: חותמת זמן שמציינת מתי הקטגוריה שונתה לאחרונה.

REST

כדי לראות את הפרטים של מאגר יומנים יחיד, משתמשים בפקודה projects.locations.buckets.get ב-Logging API.

ניהול קטגוריות אחסון

בקטע הזה מוסבר איך לנהל את מאגרי היומנים באמצעות Google Cloud CLI או Google Cloud מסוף Google Cloud.

עדכון קטגוריה

כדי לעדכן את המאפיינים של הקטגוריה, כמו התיאור או תקופת השמירה:

מסוף Google Cloud

כדי לעדכן את המאפיינים של הדלי:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. במאגר שרוצים לעדכן, לוחצים על אפשרויות נוספות.

  3. לוחצים על עריכת דלי.

  4. עורכים את ה-bucket לפי הצורך.

  5. לוחצים על עדכון מאגר.

gcloud

כדי לעדכן את המאפיינים של הקטגוריה, מריצים את הפקודה gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

לדוגמה:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

כדי לעדכן את המאפיינים של הדלי, משתמשים ב-projects.locations.buckets.patch ב-Logging API.

הגדרת תקופת שמירה מותאמת אישית

כשיוצרים מאגר יומנים, אפשר להתאים אישית את התקופה שבה Cloud Logging מאחסן יומנים במאגר. אפשר גם להגדיר את תקופת השמירה של קטגוריית היומנים _Default כשקטגוריית היומנים הזו נמצאת בפרויקט.

אי אפשר לשנות את תקופת השמירה של קטגוריית היומנים _Required. בנוסף, אי אפשר להאריך את תקופת השמירה של מאגר יומנים שנמצא בתיקייה או בארגון. עם זאת, אתם יכולים ליצור sink ביומן כדי להפנות רשומות ביומן ברמת התיקייה או הארגון למאגר יומנים שנמצא בפרויקט, ואז להגדיר את תקופת השמירה של מאגר היומנים הזה.

אם מקצרים את תקופת השמירה של קטגוריית יומנים, יש תקופת חסד של 7 ימים שבה יומנים שתוקף השמירה שלהם פג לא נמחקים. אי אפשר לשלוח שאילתות לגבי היומנים שפג תוקפם או לצפות בהם. עם זאת, תוך 7 ימים, אפשר לשחזר את הגישה המלאה על ידי הארכת תקופת השמירה של ה-bucket. יומנים שנשמרים במהלך תקופת החסד נכללים בעלויות השמירה.

אכיפת שמירת הנתונים היא תהליך עם עקביות הדרגתית. אם אתם כותבים רשומות ביומן לדלי יומנים כשהרשומות ביומן ישנות יותר מתקופת השמירה של הדלי, יכול להיות שתוכלו לראות את הרשומות האלה ביומן לזמן קצר. לדוגמה, אם שולחים רשומות ביומן בנות 10 ימים למאגר יומנים עם תקופת שמירה של 7 ימים, הרשומות האלה יישמרו ואז יימחקו. רשומות היומן האלה לא נכללות בעלויות השמירה. הם כן נכללים בעלויות האחסון. כדי לצמצם את עלויות האחסון, אל תכתבו רשומות ביומן שגילן גדול יותר מתקופת השמירה של הדלי.

כדי לעדכן את תקופת השמירה של מאגר יומנים בהתאמה אישית או של מאגר היומנים _Default שנמצא בפרויקט:

מסוף Google Cloud

כדי לעדכן את תקופת השמירה של מאגר יומנים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. בקטגוריה שרוצים לעדכן, לוחצים על More ואז על Edit bucket.

  3. בשדה Retention (שמירה), מזינים את מספר הימים שרוצים ש-Cloud Logging ישמור את היומנים (בין יום אחד ל-3650 daysימים).

  4. לוחצים על עדכון מאגר. תקופת השמירה החדשה תופיע ברשימה Logs bucket.

gcloud

כדי לעדכן את תקופת השמירה של קטגוריית יומנים שהוגדרה על ידי המשתמש או של קטגוריית היומנים _Default שנמצאת בפרויקט, מריצים את הפקודה gcloud logging buckets update אחרי שמגדירים ערך ל-RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

לדוגמה, כדי לשמור את היומנים בקטגוריה _Default במיקום global למשך שנה, הפקודה תיראה כך:

gcloud logging buckets update _Default --location=global --retention-days=365

אם מאריכים את תקופת השמירה של קטגוריה, כללי השמירה חלים על נתונים שנוספו אחרי ההארכה, ולא באופן רטרואקטיבי. אי אפשר לשחזר יומנים אחרי שתקופת השמירה הרלוונטית מסתיימת.

נעילת קטגוריה

כשנועלים קטגוריה מפני עדכונים, נועלים גם את מדיניות שמירת הנתונים של הקטגוריה. אחרי שמדיניות שמירת נתונים ננעלת, אי אפשר למחוק את הקטגוריה עד שכל רשומה ביומן בקטגוריה תעמוד בתקופת השמירה של הקטגוריה. אם רוצים למנוע מחיקה בטעות של פרויקט שמכיל קטגוריה נעולה ביומן, צריך להוסיף מנעול למניעת מחיקה לפרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות מנעולים.

כדי למנוע מאנשים לעדכן או למחוק קטגוריה של יומנים, צריך לנעול את הקטגוריה. כדי לנעול את הקטגוריה:

מסוף Google Cloud

במסוף Google Cloud אין תמיכה בנעילת מאגר יומנים.

gcloud

כדי לנעול את הקטגוריה, מריצים את הפקודה gcloud logging buckets update עם הדגל --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

לדוגמה:

gcloud logging buckets update my-bucket --location=global --locked

REST

כדי לנעול את המאפיינים של הקטגוריה, משתמשים ב-projects.locations.buckets.patch ב-Logging API. מגדירים את הפרמטר locked לערך true.

מחיקת קטגוריה

אפשר למחוק מאגרי יומנים שעומדים באחד מהתנאים הבאים:

  • מאגר היומנים לא נעול.
  • קטגוריית היומנים נעולה וכל הרשומות ביומן בקטגוריית היומנים עברו את תקופת השמירה של הקטגוריה.

אי אפשר למחוק מאגר יומנים באף אחד מהמקרים הבאים:

  • קטגוריית היומנים נעולה מפני עדכונים, והיא מאחסנת רשומות ביומן שלא עמדו בתקופת השמירה של הקטגוריה.

  • יש לפחות קישור אחד בדלי של היומנים. כדי לבדוק אם יש קישורים לקטגוריית היומן, אפשר להשתמש במסוף Google Cloud או להריץ את הפקודה gcloud logging links list.

    כשצריך, מוחקים קישורים באמצעות הפקודה gcloud logging links delete. אם מוחקים קישור, נמחקים גם כל הארטיפקטים שמשויכים אליו, כולל מערך נתונים מקושר ב-BigQuery.

אחרי שמוציאים את פקודת המחיקה, מאגר היומנים עובר למצב DELETE_REQUESTED ונשאר במצב הזה למשך 7 ימים. במהלך התקופה הזו, Logging ממשיך להעביר יומנים לדלי היומנים. כדי להפסיק את ניתוב היומנים למאגר היומנים, צריך למחוק או לשנות את sink ביומן שמנתבים את רשומות היומן למאגר.

אי אפשר ליצור מאגר חדש של יומני אירועים עם אותו שם של מאגר יומני אירועים שנמצא במצב DELETE_REQUESTED.

כדי למחוק מאגר לניהול יומנים:

מסוף Google Cloud

כדי למחוק מאגר לניהול יומנים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מוצאים את מאגר הנתונים שרוצים למחוק ולוחצים על סמל האפשרויות הנוספות.

  3. אם בעמודה Linked dataset in BigQuery (מערך נתונים מקושר ב-BigQuery) מוצג קישור, צריך למחוק את מערך הנתונים המקושר ב-BigQuery:

    1. לוחצים על עריכת מאגר.
    2. מבטלים את הסימון של יצירת קבוצת נתונים חדשה ב-BigQuery שמקושרת לקטגוריה הזו, לוחצים על סיום ואז על עדכון הקטגוריה.

      אחרי שחוזרים לדף Logs Storage, לוחצים על More ליד הקטגוריה שרוצים למחוק, ואז ממשיכים לשלבים הבאים.

  1. בוחרים באפשרות מחיקת קטגוריה.

  2. בחלונית האישור, לוחצים על מחיקה.

  3. בדף Logs Storage (אחסון יומנים), בדלי מופיע אינדיקטור שמציין שהוא נמצא בהמתנה למחיקה. המאגר, כולל כל היומנים שבו, יימחק אחרי 7 ימים.

gcloud

כדי למחוק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

כדי למחוק קטגוריה, משתמשים ב-projects.locations.buckets.delete ב-Logging API.

שחזור של קטגוריה שנמחקה

אפשר לשחזר, או לבטל מחיקה, של קטגוריה ביומן שנמצאת במצב של מחיקה בהמתנה. כדי לשחזר מאגר יומנים:

מסוף Google Cloud

כדי לשחזר מאגר יומנים שממתין למחיקה:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. בקטגוריה שרוצים לשחזר, לוחצים על More ואז על Restore deleted bucket.

  3. בחלונית האישור, לוחצים על שחזור.

  4. בדף Logs Storage, האינדיקטור pending-deletion מוסר מקטגוריית היומנים.

gcloud

כדי לשחזר מאגר יומנים שממתין למחיקה, מריצים את הפקודה gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

כדי לשחזר קטגוריה שממתינה למחיקה, משתמשים ב-projects.locations.buckets.undelete ב-Logging API.

הפעלת Observability Analytics ושליחת שאילתות מ-BigQuery

בקטע הזה מוסבר איך:

  • כדאי לשדרג את מאגר היומנים כדי שתוכלו לנתח את נתוני היומנים באמצעות Observability Analytics, שמספק ממשק SQL.

  • יצירת קישורים לקטגוריות של יומנים. קישור מספק חיבור בין קטגוריה ביומן לבין קבוצת נתונים מקושרת ב-BigQuery. אפשר להשתמש בשירותי BigQuery כדי להריץ שאילתות על מערך הנתונים המקושר.

שדרוג קטגוריה לשימוש ב-Observability Analytics

אחרי שמשדרגים קטגוריה לשימוש ב-Observability Analytics, כל רשומות היומן החדשות שמגיעות זמינות לניתוח בממשק של Observability Analytics. אי אפשר לבטל פעולת שדרוג של דלי.

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics, חלות ההגבלות הבאות:

  • קטגוריית היומנים נוצרה ברמת הפרויקט Google Cloud .
  • קטגוריית היומן לא נעולה, אלא אם היא קטגוריית _Required.

  • אין עדכונים בהמתנה לדלי.

מסוף Google Cloud

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מאתרים את מאגר הנתונים שרוצים לשדרג.

  3. אם בעמודה Observability Analytics available מופיע הערך Upgrade, אפשר לשדרג את מאגר היומנים כדי להשתמש ב-Observability Analytics. לוחצים על שדרוג.

    תיפתח תיבת דו-שיח. לוחצים על אישור.

gcloud

כדי לשדרג את מאגר היומנים לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging buckets update. חובה להגדיר את הדגל --enable-analytics, ומומלץ להגדיר גם את הדגל --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

הדגל --async מאלץ את הפקודה להיות אסינכרונית. התגובה היא אובייקט Operation. מבצעים סקר לשיטה projects.locations.operations.get עד שהשדה Operation.done מוגדר ל-true. שדות אחרים במבנה Operation מספקים מידע על הצלחת הבקשה או על הכישלון שלה. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

REST

כדי לשדרג מאגר יומנים לשימוש ב-Observability Analytics, משתמשים ב-method ‏projects.locations.buckets.updateAsync של Cloud Logging API.

מכינים את הארגומנטים של השיטה באופן הבא:

  1. מגדירים את הערך הבוליאני LogBucket.analyticsEnabled לערך true.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-updateMask=analyticsEnabled.

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל מידע על הצלחת הבקשה או על הכישלון שלה. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

השיטה updateAsync עשויה להימשך כמה דקות.

אם רוצים להשתמש ביכולות של BigQuery כדי לנתח את נתוני היומנים, צריך לשדרג את מאגר היומנים לשימוש ב-Observability Analytics, ואז ליצור מערך נתונים מקושר. בהגדרה הזו, שירות Logging שומר את נתוני היומן, אבל ל-BigQuery יש גישה לקריאת נתוני היומן.

מסוף Google Cloud

כדי ליצור קישור למערך נתונים ב-BigQuery עבור מאגר יומנים קיים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    כניסה אל Logs Storage

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מאתרים את מאגר היומנים ומוודאים שבעמודה Observability Analytics available מופיעה האפשרות Open.

    אם בעמודה הזו מופיע שדרוג, סימן שלא שדרגתם את מאגר היומנים לשימוש ב-Observability Analytics. הגדרת Observability Analytics:

    1. לוחצים על שדרוג.
    2. לוחצים על אישור בתיבת הדו-שיח.

    אחרי שהשדרוג מסתיים, ממשיכים לשלב הבא.

  3. במאגר היומנים, לוחצים על More ואז על Edit bucket.

    תיבת הדו-שיח עריכת מאגר יומנים נפתחת.

  4. בוחרים באפשרות יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה ומזינים את השם של מערך הנתונים החדש.

    שם מערך הנתונים חייב להיות ייחודי לכל פרויקט. Google Cloud אם מזינים שם של מערך נתונים קיים, מוצגת השגיאה הבאה: Dataset name must be unique in the selected region.

  5. לוחצים על סיום ואז על עדכון מאגר.

    אחרי ששם מערך הנתונים המקושר מוצג ב-Logging בדף Logs Storage, יכול להיות שיחלפו כמה דקות עד שמערך הנתונים יזוהה ב-BigQuery.

gcloud

כדי ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן ששודרגה לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי לפרויקט Google Cloud .

הפקודה links create היא אסינכרונית. הערך שמוחזר משיטה אסינכרונית הוא אובייקט Operation, והוא מכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

הפקודה links create נמשכת כמה דקות.

לדוגמה, הפקודה הבאה יוצרת מערך נתונים מקושר בשם mylink עבור קטגוריית היומנים בשם my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

שם מערך הנתונים חייב להיות ייחודי לכל פרויקט. Google Cloud אם מנסים ליצור מערך נתונים עם שם שזהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרגה לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

REST

כדי ליצור קבוצת נתונים מקושרת ב-BigQuery עבור קטגוריה ביומן קיימת ששודרגה לשימוש ב-Observability Analytics, צריך לקרוא לשיטה האסינכרונית projects.locations.buckets.links.create של Cloud Logging API.

מכינים את הארגומנטים של השיטה באופן הבא:

  1. יוצרים את גוף הבקשה לפקודה create. גוף הבקשה מפורמט כאובייקט Link.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-linkId=LINK_ID. הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי לפרויקט Google Cloud שלכם.

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

השיטה links.create נמשכת כמה דקות.

שם מערך הנתונים חייב להיות ייחודי לכל פרויקט. Google Cloud אם מנסים ליצור מערך נתונים עם שם שזהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרגה לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

שאילתות לגבי שיטות API אסינכרוניות

התגובה של שיטה אסינכרונית כמו projects.locations.buckets.createAsync היא אובייקט Operation.

אפליקציות שקוראות ל-method אסינכרוני של API צריכות לבצע סקר ל-method ‏operation.get עד שהערך של השדה Operation.done הוא true:

  • אם הערך של done הוא false, הפעולה מתבצעת.

    כדי לרענן את פרטי הסטטוס, שולחים בקשת GET ל-method‏ operation.get.

  • אם הערך של done הוא true, הפעולה הושלמה ואחד מהשדות error או response מוגדר:

    • ‫error: אם הערך מוגדר, הפעולה האסינכרונית נכשלה. הערך של השדה הזה הוא אובייקט Status שמכיל קוד שגיאה של gRPC והודעת שגיאה.
    • ‫response: כשהערך מוגדר, הפעולה האסינכרונית הושלמה בהצלחה, והערך משקף את התוצאה.

כדי לבדוק את הסטטוס של פקודה אסינכרונית באמצעות Google Cloud CLI, מריצים את הפקודה הבאה:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

מידע נוסף זמין במאמר gcloud logging operations describe.

קריאה וכתיבה של רשומות ביומן

אתם לא כותבים יומנים ישירות לקטגוריית יומנים. במקום זאת, אתם כותבים את היומנים לGoogle Cloud משאב: פרויקט, תיקייה או ארגון ב- Google Cloud . לאחר מכן, מאגרי הנתונים במשאב ההורה מעבירים את היומנים ליעדים, כולל מאגרי יומנים. מאגר מעביר יומנים ליעד של קטגוריית יומנים אם היומנים תואמים למסנן של המאגר, ולמאגר יש הרשאה להעביר את היומנים לקטגוריית היומנים. מידע נוסף זמין במאמר בנושא ניתוב רשומות ביומן.

לכל מאגר יומנים יש קבוצה של תצוגות יומנים. כדי לקרוא יומנים מקטגוריית יומנים, צריך גישה לתצוגת יומנים בקטגוריית היומנים. תצוגות יומן מאפשרות להעניק למשתמש גישה רק לקבוצת משנה של היומנים שמאוחסנים במאגר יומנים. מידע נוסף על תצוגות יומן זמין במאמרים אחסון רשומות ביומן והגדרה של תצוגות יומן בקטגוריה ביומן.

כדי לקרוא יומנים מקטגוריית יומנים:

מסוף Google Cloud

  1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

    כניסה אל Logs Explorer

    אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. כדי להתאים אישית את היומנים שמוצגים ב-Logs Explorer, לוחצים על Refine scope (צמצום ההיקף) ואז בוחרים באחת מהאפשרויות. לדוגמה, אתם יכולים לראות יומנים שמאוחסנים בפרויקט או בתצוגת יומן.

  3. לוחצים על אישור. החלונית Query results נטענת מחדש עם יומנים שתואמים לאפשרות שבחרתם.

מידע נוסף זמין במאמר בנושא סקירה כללית על Logs Explorer: צמצום היקף.

gcloud

כדי לקרוא יומנים מקטגוריה של יומנים, משתמשים בפקודה gcloud logging read ומוסיפים LOG_FILTER כדי לבחור נתונים:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

כדי לקרוא יומנים מקטגוריית יומנים, משתמשים בשיטה entries.list. מגדירים את resourceNames כדי לציין את הקטגוריה ואת תצוגת היומן המתאימות, ומגדירים את filter כדי לבחור נתונים.

מידע מפורט על תחביר הסינון זמין במאמר בנושא שפת השאילתות של Logging.

מעקב אחר נפח

בקטע הזה מוסבר איך אפשר לעקוב אחרי נפח נתוני היומן.

מעקב אחר נפח היומנים שמאוחסנים בקטגוריות של יומנים

בדף Logs Storage במסוף Google Cloud אפשר לעקוב אחרי נפח נתוני היומן שמאוחסנים בקטגוריות של יומנים:

נכנסים לדף Logs Storage במסוף Google Cloud :

כניסה אל Logs Storage

אם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

בדף Logs Storage מוצג סיכום של נתונים סטטיסטיים לגבי הפרויקטGoogle Cloud :

בדוח הסטטיסטיקה המסכמת מפורטת כמות נתוני היומן שמאוחסנים במאגרי יומנים בפרויקט שנבחר.

הנתונים הסטטיסטיים הבאים מדווחים:

  • הטמעה בחודש הנוכחי: כמות נתוני היומן שפרויקטGoogle Cloud שלכם אחסן בקטגוריות של יומנים מאז היום הראשון של החודש הקלנדרי הנוכחי.

  • הטמעה של נתונים מהחודש הקודם: כמות נתוני היומן שפרויקטGoogle Cloud שלכם אחסן בקטגוריות של יומנים בחודש הקלנדרי האחרון.

  • הנפח המשוער של הנתונים שייקלטו עד סוף החודש: כמות נתוני היומן המשוערת שGoogle Cloud הפרויקט יאחסן במאגרי יומנים עד סוף החודש הקלנדרי הנוכחי, על סמך השימוש הנוכחי.

  • אחסון שניתן לחיוב בחודש הנוכחי: כמות נתוני היומן שנשמרו יותר מ-30 ימים וניתנים לחיוב.

הנתונים הסטטיסטיים הקודמים לא כוללים יומנים ב-_Required bucket. אי אפשר להחריג או להשבית את היומנים בדלי הזה.

בדף Log Router במסוף Google Cloud יש כלים שבעזרתם אפשר לצמצם את העלויות של אחסון יומנים בדלי יומנים או של אחסון מעבר למכסת האחסון החודשית. אפשר לבצע את הפעולות הבאות:

  • השבתת האפשרות לאחסון יומנים ברמת הקטגוריה.
  • החרגה של רשומות מסוימות ביומן כך שלא יישמרו בקטגוריות של יומנים.

מידע נוסף על ניהול של יעדים

התראה על בייטים של יומנים חודשיים שמאוחסנים בקטגוריות של יומנים

כדי ליצור מדיניות התראות, עוברים לדף Logs Storage במסוףGoogle Cloud , לוחצים על Create usage alert וממלאים את תיבת הדו-שיח. בדף יצירת מדיניות התראות, השדה של סוג המדד מאוכלס מראש בערך logging.googleapis.com/billing/bytes_ingested.

כדי ליצור מדיניות התראה שמופעלת כשמספר הבייטים ביומן שנכתבו לקטגוריות היומן חורג מהמגבלה שהוגדרה על ידי המשתמש ב-Cloud Logging, משתמשים בהגדרות הבאות.

תנאי חדש
שדה
ערך
מקור מידע ומדד בתפריט Resources (משאבים), בוחרים באפשרות Global (גלובלי).
בתפריט Metric categories בוחרים באפשרות מדד מבוסס-יומנים.
בתפריט Metrics, בוחרים באפשרות Monthly log bytes ingested.
מסנן אין.
בסדרות זמנים
צבירה של סדרות זמנים		 sum
חלון נע 60 m
פונקציה אנליטית (window function) max
הגדרת טריגר להתראה
שדה
ערך
סוג התנאי Threshold
טריגר להתראה Any time series violates
מיקום הסף Above threshold
סכום הסף אתם קובעים את הערך הקביל.
חלון בדיקה חוזרת הערך המינימלי הקביל הוא 30 דקות.

מידע נוסף על מדיניות התראות זמין במאמר סקירה כללית על התראות.

פתרון בעיות נפוצות

אם נתקלתם בבעיות בשימוש בדליים של יומנים, תוכלו להיעזר בשלבים הבאים לפתרון בעיות ובתשובות לשאלות נפוצות.

למה אי אפשר למחוק את הדלי הזה?

אם אתם מנסים למחוק קטגוריה, אתם צריכים:

  • מוודאים שאין קישורים בדלי של יומני הגישה. אי אפשר למחוק מאגרי יומנים שמכילים קישורים.

    השגיאה הבאה מוצגת בתגובה לפקודה delete בדלי של יומנים שמקושר אליו מערך נתונים ב-BigQuery:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    כדי לראות את רשימת הקישורים שמשויכים למאגר יומנים, מריצים את הפקודה gcloud logging links list או את ה-API method‏ projects.locations.buckets.links.list.

    כדי למחוק קישורים, משתמשים בפקודה gcloud logging links delete.

אילו חשבונות שירות מעבירים יומנים אל הדלי שלי?

כדי לבדוק אם לחשבונות שירות מסוימים יש הרשאות IAM להעברת יומנים לקטגוריית היעד, מבצעים את הפעולות הבאות:

  1. נכנסים לדף IAM במסוף Google Cloud :

    כניסה לדף IAM

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שמופיע בה הכותרת המשנית IAM & Admin.

  2. בכרטיסייה Permissions (הרשאות), בוחרים באפשרות Roles (תפקידים). מוצגת טבלה עם כל התפקידים ב-IAM וחשבונות המשתמשים שמשויכים לGoogle Cloud פרויקט.

  3. בתיבת הטקסט Filter של הטבלה , מזינים Logs Bucket Writer.

    מוצגים כל חשבונות המשתמשים עם התפקיד כתיבה בדלי יומנים. אם חשבון המשתמש הוא חשבון שירות, המזהה שלו מכיל את המחרוזת gserviceaccount.com.

  4. אופציונלי: אם רוצים להסיר חשבון שירות מהאפשרות לנתב יומנים לפרויקט Google Cloud , מסמנים את תיבת הסימון של חשבון השירות ולוחצים על הסרה.

למה אני רואה יומנים של Google Cloud פרויקט מסוים למרות שהחרגתי אותם ממאגר _Default?

יכול להיות שאתם צופים ביומנים בדלי יומנים בפרויקט מרכזי Google Cloud , שבו היומנים נצברים מכל הארגון.

אם אתם משתמשים בכלי Logs Explorer כדי לגשת ליומנים האלה ולראות יומנים שהחרגתם מ-_Default sink, יכול להיות שהתצוגה מוגדרת לGoogle Cloud רמת הפרויקט.

כדי לפתור את הבעיה הזו, בוחרים באפשרות Log view בתפריט Refine scope ואז בוחרים את תצוגת היומן שמשויכת לדלי _Default בפרויקטGoogle Cloud . היומנים שהוחרגו לא אמורים להופיע יותר.

המאמרים הבאים

מידע על שיטות ה-API של מאגר יומנים מופיע במאמרי העזרה של LogBucket.

אם אתם מנהלים ארגון או תיקייה, אתם יכולים לציין את המיקום של _Default ושל _Required דלי אחסון של יומנים של משאבים צאצאים. אפשר גם להגדיר אם מאגרי יומנים ישתמשו ב-CMEK ואת ההתנהגות של _Default sink ביומן. מידע נוסף מופיע במאמר בנושא קביעת הגדרות ברירת מחדל לארגונים ולתיקיות.

מידע על טיפול בתרחישי שימוש נפוצים באמצעות מאגרי יומנים זמין בנושאים הבאים: