הגדרת מאגרי יומנים

אתם יכולים ליצור, להציג ולנהל קטגוריות של Cloud Logging כדי לאחסן ולרכז את נתוני היומנים באמצעות מסוף Google Cloud , Google Cloud CLI או Logging API. אפשר גם להגדיר תקופות שמירה ולנעול קטגוריות כדי לעמוד בדרישות התאימות.

כדי לנתח את נתוני היומן באמצעות Observability Analytics, שמספק ממשק SQL, צריך לשדרג את קטגוריות היומנים. הממשק הזה מאפשר לשלוח שאילתות לגבי נתוני יומנים ולשלב נתוני יומנים ונתוני מעקב.

כדי לנתח את נתוני היומנים באמצעות שירותי BigQuery, צריך ליצור מערכי נתונים מקושרים של BigQuery בקטגוריות היומנים. מערכי הנתונים האלה הם לקריאה בלבד, והשאילתות עליהם מתבצעות באופן דומה לכל מערך נתונים אחר ב-BigQuery. לחלופין, אפשר לנתב רשומות ביומן ישירות ל-BigQuery.

למידע על המושגים, קראו את המאמר אחסון רשומות ביומן.

לפני שמתחילים

מגדירים את הפרויקט ואת תפקידי ה-IAM ובוחרים את הממשק שבו רוצים להשתמש.

הגדרת הפרויקט והתפקידים

כדי להתחיל לעבוד עם קטגוריות:

בוחרים את הממשק שבו רוצים להשתמש

מסוף Google Cloud

כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים ולממשקי ה-API של Google Cloud , לא צריך להגדיר אימות.

gcloud

מפעילים את Cloud Shell במסוף Google Cloud .

הפעלת Cloud Shell

בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

REST

כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.

    התקינו את ה-CLI של Google Cloud.

    אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .

יצירת קטגוריה

ההוראות האלה מבוססות על ההנחה שאתם משתמשים בהצפנה בניהול Google. אם אתם מעדיפים להשתמש במפתחות הצפנה בניהול הלקוח (CMEK), קראו את המאמר הגדרת CMEK לאחסון יומנים.

אפשר ליצור עד 100 קטגוריות לכל פרויקט ב-Google Cloud . אי אפשר ליצור קטגוריות של יומנים בתיקיות או בארגונים.

כדי ליצור בפרויקט ב- Google Cloud קטגוריית יומנים בהתאמה אישית:

מסוף Google Cloud

כדי ליצור קטגוריית יומנים בפרויקט ב- Google Cloud :

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. לוחצים על Create log bucket.

  3. מזינים שם ותיאור לקטגוריה.

  4. אופציונלי: משדרגים את הקטגוריה כדי להשתמש ב-Observability Analytics.

    1. לוחצים על Upgrade to use Observability Analytics.

      כשמשדרגים קטגוריה לשימוש ב-Observability Analytics, אפשר להריץ שאילתות SQL על היומנים בדף Observability Analytics. אתם יכולים גם להמשיך להציג את היומנים באמצעות הכלי Logs Explorer.

    2. אופציונלי: כדי לראות את היומנים ב-BigQuery, בוחרים באפשרות יצירת מערך נתונים חדש ב-BigQuery שמקושר לקטגוריה הזו ומזינים שם ייחודי למערך הנתונים.

      כשבוחרים באפשרות הזו, BigQuery יכול לקרוא את הנתונים שמאוחסנים בקטגוריית היומנים. עכשיו אפשר לשלוח שאילתות בממשק של BigQuery, שבו אפשר לאחד את נתוני היומן וגם לגשת לנתונים מכלים אחרים כמו Data Studio ו-Looker.

  5. כדי לבחור את אזור האחסון של היומנים, לוחצים על התפריט Select log bucket region ובוחרים אזור.

  6. אופציונלי: כדי להגדיר תקופת שמירה בהתאמה אישית ליומנים בקטגוריה, לוחצים על Next.

    בשדה Retention period, מזינים את מספר הימים שבהם רוצים ש-Cloud Logging ישמור את היומנים, בין יום אחד ל-3650 daysימים. אם לא מתאימים אישית את תקופת השמירה, ברירת המחדל היא 30 days.

    אפשר גם לעדכן את תקופת השמירה של קטגוריית היומנים אחרי שיוצרים אותה.

  7. לוחצים על Create bucket.

    אחרי שיוצרים את קטגוריית היומנים, כלי הרישום משדרג את הקטגוריה ויוצר את הקישור למערך הנתונים, אם האפשרויות האלה נבחרו.

    יכול להיות שיעבור קצת זמן עד שהשלבים האלה יושלמו.

gcloud

כדי ליצור רק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets create. אם רוצים לשדרג את מאגר היומנים כדי להשתמש ב-Observability Analytics, צריך לכלול את הדגלים --enable-analytics ו---async, ולוודא שהמשתנה LOCATION מוגדר לאזור נתמך:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

הדגל --async מאלץ את הפקודה להיות אסינכרונית. הערך המוחזר של שיטה אסינכרונית הוא אובייקט Operation, שמכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל מידע על הצלחת הבקשה או על הכישלון שלה. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

אם אתם לא רוצים לשדרג את קטגוריית היומנים כדי להשתמש ב-Observability Analytics, אל תציינו את הדגלים --enable-analytics ו---async.

לדוגמה, אם רוצים ליצור קטגוריה עם my-bucket BUCKET_ID באזור global, הפקודה תיראה כך:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

לדוגמה, כדי ליצור קטגוריה עם my-upgraded-bucket BUCKET_ID במיקום global, ואז לשדרג את קטגוריית היומנים לשימוש ב-Observability Analytics, הפקודה תיראה כך:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

REST

כדי ליצור קטגוריה, משתמשים ב-projects.locations.buckets.create או ב-projects.locations.buckets.createAsync. מכינים את הארגומנטים לשיטה באופן הבא:

  1. מגדירים את הפרמטר parent בתור המשאב שבו רוצים ליצור את הקטגוריה: projects/PROJECT_ID/locations/LOCATION

    המשתנה LOCATION מתייחס לאזור שבו רוצים לאחסן את היומנים.

    לדוגמה, אם רוצים ליצור קטגוריה לפרויקט my-project באזור global, הפרמטר parent ייראה כך: projects/my-project/locations/global

  2. מגדירים את הפרמטר bucketId, לדוגמה my-bucket.

  3. מבצעים אחת מהפעולות הבאות:

    • כדי ליצור קטגוריית יומנים ואז לשדרג אותה לשימוש ב-Observability Analytics:

      1. מגדירים את המשתנה הבוליאני LogBucket.analyticsEnabled לערך true.

      2. מפעילים את ה-method האסינכרוני projects.locations.buckets.createAsync כדי ליצור את הקטגוריה.

        התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

        השלמת השיטה createAsync נמשכת כמה דקות. השיטה הזו לא יוצרת הודעת שגיאה או נכשלת כשהערך הבוליאני של analyticsEnabled מוגדר כ-true.

    • אחרת, צריך להפעיל את ה-method הסינכרונית projects.locations.buckets.create כדי ליצור את הקטגוריה.

אחרי שיוצרים קטגוריה, יוצרים sink כדי לנתב את רשומות היומן לקטגוריה ומגדירים תצוגות של יומנים כדי לקבוע למי תהיה גישה ליומנים בקטגוריה החדשה ולאילו יומנים תהיה גישה. אתם יכולים גם לעדכן את הקטגוריה כדי להגדיר שמירה בהתאמה אישית ושדות מוגבלים.

הצגת רשימה ופרטים של קטגוריות ביומן

בקטע הזה מוסבר איך להציג את הפרטים של קטגוריות היומנים בפרויקט, בתיקייה או בארגון.

הצגת רשימה של קטגוריות

כדי להציג את רשימת קטגוריות היומנים שמשויכות לפרויקט ב- Google Cloud , ולראות פרטים כמו הגדרות השמירה, מבצעים את הפעולות הבאות:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

נכנסים לדף Logs Storage.

אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

בטבלה Log buckets מופיעות הקטגוריות שמשויכות לפרויקט הנוכחי ב-Google Cloud .

בטבלה מפורטים המאפיינים הבאים לכל קטגוריה של יומנים:

  • ‫Name: השם של קטגוריית היומנים.
  • תיאור: התיאור של הקטגוריה.
  • תקופת שמירה: מספר הימים שבהם הנתונים של הקטגוריה יישמרו ב-Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫Status: אם הקטגוריה נעולה או לא נעולה.

אם קטגוריה ממתינה למחיקה על ידי Cloud Logging, הרשומה שלה בטבלה מסומנת בסמל warning.

gcloud

מריצים את הפקודה gcloud logging buckets list:

gcloud logging buckets list

המאפיינים הבאים מוצגים לגבי קטגוריות היומנים:

  • ‫LOCATION: האזור שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫BUCKET_ID: השם של קטגוריית היומנים.
  • ‫RETENTION_DAYS: מספר הימים שבהם הנתונים של הקטגוריה יאוחסנו ב-Cloud Logging.
  • ‫LIFECYCLE_STATE: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫LOCKED: אם הקטגוריה נעולה או לא נעולה.
  • ‫CREATE_TIME: חותמת זמן שמציינת מתי הקטגוריה נוצרה.
  • ‫UPDATE_TIME: חותמת זמן שמציינת מתי הקטגוריה שונתה לאחרונה.

אפשר גם לראות את המאפיינים של קטגוריה אחת בלבד. לדוגמה, כדי לראות את הפרטים של קטגוריית היומנים _Default באזור global, מריצים את הפקודה gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

כדי להציג רשימה של קטגוריות היומנים שמשויכות לפרויקט ב- Google Cloud , משתמשים ב-projects.locations.buckets.list ב-Logging API.

הצגת פרטי הקטגוריה

הפרטים של קטגוריית היומנים כוללים את השם, התיאור, המיקום ותקופת השמירה. אפשר גם לראות מתי נוצר מאגר היומנים ומתי הוא עודכן לאחרונה, ואת השם של מערך הנתונים המקושר ב-BigQuery, אם יש כזה.

כדי לראות את הפרטים של קטגוריית יומנים אחת:

מסוף Google Cloud

נכנסים לדף Logs Storage במסוף Google Cloud :

נכנסים לדף Logs Storage.

אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

במאגר היומנים, לוחצים על More ואז על View bucket details.

בתיבת הדו-שיח מופיעים המאפיינים הבאים של קטגוריית היומנים:

  • ‫Name: השם של קטגוריית היומנים.
  • Description: התיאור של קטגוריית היומנים.
  • תקופת שמירה: מספר הימים שבהם הנתונים של הקטגוריה יישמרו ב-Cloud Logging.
  • אזור: המיקום הגיאוגרפי שבו מאוחסנים הנתונים של הקטגוריה.
  • ‫Observability Analytics: מציין אם הקטגוריה שודרגה לשימוש ב-Observability Analytics.
  • BigQuery analysis: מציין אם קבוצת נתונים של BigQuery מקושרת לקטגוריה.
  • ‫BigQuery dataset: קישור למערך הנתונים ב-BigQuery, שנפתח בדף BigQuery Studio. מוצג גם התאריך שבו הופעל הקישור ל-BigQuery.

gcloud

מריצים את הפקודה gcloud logging buckets describe.

לדוגמה, הפקודה הבאה מדווחת על פרטי הקטגוריה _Default:

gcloud logging buckets describe _Default --location=global

המאפיינים הבאים מוצגים לגבי קטגוריית היומנים:

  • ‫createTime: חותמת זמן שמציינת מתי הקטגוריה נוצרה.
  • ‫description: התיאור של קטגוריית היומנים.
  • ‫lifecycleState: מציין אם הקטגוריה ממתינה למחיקה על ידי Cloud Logging.
  • ‫name: השם של קטגוריית היומנים.
  • ‫retentionDays: מספר הימים שבהם הנתונים של הקטגוריה יאוחסנו ב-Cloud Logging.
  • ‫updateTime: חותמת זמן שמציינת מתי הקטגוריה שונתה לאחרונה.

REST

כדי לראות את הפרטים של קטגוריית יומנים אחת, משתמשים ב-projects.locations.buckets.get ב-Logging API.

ניהול קטגוריות

בקטע הזה מוסבר איך לנהל את קטגוריות היומנים באמצעות Google Cloud CLI או מסוף Google Cloud .

עדכון קטגוריה

כדי לעדכן את המאפיינים של הקטגוריה, כמו התיאור או תקופת השמירה:

מסוף Google Cloud

כדי לעדכן את המאפיינים של הקטגוריה:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. לוחצים על More בקטגוריה שרוצים לעדכן.

  3. לוחצים על Edit bucket.

  4. עורכים את הקטגוריה לפי הצורך.

  5. לוחצים על Update bucket.

gcloud

כדי לעדכן את המאפיינים של הקטגוריה, מריצים את הפקודה gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

לדוגמה:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

כדי לעדכן את המאפיינים של הקטגוריה, משתמשים ב-projects.locations.buckets.patch ב-Logging API.

הגדרת שמירה בהתאמה אישית

כשאתם יוצרים קטגוריית יומנים, אתם יכולים להתאים אישית את התקופה שבה Cloud Logging מאחסן את היומנים בקטגוריה. אתם יכולים גם להגדיר את תקופת השמירה של קטגוריית היומנים _Default כשהיא נמצאת בפרויקט.

אי אפשר לשנות את תקופת השמירה של קטגוריית היומנים _Required. בנוסף, אי אפשר להאריך את תקופת השמירה של קטגוריית יומנים שנמצאת בתיקייה או בארגון. עם זאת, אתם יכולים ליצור sink ביומן כדי לנתב רשומות ביומן ברמת התיקייה או הארגון לקטגוריית יומנים שנמצאת בפרויקט, ואז להגדיר את תקופת השמירה של קטגוריית היומנים הזו.

אם מקצרים את תקופת השמירה של קטגוריית יומנים, יש תקופת חסד של 7 ימים שבה היומנים שפג תוקפם לא נמחקים. אי אפשר לשלוח שאילתות או להציג את היומנים שפג תוקפם. עם זאת, במהלך 7 הימים האלה אתם יכולים לשחזר את הגישה המלאה על ידי הארכת תקופת השמירה של הקטגוריה. היומנים שמאוחסנים במהלך תקופת החסד נכללים בעלויות השמירה.

אכיפת מדיניות שמירת הנתונים היא תהליך עם מודל עקביות הדרגתי. אם אתם כותבים רשומות יומן לדלי של יומנים כשהרשומות ישנות יותר מתקופת השמירה של הדלי, יכול להיות שתוכלו לראות את הרשומות האלה לזמן קצר. לדוגמה, אם תשלחו רשומות ביומן מלפני 10 ימים למאגר יומנים עם תקופת שמירה של 7 ימים, הרשומות האלה יישמרו ובסופו של דבר יימחקו. רשומות היומן האלה לא נכללות בעלויות השמירה. הם כן נכללים בעלויות האחסון. כדי לצמצם את עלויות האחסון, אל תכתבו רשומות ביומן שנוצרו לפני תקופת השמירה של הקטגוריה.

כדי לעדכן את תקופת השמירה של קטגוריית יומנים בהתאמה אישית או של קטגוריית היומנים _Default בפרויקט:

מסוף Google Cloud

כדי לעדכן את תקופת השמירה של קטגוריית יומנים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. בקטגוריה שרוצים לעדכן, לוחצים על More ואז על Edit bucket.

  3. בשדה Retention, מזינים את מספר הימים שבהם רוצים ש-Cloud Logging ישמור את היומנים, בין יום אחד ל-3650 daysימים.

  4. לוחצים על Update bucket. תקופת השמירה החדשה מופיעה ברשימה Logs bucket.

gcloud

כדי לעדכן את תקופת השמירה של קטגוריית יומנים שמוגדרת על ידי המשתמש או של קטגוריית היומנים _Default שנמצאת בפרויקט, מריצים את הפקודה gcloud logging buckets update אחרי שמגדירים ערך ל-RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

לדוגמה, כדי לשמור את היומנים בקטגוריה _Default במיקום global למשך שנה, הפקודה תיראה כך:

gcloud logging buckets update _Default --location=global --retention-days=365

אם מאריכים את תקופת השמירה של קטגוריה, כללי השמירה חלים מעכשיו והלאה ולא רטרואקטיבית. אי אפשר לשחזר יומנים אחרי שתקופת השמירה הרלוונטית מסתיימת.

נעילת קטגוריה

כשנועלים קטגוריה מפני עדכונים, נועלים גם את מדיניות שמירת הנתונים של הקטגוריה. אחרי שנועלים את מדיניות שמירת הנתונים, אי אפשר למחוק את הקטגוריה עד שכל רשומת יומן בקטגוריה מסיימת את תקופת השמירה. אם אתם רוצים למנוע מחיקה בטעות של פרויקט שמכיל קטגוריית יומנים נעולה, הוסיפו לפרויקט מנעול למניעת מחיקה. למידע נוסף, קראו את המאמר הגנה על פרויקטים באמצעות שעבודים.

כדי למנוע עדכון או מחיקה של קטגוריית יומנים, צריך לנעול את הקטגוריה. כדי לנעול את הקטגוריה:

מסוף Google Cloud

אי אפשר לנעול קטגוריית יומנים במסוף Google Cloud .

gcloud

כדי לנעול את הקטגוריה, מריצים את הפקודה gcloud logging buckets update עם הדגל --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

לדוגמה:

gcloud logging buckets update my-bucket --location=global --locked

REST

כדי לנעול את המאפיינים של הקטגוריה, משתמשים ב-projects.locations.buckets.patch ב-Logging API. מגדירים את הפרמטר locked בתור true.

מחיקת קטגוריה

אפשר למחוק קטגוריות של יומנים שעומדות באחד מהתנאים הבאים:

  • מאגר היומנים לא נעול.
  • מאגר היומנים נעול וכל רשומות היומן במאגר היומנים עמדו בתקופת השמירה של המאגר.

אי אפשר למחוק קטגוריה של יומנים במקרים הבאים:

  • קטגוריית היומנים נעולה לעדכונים, והיא מאחסנת רשומות ביומן שלא עמדו בתקופת השמירה של הקטגוריה.

  • יש קישור אחד או יותר בדלי היומנים. כדי לבדוק אם יש קישורים בקטגוריית היומנים, אפשר להשתמש במסוף Google Cloud או להריץ את הפקודה gcloud logging links list.

    במקרה הצורך, מוחקים קישורים באמצעות הפקודה gcloud logging links delete. אם מוחקים קישור, נמחקים גם כל פריטי המידע שמשויכים אליו, כולל מערך נתונים מקושר ב-BigQuery.

אחרי שמפעילים את פקודת המחיקה, דלי היומנים עובר למצב DELETE_REQUESTED ונשאר במצב הזה למשך 7 ימים. במהלך התקופה הזו, הכלי ממשיך לנתב את היומנים לקטגוריית היומנים. כדי להפסיק את הניתוב של היומנים לקטגוריית היומנים, אפשר למחוק או לשנות את ה-sinks ביומן שמנתבים את רשומות היומן לקטגוריה.

אי אפשר ליצור קטגוריית יומנים חדשה עם שם זהה לזה של קטגוריית יומנים שנמצאת במצב DELETE_REQUESTED.

כדי למחוק קטגוריית יומנים:

מסוף Google Cloud

כדי למחוק קטגוריית יומנים:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. מאתרים את הקטגוריה שרוצים למחוק ולוחצים על More.

  3. אם בעמודה Linked dataset in BigQuery מופיע קישור, צריך למחוק את מערך הנתונים המקושר ב-BigQuery:

    1. לוחצים על Edit bucket.
    2. מבטלים את הבחירה באפשרות Create a new BigQuery dataset that links to this bucket, לוחצים על Done ואז על Update bucket.

      אחרי שחוזרים לדף Logs Storage, לוחצים על More בקטגוריה שרוצים למחוק וממשיכים לשלבים הבאים.

  1. לוחצים על מחיקת הקטגוריה.

  2. בחלונית האישור, לוחצים על מחיקה.

  3. בדף Logs Storage, ליד הקטגוריה מופיע אינדיקטור לכך שהיא ממתינה למחיקה. הקטגוריה, כולל כל היומנים שבה, נמחקת אחרי 7 ימים.

gcloud

כדי למחוק קטגוריית יומנים, מריצים את הפקודה gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

REST

כדי למחוק קטגוריה, משתמשים ב-projects.locations.buckets.delete ב-Logging API.

שחזור קטגוריה שנמחקה

אפשר לשחזר או לבטל את המחיקה של קטגוריית יומנים שנמצאת במצב "בהמתנה למחיקה". כדי לשחזר קטגוריית יומנים:

מסוף Google Cloud

כדי לשחזר קטגוריית יומנים שממתינה למחיקה:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. בקטגוריה שרוצים לשחזר, לוחצים על More ואז על Restore deleted bucket.

  3. בחלונית האישור, לוחצים על שחזור.

  4. בדף Logs Storage, האינדיקטור של המחיקה בהמתנה יוסר ממאגר היומנים.

gcloud

כדי לשחזר קטגוריית יומנים שממתינה למחיקה, מריצים את הפקודה gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

כדי לשחזר קטגוריה שממתינה למחיקה, משתמשים ב-projects.locations.buckets.undelete ב-Logging API.

הפעלת Observability Analytics והרצת שאילתות מ-BigQuery

בקטע הזה מוסבר איך לבצע את הפעולות הבאות:

  • כדי לנתח את נתוני היומן באמצעות Observability Analytics, שכולל ממשק SQL, צריך לשדרג את מאגר היומנים.

  • ליצור קישורים לקטגוריות של יומנים. קישור מספק חיבור בין קטגוריית יומנים לבין מערך נתונים מקושר ב-BigQuery. אתם יכולים להשתמש בשירותי BigQuery כדי לשלוח שאילתות למערך הנתונים המקושר.

שדרוג קטגוריה לשימוש ב-Observability Analytics

אחרי שמשדרגים קטגוריה לשימוש ב-Observability Analytics, כל רשומת יומן חדשה שנוספת זמינה לניתוח בממשק של Observability Analytics. אי אפשר לבטל פעולת שדרוג של קטגוריה.

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics, חלות המגבלות הבאות:

  • קטגוריית היומנים נוצרה ברמת הפרויקט Google Cloud .
  • קטגוריית היומנים לא נעולה, אלא אם היא הקטגוריה _Required.
  • אין עדכונים בהמתנה לקטגוריה.

  • בפרויקטים שנמצאים בתוך היקף אבטחה של VPC Service Controls:

    1. אסור להגביל את השירותים הבאים במתחם:

      • logging.googleapis.com
      • ‫cloudkms.googleapis.com: נדרש לדליים של יומנים שמשתמשים ב-CMEK.

    2. אי אפשר להשתמש בכללי תעבורת נתונים נכנסת או יוצאת שמבוססים על זהות כדי לתת גישה חוצת-היקף למפתח של Cloud Key Management Service, אם קטגוריית היומנים והמפתח של Cloud KMS נמצאים בהיקפים שונים של VPC Service Controls.

שדרוג של קטגוריה יכול להימשך עד 10 דקות. למידע על פתרון בעיות, ראו פתרון בעיות בשדרוג קטגוריה לשימוש ב-Observability Analytics.

מסוף Google Cloud

כדי לשדרג קטגוריה קיימת לשימוש ב-Observability Analytics:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. מאתרים את הקטגוריה שרוצים לשדרג.

  3. כשהערך Upgrade מופיע בעמודה Observability Analytics available, אתם יכולים לשדרג את קטגוריית היומנים כדי להשתמש ב-Observability Analytics. לוחצים על שדרוג.

    תיפתח תיבת דו-שיח. לוחצים על אישור.

gcloud

כדי לשדרג את קטגוריית היומנים לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging buckets update. צריך להגדיר את הדגל --enable-analytics, ומומלץ לכלול גם את הדגל --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

הדגל --async מאלץ את הפקודה להיות אסינכרונית. התגובה היא אובייקט Operation. דוגמים את השיטה projects.locations.operations.get עד שהשדה Operation.done מוגדר ל-true. שדות אחרים במבנה Operation מספקים מידע על הצלחת הבקשה או על כישלונה. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

REST

כדי לשדרג קטגוריית יומנים לשימוש ב-Observability Analytics, משתמשים ב-method ‏projects.locations.buckets.updateAsync של Cloud Logging API.

מכינים את הארגומנטים לשיטה באופן הבא:

  1. מגדירים את המשתנה הבוליאני LogBucket.analyticsEnabled לערך true.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-updateMask=analyticsEnabled.

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל מידע על הצלחת הבקשה או על הכישלון שלה. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

יכול להיות שהשיטה updateAsync תימשך כמה דקות.

כדי להשתמש ביכולות של BigQuery לניתוח נתוני היומנים, שדרגו את מאגר היומנים לשימוש ב-Observability Analytics ואז צרו מערך נתונים מקושר. בהגדרה הזו, נתוני היומן נשמרים ב-Logging, אבל אפשר לקרוא אותם ב-BigQuery.

מסוף Google Cloud

כדי ליצור קישור למערך נתונים ב-BigQuery בשביל קטגוריית יומנים קיימת:

  1. נכנסים לדף Logs Storage במסוף Google Cloud :

    נכנסים לדף Logs Storage.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. מאתרים את קטגוריית היומנים ומוודאים שבעמודה Observability Analytics available מופיע הערך Open.

    אם בעמודה הזו מופיע Upgrade, סימן שדלי היומנים לא שודרג לשימוש ב-Observability Analytics. הגדרת Observability Analytics:

    1. לוחצים על שדרוג.
    2. לוחצים על אישור בתיבת הדו-שיח.

    אחרי שהשדרוג מסתיים, ממשיכים לשלב הבא.

  3. בקטגוריית היומנים, לוחצים על More ואז על Edit bucket.

    תיבת הדו-שיח Edit log bucket נפתחת.

  4. בוחרים באפשרות יצירת מערך נתונים חדש ב-BigQuery שמקושר לקטגוריה הזו ומזינים את השם של מערך הנתונים החדש.

    השם של מערך הנתונים חייב להיות ייחודי לכל פרויקט ב- Google Cloud . אם תזינו שם של מערך נתונים קיים, תופיע השגיאה הבאה: Dataset name must be unique in the selected region.

  5. לוחצים על Done ואז על Update bucket.

    אחרי שהשם של מערך הנתונים המקושר מופיע בדף Logs Storage ב-Logging, יכול להיות שיעברו כמה דקות עד ש-BigQuery יזהה את מערך הנתונים.

gcloud

כדי ליצור מערך נתונים מקושר לקטגוריית יומנים ששודרגה לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

הערך של LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והוא צריך להיות ייחודי לפרויקט ב- Google Cloud .

הפקודה links create היא אסינכרונית. הערך המוחזר של method אסינכרוני הוא אובייקט Operation, והוא מכיל מידע על התקדמות ה-method. כשה-method מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

השלמת הפקודה links create נמשכת כמה דקות.

לדוגמה, הפקודה הבאה יוצרת מערך נתונים מקושר בשם mylink בשביל קטגוריית היומנים שנקראת my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

השם של מערך הנתונים חייב להיות ייחודי לכל פרויקט ב- Google Cloud . אם תנסו ליצור קבוצת נתונים עם שם זהה לזה של קבוצת נתונים קיימת, תופיע השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור מערך נתונים מקושר בשביל תיקיית יומנים שלא שודרגה לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

REST

כדי ליצור מערך נתונים מקושר ב-BigQuery בשביל תיקיית יומנים קיימת ששודרגה לשימוש ב-Observability Analytics, צריך להפעיל את השיטה האסינכרונית projects.locations.buckets.links.create של Cloud Logging API.

מכינים את הארגומנטים לשיטה באופן הבא:

  1. יוצרים את גוף הבקשה לפקודה create. גוף הבקשה בפורמט של אובייקט Link.
  2. בפרמטר השאילתה של הפקודה, משתמשים ב-linkId=LINK_ID. הערך של LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והוא צריך להיות ייחודי לפרויקט ב- Google Cloud .

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על התקדמות השיטה. כשה-method מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות API אסינכרוניות.

השלמת השיטה links.create נמשכת כמה דקות.

השם של מערך הנתונים חייב להיות ייחודי לכל פרויקט ב- Google Cloud . אם תנסו ליצור קבוצת נתונים עם שם זהה לזה של קבוצת נתונים קיימת, תופיע השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור מערך נתונים מקושר בשביל תיקיית יומנים שלא שודרגה לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

דגימה של שיטות API אסינכרוניות

התגובה של שיטה אסינכרונית כמו projects.locations.buckets.createAsync היא אובייקט Operation.

אפליקציות שקוראות ל-method אסינכרוני של API צריכות לדגום את ה-method ‏operation.get עד שהערך של השדה Operation.done הוא true:

  • אם הערך של done הוא false, הפעולה מתבצעת.

    כדי לרענן את פרטי הסטטוס, שולחים בקשת GET ל-method‏ operation.get.

  • אם הערך של done הוא true, הפעולה הושלמה והשדה error או response מוגדר:

    • ‫error: אם מוגדר, הפעולה האסינכרונית נכשלה. הערך של השדה הזה הוא אובייקט Status שמכיל קוד שגיאה של gRPC והודעת שגיאה.
    • ‫response: כשהערך מוגדר, הפעולה האסינכרונית הושלמה בהצלחה והערך משקף את התוצאה.

כדי לדגום פקודה אסינכרונית באמצעות Google Cloud CLI, מריצים את הפקודה הבאה:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

מידע נוסף זמין במאמר gcloud logging operations describe.

קריאה וכתיבה של רשומות ביומן

אתם לא כותבים יומנים ישירות לקטגוריית יומנים. במקום זאת, אתם כותבים יומנים למשאב שלGoogle Cloud : פרויקט, תיקייה או ארגון ב- Google Cloud . לאחר מכן, הכיורים במשאב ההורה מנתבים את היומנים ליעדים, כולל לקטגוריות של יומנים. כיור מנתב יומנים ליעד של קטגוריית יומנים כשהיומנים תואמים למסנן של הכיור, ולכיור יש הרשאה לנתב את היומנים לקטגוריית היומנים. מידע נוסף זמין במאמר ניתוב של רשומות ביומן.

לכל מאגר של יומנים יש קבוצה של תצוגות יומנים. כדי לקרוא יומנים מקטגוריית יומנים, צריך גישה לתצוגת יומנים בקטגוריית היומנים. תצוגות של יומנים מאפשרות לתת למשתמש גישה רק לקבוצת משנה של היומנים שמאוחסנים בקטגוריית יומנים. מידע נוסף על תצוגות של יומנים מופיע במאמרים אחסון רשומות ביומן והגדרת תצוגות של יומנים בקטגוריית יומנים.

כדי לקרוא יומנים ממאגר יומנים:

מסוף Google Cloud

  1. נכנסים לדף Logs Explorer ב- במסוף Google Cloud :

    נכנסים לדף Logs Explorer.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

  2. כדי להתאים אישית את היומנים שמוצגים ב-Logs Explorer, לוחצים על Refine scope ובוחרים אפשרות. לדוגמה, אתם יכולים להציג יומנים שמאוחסנים בפרויקט או לפי תצוגת יומן.

  3. לוחצים על אישור. החלונית Query results נטענת מחדש עם היומנים שתואמים לאפשרות שבחרתם.

מידע נוסף זמין במאמר סקירה כללית על Logs Explorer: צמצום ההיקף.

gcloud

כדי לקרוא את היומנים מתיקיית יומנים, משתמשים בפקודה gcloud logging read ומוסיפים LOG_FILTER כדי לבחור נתונים:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=LOG_VIEW_ID

REST

כדי לקרוא יומנים ממאגר יומנים, משתמשים ב-method‏ entries.list. מגדירים את resourceNames כדי לציין את הקטגוריה ואת תצוגת היומן המתאימות, ומגדירים את filter כדי לבחור נתונים.

למידע מפורט על תחביר הסינון, קראו את המאמר שפת השאילתות של Logging.

עוצמת הקול של המוניטור

בקטע הזה מוסבר איך אפשר לעקוב אחרי נפח נתוני היומן.

מעקב אחרי נפח היומנים שמאוחסנים בקטגוריות של יומנים

בדף Logs Storage במסוף Google Cloud אפשר לעקוב אחרי נפח נתוני היומנים שמאוחסנים בקטגוריות של היומנים:

נכנסים לדף Logs Storage במסוף Google Cloud :

נכנסים לדף Logs Storage.

אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.

בדף Logs Storage מוצג סיכום של הנתונים הסטטיסטיים של הפרויקט ב-Google Cloud :

בנתונים הסטטיסטיים המסוכמים מדווחת כמות נתוני היומן שמאוחסנים בקטגוריות של היומנים בפרויקט שנבחר.

הנתונים הסטטיסטיים הבאים מדווחים:

  • הטמעה בחודש הנוכחי: כמות נתוני היומנים שהפרויקט ב-Google Cloud אחסן בקטגוריות של יומנים מהיום הראשון של החודש הקלנדרי הנוכחי.

  • הטמעה בחודש הקודם: כמות נתוני היומנים שהפרויקט ב-Google Cloud אחסן בקטגוריות של יומנים בחודש הקלנדרי האחרון.

  • ‫Projected ingestion by EOM: כמות הנתונים המשוערת שהפרויקט ב-Google Cloud יאחסן בקטגוריות של היומנים עד סוף החודש הקלנדרי הנוכחי, על סמך השימוש הנוכחי.

  • אחסון לחיוב בחודש הנוכחי: כמות נתוני היומן שנשמרו במשך יותר מ-30 ימים ומחויבים.

הנתונים הסטטיסטיים הקודמים לא כוללים יומנים בקטגוריה _Required. אי אפשר להחריג או להשבית את היומנים בקטגוריה הזו.

בדף Log Router במסוף Google Cloud יש כלים שבעזרתם אפשר לצמצם את החיובים על אחסון יומנים בקטגוריות של יומנים, או על אחסון שחורג מההקצאה החודשית. אתם יכולים לבצע את הפעולות הבאות:

  • להשבית את האחסון של היומנים ברמת הקטגוריה.
  • להחריג רשומות מסוימות ביומן כדי שלא יישמרו בקטגוריות של יומנים.

איך מנהלים את המאגרים?

התראה על בייטים חודשיים של יומנים שמאוחסנים בקטגוריות של יומנים

כדי ליצור מדיניות התראות, נכנסים לדף Logs Storage במסוףGoogle Cloud , לוחצים על Create usage alert וממלאים את הפרטים בתיבת הדו-שיח. בדף יצירת מדיניות התראות, השדה של סוג המדד מאוכלס מראש בערך logging.googleapis.com/billing/bytes_ingested.

כדי ליצור מדיניות התראה שמופעלת כשמספר הבייטים של היומנים שנכתבו לקטגוריות היומנים חורג מהמגבלה שהגדרתם ב-Cloud Logging, השתמשו בהגדרות הבאות.

תנאי חדש
שדה
ערך
משאב ומדד בתפריט Resources, בוחרים באפשרות Global.
בתפריט Metric categories, בוחרים באפשרות מדד מבוסס-יומנים.
בתפריט Metrics, בוחרים באפשרות Monthly log bytes ingested.
סינון אין.
בסדרות זמן
צבירה של סדרות זמן		 sum
חלון זמן דינמי 60 m
פונקציית חלון זמן דינמי max
הגדרת טריגר להתראה
שדה
ערך
סוג התנאי Threshold
טריגר להתראה Any time series violates
מיקום הסף Above threshold
ערך הסף אתם קובעים את הערך הקביל.
חלון הבדיקה החוזרת הערך המינימלי הקביל הוא 30 דקות.

למידע נוסף על מדיניות התראות, ראו סקירה כללית על התראות.

פתרון בעיות נפוצות

אם נתקלתם בבעיות בשימוש בקטגוריות של יומנים, תוכלו להיעזר בשלבים הבאים לפתרון בעיות ובתשובות לשאלות נפוצות.

למה אי אפשר למחוק את הקטגוריה הזו?

אם אתם מנסים למחוק קטגוריה, בצעו את הפעולות הבאות:

  • מוודאים שאין קישורים בתיקיית היומנים. אי אפשר למחוק קטגוריות של יומנים שמכילות קישורים.

    השגיאה הבאה מוצגת בתגובה לפקודה delete בקטגוריה ביומן שמקושרת לקבוצת נתונים ב-BigQuery:

    FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket

    כדי להציג את הקישורים שמשויכים לקטגוריית יומנים, מריצים את הפקודה gcloud logging links list או את ה-method‏ projects.locations.buckets.links.list ב-API.

    כדי למחוק קישורים, משתמשים בפקודה gcloud logging links delete.

אילו חשבונות שירות מנתבים יומנים לקטגוריה שלי?

כדי לבדוק אם לחשבונות שירות מסוימים יש הרשאות IAM לניתוב יומנים לקטגוריה, מבצעים את הפעולות הבאות:

  1. נכנסים לדף IAM במסוף Google Cloud :

    נכנסים לדף IAM.

    אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא IAM & Admin.

  2. בכרטיסייה Permissions, מציגים לפי Roles. מוצגת טבלה עם כל התפקידים והחשבונות ב-IAM שמשויכים לפרויקטGoogle Cloud .

  3. בתיבת הטקסט Filter של הטבלה, מזינים Logs Bucket Writer.

    יוצגו חשבונות המשתמשים עם התפקיד כתיבה בקטגוריית יומנים. אם חשבון המשתמש הוא חשבון שירות, המזהה שלו מכיל את המחרוזת gserviceaccount.com.

  4. אופציונלי: אם רוצים להסיר חשבון שירות כדי שלא יוכל לנתב יומנים לפרויקט ב- Google Cloud , מסמנים את תיבת הסימון של חשבון השירות ולוחצים על Remove.

למה אני רואה יומנים של פרויקט Google Cloud למרות שהחרגתי אותם מהכיור של _Default?

יכול להיות שאתם צופים ביומנים שנמצאים בקטגוריית יומנים בפרויקט Google Cloud מרכזי, שצובר יומנים מכל הארגון.

אם אתם משתמשים ב-Logs Explorer כדי לגשת ליומנים האלה ורואים יומנים שהחרגתם מהכיור _Default, יכול להיות שהתצוגה שלכם מוגדרת לרמת הפרויקטGoogle Cloud .

כדי לפתור את הבעיה, בתפריט Refine scope בוחרים באפשרות Log view, ואז בוחרים את תצוגת היומן שמשויכת לקטגוריה _Default בפרויקטGoogle Cloud . היומנים שהוחרגו לא אמורים להופיע יותר.

המאמרים הבאים

למידע על השיטות של ה-API של קטגוריית היומנים, עיינו במאמרי העזרה של LogBucket.

אם אתם מנהלים ארגון או תיקייה, אתם יכולים לציין את המיקום של קטגוריות היומנים _Default ו-_Required של משאבי הצאצא. אתם יכולים גם להגדיר אם קטגוריות היומנים ישתמשו ב-CMEK ואת ההתנהגות של ה-sink ביומן _Default. מידע נוסף זמין במאמר הגדרת ברירות מחדל לארגונים ולתיקיות.

בנושאים הבאים מוסבר איך לטפל בתרחישים נפוצים לדוגמה באמצעות קטגוריות של יומנים: