רשומות ביומן הניתוב

במאמר הזה מוסבר איך Cloud Logging מנתב רשומות ביומן שמתקבלות משירותיGoogle Cloud , מהאפליקציות שלכם ומספקי ענן אחרים. כברירת מחדל, Cloud Logging מעביר את כל היומנים למאגרי יומנים בפרויקט, בתיקייה או בארגון שבהם הם נוצרו. עם זאת, אפשר להגדיר את היעדים לניתוב נתונים לדליים מותאמים אישית, ל-Cloud Storage, ל-BigQuery או ל-Pub/Sub לצורך אחסון או ניתוח. שירותים כמו Cloud Storage ו-Pub/Sub תומכים בייצוא של נתוני היומן לכלים של צד שלישי.

ברמה גבוהה, כך Cloud Logging מנתב ומאחסן רשומות ביומן:

איור שממחיש איך Cloud Logging מעביר רשומות ביומן.

האיור הקודם מתייחס לקטגוריות של יומנים שנמצאות בפרויקט. אי אפשר ליצור מאגרי יומנים מוגדרים על ידי משתמש בתיקיות או בארגונים. בנוסף, אי אפשר להאריך את תקופת השמירה של קטגוריית יומנים שנמצאת בתיקייה או בארגון.

העברה לעומת ייצוא של רשומות ביומן

ניתוב הוא התהליך של העברת רשומות ביומן שמתקבלות על ידי Google Cloud פרויקט, תיקייה או ארגון ליעד. יעד הוא שירות שמבצע פעולה כלשהי על רשומות ביומן שהתקבלו. לדוגמה, אתם יכולים לנתב רשומות ביומן ליעד שהוא קטגוריית יומנים. יעד כזה סורק את רשומות היומן כדי למצוא מידע על שגיאות, ואז כותב את המידע הזה באחסון.

ייצוא הוא התהליך של העברת רשומות ביומן מ- Google Cloud למיקום חיצוני. לדוגמה, אפשר לנתב רשומות ביומן ל-Pub/Sub ואז לייצא אותן לכלים של צד שלישי.

‫Cloud Logging משתמש ביעדי יומנים כדי לנתב רשומות ביומן ליעדים. כברירת מחדל, הרשומות ביומן מנותבות לאחד משני מאגרי יומנים בGoogle Cloud פרויקט, בתיקייה או בארגון. אתם יכולים ליצור מאגרי יומנים כדי לנתב את נתוני היומן ליעדים אחרים. אפשר גם לשנות את אחד ממאגרי היומנים שנוצרו על ידי המערכת. במסמך הזה מתוארות האפשרויות האלה.

בעזרת Logs Explorer אפשר להוריד רשומות ביומן שמאוחסנות בקטגוריות של יומנים לאחסון מקומי. עם זאת, אפשרות ההורדה מוגבלת ל-10,000 רשומות ביומן. כדי לייצא את הרשומות ביומן מ-Google Cloud, אפשר להשתמש באפשרויות הבאות:

  • מגדירים sink ביומן כדי להעביר רשומות ביומן נכנסות אל Pub/Sub, ואז מייצאים את הנתונים האלה מ- Google Cloud.

  • מעתיקים רשומות ביומן מקטגוריית יומנים ל-Cloud Storage, ואז מייצאים את הנתונים מ- Google Cloud. מידע על העתקת יומנים מופיע במאמר העברה וניתוב של יומנים באופן רטרואקטיבי.

מידע על נתבי יומנים

לכל Google Cloud פרויקט, חשבון לחיוב, תיקייה וארגון יש נתב יומנים, שמנהל את הזרימה של רשומות היומן דרך מאגרי מידע ברמת המשאב. כלי לניתוב יומנים מנהל גם את הזרימה של רשומה ביומן דרך מאגרי מידע שנמצאים בהיררכיית המשאבים של הרשומה. מאגרי נתונים קובעים איך רשומות ביומן מנותבות ליעדים.

נתב יומנים מאחסן רשומה ביומן באופן זמני. ההתנהגות הזו מספקת מאגר נתונים זמני למקרה של שיבושים זמניים והפסקות זמניות שעלולות להתרחש כשערך ביומן עובר דרך מאגרי נתונים. אחסון זמני לא מגן מפני שגיאות בהגדרות.

האחסון הזמני של נתבי יומנים שונה מהאחסון לטווח ארוך שמופיע בקטגוריות של יומנים.

המערכת מתעלמת מרשומות ביומן עם חותמות זמן שחלפו יותר מתקופת השמירה של היומנים או שחלפו יותר מ-24 שעות.

מידע על פריטי Sink ביומן

כש-sink ביומן מקבל רשומה ביומן, הוא קובע אם להתעלם ממנה או להעביר אותה אל היעד של ה-sink. אובייקט ה-sink ביומן משווה את רשומת היומן למסננים שלו כדי לקבל את ההחלטה הזו. יעד של sink יכול להיות פרויקט, מיקום אחסון או שירות כמו Pub/Sub. לדוגמה, מאגר יכול לנתב רשומות ביומן לקטגוריית יומנים.

יעדי יומנים שייכים למשאב Google Cloud מסוים: Google Cloud פרויקטים, חשבונות לחיוב, תיקיות וארגונים. במשאבים האלה יש גם כמה יעד להעברת יומנים. כשמשאב מקבל רשומה ביומן, כל sink ביומן במשאב הזה מעריך את הרשומה ביומן באופן עצמאי. כתוצאה מכך, יכול להיות שכמה יעדים של יומנים ינתבו את אותו רשומה ביומן.

כברירת מחדל, נתוני היומן מאוחסנים בפרויקט שממנו הנתונים מגיעים. עם זאת, יש כמה סיבות לכך שתרצו לשנות את ההגדרה הזו:

  • לרכז את האחסון של נתוני היומן.
  • כדי לצרף את נתוני היומן לנתונים עסקיים אחרים.
  • כדי לארגן את נתוני היומן בצורה שימושית.
  • כדי להזרים את היומנים לאפליקציות אחרות, למאגרים אחרים או לצדדים שלישיים. לדוגמה, יכול להיות שתרצו לייצא את היומנים מ- Google Cloud כדי לצפות בהם בפלטפורמה של צד שלישי. כדי לייצא את רשומות היומן, צריך ליצור sink ביומן שמנתב את רשומות היומן ל-Pub/Sub.

פריט sink ביומן שהוגדר בצורה שגויה לא מעביר רשומות ביומן. אם יש הגדרה שגויה של יעד, נכתבים רשומות ביומן שמדווחות על פרטי השגיאה. בנוסף, יישלח אימייל לאנשי הקשר החיוניים של המשאב. מידע נוסף מופיע במאמר פתרון בעיות: הצגת שגיאות.

אי אפשר להשתמש ביעדים של יומנים כדי להפנות רשומות ביומן באופן רטרואקטיבי. כלומר, sink ביומן לא יכול להפנות רשומה ביומן שהתקבלה לפני שה-sink נוצר. באופן דומה, אם יש בעיה בהגדרות של יעד, היעד ינתב רק רשומות ביומן שמגיעות אחרי שהבעיה בהגדרות נפתרה. עם זאת, אפשר להעתיק נתוני יומן מקטגוריית יומנים ל-Cloud Storage באופן רטרואקטיבי. מידע נוסף זמין במאמר בנושא העתקת יומנים.

תמיכה בארגונים ובתיקיות

כדי לעזור לכם לנהל את נתוני היומן בארגון או בתיקייה, אתם יכולים לבצע את הפעולות הבאות:

  • אפשר ליצור מאגרי יעד מצטברים, שמעבירים רשומות ביומן של ארגון או תיקייה ושל רכיבי הצאצא שלהם ליעד שצוין במאגר היעד. יש שני סוגים של מאגרי נתונים מצטברים:

    • מאגרי מידע מצטברים שלא מיירטים נתונים
    • יירוט של נתונים מצטברים ממקורות

    ההבדל בין שני סוגי היעדים האלה הוא שיעדים שחוצים את הרמה יכולים להשפיע על הניתוב של משאבים ברמה נמוכה יותר בהיררכיית המשאבים. מאגרי נתונים שלא מבצעים יירוט לא משפיעים על הניתוב של משאבים אחרים. כש-sink מיירט במשאב תואם לרשומה ביומן, הרשומה ביומן לא נשלחת ל-sinks במשאבי צאצא, למעט ה-sink של היומן _Required במשאב שממנו נוצרה הרשומה ביומן.

  • אתם יכולים להגדיר הגדרות ברירת מחדל למשאבים ב-Cloud Logging כדי לציין את ההגדרה של יעד _Default שנוצר על ידי המערכת למשאבים חדשים בארגון או בתיקייה. לדוגמה, אתם יכולים להשתמש בהגדרות האלה כדי להשבית את _Default sink או לציין את המסננים ב-sink הזה.

דוגמאות לתכנון מסלול

בקטע הזה מוסבר איך רשומה ביומן שנוצרה בפרויקט יכולה לעבור דרך מאגרי המידע בהיררכיית המשאבים שלו.

דוגמה: לא קיימים מאגרי נתונים מצטברים

אם אין מאגרי נתונים מסוג aggregated בדרגת ההיררכיה של המשאב של רשומת היומן, רשומת היומן נשלחת למאגרי היומנים בפרויקט שממנו היא מגיעה. אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שלא מבצע יירוט

נניח שקיים יעד מצטבר שלא מיירט ביררכיית המשאבים עבור רשומה ביומן. אחרי שהכלי Log Router שולח את הרשומה ביומן אל מאגר נתונים מצטבר שלא מבצע יירוט, קורה הדבר הבא:

  1. אובייקט ה-sink המצטבר שלא מיירט את רשומת היומן מעביר אותה ליעד של ה-sink אם היא תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה.

  2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

    אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

דוגמה: קיים מאגר נתונים מצטבר שמיירט נתונים

נניח שקיים מאגר נתונים מצטבר שחוצה פרויקטים ומיירט רשומת יומן בהיררכיית המשאבים. אחרי שהכלי Log Router שולח את הרשומה ביומן אל יעד מצטבר שחוסם את הרשומה, קורה אחד מהדברים הבאים:

  • הרשומה ביומן תואמת למסנן ההכללה אבל לא תואמת לאף מסנן החרגה:

    1. רשומת היומן מנותבת ליעד של ה-sink המצטבר שחוסם את הגישה.
    2. הרשומה ביומן נשלחת אל יעד _Required בפרויקט שבו נוצרה הרשומה ביומן.

  • הרשומה ביומן לא תואמת למסנן ההכללה או שהיא תואמת לפחות למסנן החרגה אחד:

    1. הרשומה ביומן לא מנותבת על ידי מאגר היעד המצטבר שמבצע את היירוט.

    2. הכלי Log Router שולח את רשומת היומן אל יעד היומן בפרויקט שבו נוצרה רשומת היומן.

      אובייקט sink ברמת הפרויקט מעביר את רשומת היומן ליעד של אובייקט ה-sink אם רשומת היומן תואמת למסנן ההכללה של אובייקט ה-sink, אבל לא תואמת לאף אחד ממסנני ההחרגה של אובייקט ה-sink.

מסננים של sink ביומן

כל אובייקט sink ביומן מכיל מסנן הכללה אחד ויכול להכיל כמה מסנני החרגה. המסננים האלה קובעים אם רשומה ביומן תנותב ליעד של sink ביומן. אם לא מציינים מסננים, כל רשומה ביומן מנותבת ליעד של מאגר הנתונים.

רשומה ביומן מנותבת על ידי sink ביומן על סמך הכללים הבאים:

  • אם רשומת היומן לא תואמת למסנן ההכללה, היא לא מנותבת. אם לא מציינים מסנן הכללה באובייקט sink, כל רשומה ביומן תתאים למסנן הזה.

  • אם רשומת היומן תואמת למסנן ההכללה ולפחות למסנן החרגה אחד, היא לא תנותב.

  • אם רשומת היומן תואמת למסנן ההכללה ולא תואמת לאף מסנן החרגה, היא מנותבת ליעד של אובייקט ה-sink.

המסננים ב-sink ביומן נקבעים באמצעות שפת השאילתות של Logging.

אי אפשר להשתמש במסנני החרגה כדי לצמצם את השימוש בentries.write מכסת ה-API או את מספר הקריאות ל-entries.write API. מסנני החרגה מופעלים אחרי שרשומות היומן מתקבלות על ידי Logging API.

פריטי Sink ביומן שנוצרו על ידי המערכת

לכל פרויקט, חשבון לחיוב, תיקייה וארגון ב- Google Cloud ,‏ Cloud Logging יוצר שני יעד ליומן, אחד בשם _Required והשני בשם _Default. מסנני ההכללה וההחרגה של אובייקטי ה-sink האלה מוודאים שכל רשומה ביומן שמגיעה למשאב מנותבת על ידי אחד מאובייקטי ה-sink האלה. שני ה-sink ביומן מעבירים נתוני יומן לקטגוריה ביומן שנמצאת באותו משאב כמו ה-sink ביומן.

בחלקים הבאים של המאמר מפורט מידע על המסננים ויעדי הניקוז של היומנים שנוצרו על ידי המערכת.

_Required sink ביומן

השדה _Required sink ביומן במשאב מעביר קבוצת משנה של יומני ביקורת אל _Required קטגוריה ביומן של המשאב. באובייקט ה-sink הזה לא מצוינים מסנני החרגה, ומסנן ההכללה הוא כפי שמוצג:

LOG_ID("cloudaudit.googleapis.com/activity") OR
LOG_ID("externalaudit.googleapis.com/activity") OR
LOG_ID("cloudaudit.googleapis.com/system_event") OR
LOG_ID("externalaudit.googleapis.com/system_event") OR
LOG_ID("cloudaudit.googleapis.com/access_transparency") OR
LOG_ID("externalaudit.googleapis.com/access_transparency")

יעד יומן _Required תואם רק לרשומות ביומן שמקורן במשאב שבו מוגדר יעד היומן _Required. לדוגמה, נניח ש-sink ביומן מעביר רשומה ביומן הפעילות של פרויקט A לפרויקט B. מכיוון שרשומת היומן לא נוצרה בפרויקט B, sink ביומן _Required בפרויקט B לא מעביר את רשומת היומן הזו לקטגוריית היומן _Required.

אי אפשר לשנות או למחוק את _Required sink ביומן.

_Default sink ביומן

היעד _Default של היומן במשאב מעביר את כל רשומות היומן, למעט אלה שתואמות למסנן של היעד _Default של היומן, אל _Default מאגר היומנים של המשאב._Required מסנן ההכללה של היעד הזה ריק, ולכן הוא תואם לכל רשומות היומן. עם זאת, מסנן ההחרגה מוגדר כך:

NOT LOG_ID("cloudaudit.googleapis.com/activity") AND
NOT LOG_ID("externalaudit.googleapis.com/activity") AND
NOT LOG_ID("cloudaudit.googleapis.com/system_event") AND
NOT LOG_ID("externalaudit.googleapis.com/system_event") AND
NOT LOG_ID("cloudaudit.googleapis.com/access_transparency") AND
NOT LOG_ID("externalaudit.googleapis.com/access_transparency")

אפשר לשנות ולהשבית את יעד היומן _Default. לדוגמה, אפשר לערוך את _Default sink ביומן ולשנות את היעד. אפשר גם לשנות מסננים קיימים ולהוסיף מסנני החרגה.

יעדים של כיורים

היעד של מאגר יכול להיות במשאב אחר מהמאגר. לדוגמה, אפשר להשתמש ב-sink ביומן כדי להעביר רשומות ביומן מפרויקט אחד לקטגוריה ביומן שמאוחסנת בפרויקט אחר.

היעדים הבאים נתמכים:

פרויקט אחד (Google Cloud )

בוחרים ביעד הזה כשרוצים שהיעדים של יומני הרישום בפרויקט היעד ינתבו מחדש את הרשומות ביומן, או כשיוצרים יעד צבירה שחוסם את הרשומות. פריטי ה-sink ביומן בפרויקט שהוא יעד ה-sink יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, למעט פרויקט.

קטגוריה ביומן

בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתונים ביומן שאוחסנו בדלי יומנים באמצעות שירותים כמו Logs Explorer ו-Observability Analytics.

אם רוצים לצרף את נתוני היומן לנתונים עסקיים אחרים, אפשר לאחסן את נתוני היומן בקטגוריה ביומן וליצור מערך נתונים מקושר ב-BigQuery. מערך נתונים מקושר הוא מערך נתונים לקריאה בלבד שאפשר להריץ עליו שאילתות כמו על כל מערך נתונים אחר ב-BigQuery.

מערך נתונים ב-BigQuery
בוחרים ביעד הזה כשרוצים לצרף את נתוני היומן לנתונים עסקיים אחרים. צריך להפעיל הרשאות כתיבה למערך הנתונים שאתם מציינים. לא מגדירים את היעד של מאגר נתונים כקבוצת נתונים מקושרת ב-BigQuery. מערכי נתונים מקושרים הם לקריאה בלבד.
קטגוריה של Cloud Storage
בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן לטווח ארוך. הקטגוריה של Cloud Storage יכולה להיות באותו פרויקט שממנו מגיעים רשומות היומן, או בפרויקט אחר. רשומות ביומן מאוחסנות כקובצי JSON.
נושא Pub/Sub
בוחרים ביעד הזה כשרוצים לייצא את נתוני היומן מ-Google Cloud ואז להשתמש בשילובים עם צד שלישי כמו Splunk או Datadog. רשומות היומן מעוצבות בפורמט JSON ואז מנותבות לנושא ב-Pub/Sub.

מגבלות על יעדים

בקטע הזה מתוארות מגבלות שספציפיות ליעד:

  • אם אתם מעבירים רשומות ביומן לקטגוריית יומנים בפרויקט אחר, Error Reporting לא מנתח את הרשומות האלה. Google Cloud מידע נוסף מופיע במאמר בנושא סקירה כללית על Error Reporting.
  • אם אתם מעבירים רשומות ביומן למערך נתונים ב-BigQuery, צריך להפעיל את ההרשאה לכתוב במערך הנתונים ב-BigQuery. אי אפשר להפנות רשומות ביומן לקבוצות נתונים מקושרות, שהן לקריאה בלבד.
  • יכול להיות שיחלפו כמה שעות עד שמאגרי נתונים חדשים שמעבירים נתוני יומן לקטגוריות של Cloud Storage יתחילו להעביר רשומות ביומן. הנתונים בלוחות האלה מתעדכנים מדי שעה.

  • המגבלות הבאות חלות כשהיעד של sink ביומן הוא Google Cloud פרויקט:

    • יש הגבלה של קפיצה אחת.
    • רשומות ביומן שתואמות למסנן של _Required sink ביומן מנותבות רק אל _Required הקטגוריה ביומן של פרויקט היעד אם הן נוצרו בפרויקט היעד.
    • רק מאגרי נתונים מצטברים שנמצאים בהיררכיית המשאבים של רשומה ביומן מעבדים את הרשומה.

    לדוגמה, נניח שיעד של sink ביומן בפרויקט A הוא פרויקט B. אז התנאים הבאים מתקיימים:

    • בגלל המגבלה של קפיצה אחת, מאגרי היומנים בפרויקט B לא יכולים לנתב מחדש רשומות ביומן לפרויקט Google Cloud .
    • בקטגוריית היומן _Required של פרויקט B נשמרים רק רשומות יומן שמקורן בפרויקט B. קטגוריה ביומן זו לא מאחסנת רשומות ביומן שמקורן במשאבים אחרים, כולל אלה שמקורן בפרויקט A.
    • אם היררכיית המשאבים של פרויקט A שונה מהיררכיית המשאבים של פרויקט B, רשומה ביומן ש-sink ביומן בפרויקט A מעביר לפרויקט B לא תישלח למאגרי ה-sink המצטברים בהיררכיית המשאבים של פרויקט B.
    • אם לפרויקט A ולפרויקט B יש אותה היררכיית משאבים, רשומות היומן נשלחות למאגרי הנתונים המצטברים בהיררכיה הזו. אם רשומת יומן לא נחסמת על ידי sink מצטבר, נתב היומנים שולח את רשומת היומן אל ה-sinks בפרויקט A.

איך רשומות ביומן הניתוב משפיעות על מדדים מבוססי-יומן

מדדים מבוססי-יומן הם מדדים של Cloud Monitoring שנגזרים מהתוכן של רשומות ביומן. לדוגמה, אפשר להשתמש במדד מבוסס-יומן כדי לספור את מספר רשומות היומן שמכילות הודעה מסוימת, או כדי לחלץ מידע על זמן האחזור שמתועד ברשומות היומן. אפשר להציג מדדים מבוססי-יומן בתרשימים של Cloud Monitoring, ומדיניות התראות יכולה לעקוב אחרי המדדים האלה.

מדדים מבוססי-יומן שמוגדרים על ידי המערכת חלים ברמת הפרויקט. מדדים מבוססי-יומן שהוגדרו על ידי המשתמש יכולים לחול ברמת הפרויקט או ברמת קטגוריית היומן. מדדים מבוססי-יומן בהיקף של קטגוריה שימושיים כשמשתמשים ביעדים מצטברים כדי לנתב רשומות ביומן לקטגוריה של יומן, וכשמנתבים רשומות ביומן מפרויקט אחד לקטגוריה של יומן בפרויקט אחר.

מדדים מבוססי-יומנים שמוגדרים על ידי המערכת
הכלי Log Router סופר רשומה ביומן אם כל התנאים הבאים מתקיימים:
  • רשומת היומן עוברת דרך פריטי ה-sink של היומן בפרויקט שבו מוגדר מדד מבוסס-יומן.

  • רשומת היומן מאוחסנת בקטגוריית יומנים. קטגוריית היומנים יכולה להיות בכל פרויקט.

    לדוגמה, נניח שלפרויקט A יש sink ביומן שהיעד שלו הוא פרויקט B. נניח גם ש-sink ביומן בפרויקט B מעבירים את רשומות היומן לקטגוריה ביומן. בתרחיש הזה, רשומות היומן שמועברות מפרויקט A לפרויקט B תורמות למדדים מבוססי-היומן שמוגדרים על ידי המערכת בפרויקט A. הרשומות האלה ביומן תורמות גם למדדים מבוססי-יומנים שהוגדרו על ידי המערכת בפרויקט B.

מדדים מבוססי-יומן שהוגדרו על ידי המשתמש
הכלי Log Router סופר רשומה ביומן אם כל התנאים הבאים מתקיימים:
  • החיוב מופעל בפרויקט שבו מוגדר המדד מבוסס-היומן.
  • לגבי מדדים בהיקף קטגוריה, הרשומה ביומן מאוחסנת בקטגוריית היומנים שבה מוגדר המדד שמבוסס על יומן.
  • לגבי מדדים בהיקף הפרויקט, רשומת היומן עוברת דרך פריטי ה-sink של הפרויקט שבו מוגדר המדד שמבוסס על יומן.

מידע נוסף מופיע במאמר סקירה כללית על מדדים מבוססי-יומן.

שיטות מומלצות

כשמנהלים את האחסון של היומנים, אפשר גם לנהל את יעד היומנים. לדוגמה, אם מוחקים את היעד של sink ביומן, צריך למחוק גם את sink ביומן התואם.

שיטות מומלצות לשימוש בהפניה לניהול נתונים או לתרחישים נפוצים מפורטות במאמרים הבאים:

דוגמאות: ריכוז של אחסון היומנים

בקטע הזה מוסבר איך להגדיר אחסון מרכזי. אחסון מרכזי מספק מקום אחד לשליחת שאילתות לגבי נתוני יומן, מה שמפשט את השאילתות כשמחפשים מגמות או בודקים בעיות. מבחינת אבטחה, יש לכם גם מיקום אחסון אחד, שיכול לפשט את המשימות של אנליסטים בתחום האבטחה.

אם אתם מרכזים את אחסון היומנים, כדאי לשקול אם להטיל מנעול למניעת מחיקה על הפרויקט שבו מאוחסנים נתוני היומנים. מנעול למניעת מחיקה יכול למנוע מחיקה בטעות של פרויקט. מידע נוסף זמין במאמר הגנה על פרויקטים באמצעות מנעולים.

ריכוז של אחסון יומנים לפרויקטים בתיקייה

נניח שאתם מנהלים תיקייה ורוצים לרכז את האחסון של רשומות היומן. לדוגמה, במקרה השימוש הזה, אפשר לבצע את הפעולות הבאות:

  1. בתיקייה, יוצרים פרויקט בשם CentralStorage.
  2. יוצרים sink מצטבר שחוצה תיקיות עבור התיקייה ומגדירים אותו להעברת כל הרשומות ביומן. הגדרתם את היעד של ה-sink להיות הפרויקט שנקרא CentralStorage.

כשמגיעה רשומה ביומן שמקורה בתיקייה או באחד ממשאבי הצאצא שלה, הרשומה הזו נשלחת למאגר המצטבר שנוצר לצורך יירוט. היעד הזה מעביר רשומות ביומן לפרויקט בשם CentralStorage. פריטי ה-sink ביומן בפרויקט הזה מעבדים את הרשומות ביומן:

אחרי שהעיבוד של sink מצטבר מסתיים, רשומה ביומן נשלחת אל sink ביומן _Required במשאב שממנו נוצרה רשומה ביומן. אם הרשומה ביומן תואמת לפילטר ב_Required sink ביומן, הרשומה ביומן מנותבת אל _Required קטגוריה ביומן של המשאב. לכן, כל Google Cloud פרויקט בתיקייה מאחסן רשומות ביומן ב-_Required קטגוריה ביומן שלו.

ריכוז של אחסון יומנים עבור קבוצה של פרויקטים

אפשר גם לאחסן רשומות ביומן במיקום אחד כשאין לכם ארגון או תיקייה. לדוגמה, אפשר לבצע את הפעולות הבאות:

  1. יוצרים פרויקט בשם CentralStorage.
  2. לכל פרויקט חוץ מ-CentralStorage, עורכים את ה-sink ביומן _Default ומגדירים את היעד להיות הפרויקט שנקרא CentralStorage.

יכול להיות שתשאלו למה בדוגמה הקודמת היעד של _Default sink ביומן הוא פרויקט, ולא _Default קטגוריה ביומן באותו פרויקט. הסיבות העיקריות לכך הן פשטות ועקביות. כשמנתבים רשומות ביומן לפרויקט, מאגרי היומנים בפרויקט היעד קובעים אילו רשומות ביומן יישמרו ואיפה הן יישמרו. כלומר, אתם מרכזים את הפונקציונליות של המסנן והיעד. אם רוצים לשנות את רשומות היומן שנשמרות או את המיקום שבו הן נשמרות, צריך לשנות את יעד היומן רק בפרויקט אחד.

ריכוז של אחסון יומנים ליומני ביקורת

אפשר לאחסן באופן מרכזי רשומות ביומן שתואמות ל_Required sink ביומן. אם רוצים לאחסן את רשומות היומן האלה באופן מרכזי, אפשר לבצע אחת מהפעולות הבאות:

  • יוצרים מאגרי יומנים שמנתבים רשומות ביומן שתואמות למאגר היומנים _Required למאגר יומנים מרכזי.

  • מגדירים פריטי sink ביומן כמו בשתי הדוגמאות הקודמות, ואז מוסיפים פריט sink ביומן בפרויקט היעד שמנתב רשומות ביומן שתואמות לפריט ה-sink _Required ביומן לקטגוריה ביומן. אפשר גם לערוך את המסננים ב-_Default sink ביומן.

לפני שמטמיעים שיטה כזו, חשוב לעיין בהנחיות בנושא תמחור.

תמחור

למידע על התמחור של Cloud Logging, אפשר לעיין בדף התמחור של Google Cloud Observability.

המאמרים הבאים

כדי לעזור לכם לנתב ולאחסן נתונים מ-Cloud Logging, תוכלו לעיין במסמכים הבאים: