סקירה כללית של מדדים מבוססי-יומנים

בדף הזה מובאת סקירה כללית של מדדים מבוססי-יומן. המדדים האלה יכולים לעזור לכם לזהות מגמות ודפוסים בכמות גדולה של רשומות ביומן.

מידע על מדדים מבוססי-יומנים

מדדים מבוססי-יומן הם מדדים של Cloud Monitoring שנגזרים מהתוכן של רשומות ביומן. לדוגמה, אפשר להשתמש במדד מבוסס-יומן כדי לספור את מספר רשומות היומן שמכילות הודעה מסוימת, או כדי לחלץ מידע על זמן האחזור שמתועד ברשומות היומן. אפשר להציג מדדים מבוססי-יומן בתרשימים של Cloud Monitoring, ומדיניות התראות יכולה לעקוב אחרי המדדים האלה.

אפשר להחיל מדדים מבוססי-יומן ברמת הפרויקט או ברמת קטגוריית היומן. מדדים מבוססי-יומן בהיקף של קטגוריה שימושיים כשמשתמשים ביעדים מצטברים כדי לנתב רשומות ביומן לקטגוריה של יומן, וכשמנתבים רשומות ביומן מפרויקט אחד לקטגוריה של יומן בפרויקט אחר. מידע נוסף זמין בקטע מקורות של מדדים מבוססי-יומן בדף הזה.

איך נקבעים ערכי סדרות הזמן של מדדים שמבוססים על יומנים

בקטע הזה מתואר בקצרה איך נקבעים הערכים בסדרת זמן של מדד מבוסס-יומן מסוג מונה. בנוסף, מוסבר למה יכולים להיות פערים בסדרת זמן של מדד שמבוסס על יומן. התהליך דומה למדדים מבוססי-יומן עם ערכי חלוקה.

עבור מדדים מבוססי-יומן מסוג counter, שירות Logging מבצע את הפעולות הבאות:

  1. הוא יוצר מקור נתונים אחד או יותר, ולכל מקור נתונים הוא מנהל קבוצה של מוניטורים בזיכרון.

    יש מקור נתונים אחד לכל שילוב של ערכים ייחודיים עבור קבוצת התוויות של המדדים והמשאבים. כל מונה בזיכרון מיועד למרווח זמן שונה, אבל כל מונה מתעד את מספר הרשומות ביומן שתואמות לפילטר ושחותמת הזמן שלהן תואמת למרווח.

  2. בכל דקה, עבור כל זרם, קצה העורפי של Logging משתמש בערכים של מוני הזיכרון כדי לקבוע איך לעדכן סדרת זמן שמנוהלת על ידי Cloud Monitoring.

    אם יש חמישה זרמים, יש חמש סדרות עיתיות שמנוהלות על ידי Monitoring. אפשר ליצור תרשים של סדרות הזמן האלה. אפשר גם ליצור מדיניות התראות כדי לעקוב אחרי סדרות הזמן האלה.

דוגמה: איך ערכים של אפס יכולים לגרום לפערים בנתונים

נבחן את סדרת הזמן הבאה:

Example time series: (T1, -), (T2, -), (T3, 0), (T4, 1), (T5, 0), (T6, -)

בביטוי הקודם, (T1, -) מציין שלא נכתב ערך לשעה T1. המשמעות היא שיש פער בערכים בסדרת הזמן. לעומת זאת, (T3, 0) אומר שהערך של סדרת הזמן בזמן T3 הוא אפס.

לכל זרם, מערכת ה-Backend של מדדים מבוססי-יומן משתמשת בכללים הבאים כדי לקבוע איזה ערך לכתוב לסדרת הזמן שמאוחסנת ב-Monitoring:

  • אם הספירה המצטברת של מרווח מסוים היא לא אפס, הערך הזה נכתב לסדרת הזמן.

    בסדרת הזמן לדוגמה, רק למרווח T4 יש ערך שאינו אפס. הערך 1 מציין שרשומה אחת ביומן עם חותמת זמן שתואמת למרווח T4 תאמה למסנן של המדד מבוסס-היומן.

  • אם הספירה המצטברת של מרווח מסוים היא אפס, ערך של אפס נכתב לסדרת הזמן אם למרווח סמוך יש ערך שאינו אפס.

    בדוגמה של סדרת הזמן, בזמן T3, הספירה המצטברת היא אפס. עם זאת, נכתב ערך של אפס כי בזמן T4 הספירה המצטברת היא לא אפס. באופן דומה, בזמן T5, הספירה המצטברת היא אפס. הערך אפס נכתב לסדרת הזמן כי הערך של המרווח הקודם היה שונה מאפס.

  • אחרת, סדרת הזמן לא מתעדכנת ונוצר פער בנתונים של המרווח.

    בסדרת הזמן לדוגמה, אין ערך למרווחי הזמן T1, T2 ו-T6. במרווחי הזמן האלה, הספירות המצטברות היו אפס, וגם הספירות במרווחי הזמן הסמוכים היו אפס.

טיפול ברשומות ביומן ביקורת שמגיעות באיחור וברשומות עתידיות

כשערכי יומן מגיעים עם חותמת זמן של מרווח זמן שכבר עבר עיבוד, העורף של Logging יוצר נתונים היסטוריים. הנתונים ההיסטוריים משמשים לעדכון הספירות שנכתבו קודם.

כשערכי יומן מגיעים עם חותמת זמן שמתייחסת לעתיד, קצה העורפי של Logging צובר את המספרים האלה. בסדרת הזמן, רשומות היומן האלה נספרות כשחותמת הזמן שלהן תואמת למרווח הנוכחי.

מקורות של מדדים מבוססי-יומנים

אתם יכולים להשתמש במדדים שמוגדרים על ידי Cloud Logging כדי לאסוף מידע כללי על השימוש, או להגדיר מדד משלכם שמבוסס על יומן כדי לתעד מידע שספציפי לאפליקציה או לעסק שלכם.

מדדים מבוססי-יומן יכולים לחול בתוך פרויקט יחיד Google Cloud או בתוך קטגוריית יומנים. אי אפשר ליצור מדדים מבוססי-יומן למשאבים אחרים של Google Cloud , כמו חשבונות לחיוב ב-Cloud או ארגונים.

למידע על ההבדלים בין מדדים מבוססי-יומן ברמת הפרויקט לבין מדדים מבוססי-יומן ברמת הדלי, אפשר לעיין במאמר מדדים מבוססי-יומן ברמת הדלי.

מדדים שמוגדרים על ידי המערכת

הרישום ביומן מספק קבוצה של מדדים לערכי שימוש, כמו מספר רשומות היומן שמאוחסנות בדלי היומן בפרויקט, או מספר הבייטים שייצאתם. רשימה מלאה של מדדים שמוגדרים על ידי המערכת זמינה במאמר בנושא מדדים: רישום ביומן.Google Cloud

מדדים מבוססי-יומן שמוגדרים על ידי המערכת חלים ברמת הפרויקט.

הכלי Log Router סופר רשומה ביומן אם מתקיימים כל התנאים הבאים:

  • רשומת היומן עוברת דרך פריטי ה-sink של היומן בפרויקט שבו מוגדר מדד מבוסס-יומן.

  • רשומת היומן מאוחסנת בקטגוריית יומנים. קטגוריית היומנים יכולה להיות בכל פרויקט.

    לדוגמה, נניח שלפרויקט A יש sink ביומן שהיעד שלו הוא פרויקט B. נניח גם ש-sink ביומן בפרויקט B מעבירים את רשומות היומן לקטגוריה ביומן. בתרחיש הזה, רשומות היומן שמועברות מפרויקט A לפרויקט B תורמות למדדים מבוססי-היומן שמוגדרים על ידי המערכת בפרויקט A. הרשומות האלה ביומן תורמות גם למדדים מבוססי-יומנים שהוגדרו על ידי המערכת בפרויקט B.

מדדים שהמשתמש מגדיר

אתם יכולים ליצור מדדים מבוססי-יומן שמוגדרים על ידי המשתמש כדי לעקוב אחרי מדדים אחרים שחשובים לפרויקט שלכם. לדוגמה, אפשר ליצור מדד מבוסס-יומן כדי לספור את מספר הרשומות ביומן שתואמות למסנן נתון.

כברירת מחדל, מדדים מבוססי-יומן שהוגדרו על ידי המשתמש מחושבים מכל היומנים שמתקבלים על ידי Logging API עבור הפרויקט Google Cloud , ללא קשר למסנני הכללה או למסנני החרגה שעשויים לחול על הפרויקטGoogle Cloud .

אפשר גם ליצור מדדים מבוססי-יומן שמוגדרים על ידי המשתמש עבור קטגוריית יומנים ספציפית ב Google Cloud פרויקט. מדדים מבוססי-יומן עם היקף של מאגר מחושבים מכל היומנים שמיועדים למאגר, בלי קשר למקור שלהם. מידע נוסף זמין במאמר מדדים מבוססי-יומן בקטגוריות ביומן.

הכלי Log Router סופר רשומה ביומן אם מתקיימים כל התנאים הבאים:

  • החיוב מופעל בפרויקט שבו מוגדר המדד מבוסס-היומן.
  • לגבי מדדים בהיקף קטגוריה, הרשומה ביומן מאוחסנת בקטגוריית היומנים שבה מוגדר המדד שמבוסס על יומן.
  • לגבי מדדים בהיקף הפרויקט, רשומת היומן עוברת דרך פריטי ה-sink של הפרויקט שבו מוגדר המדד שמבוסס על יומן.

סוגי נתונים של מדדים מבוססי-יומנים

מדדים מבוססי-יומנים יכולים לחלץ נתונים מיומנים כדי ליצור מדדים מהסוגים הבאים:

  • מונה: המדדים האלה סופרים את מספר הערכים ביומן שמתאימים למסנן שצוין בתוך תקופה ספציפית. אפשר להשתמש במונים כשרוצים לעקוב אחרי מספר הפעמים שערך או מחרוזת מופיעים ביומנים.
  • התפלגות: המדדים האלה סופרים גם ערכים, אבל הם אוספים את הספירות בטווחים של ערכים (משבצות היסטוגרמה). כדאי להשתמש בהתפלגויות כשרוצים לחלץ ערכים כמו זמני אחזור.
  • בוליאני: המדדים האלה מתעדים אם רשומה ביומן תואמת למסנן שצוין.

מדדים מבוססי-יומן שמוגדרים על ידי המשתמש יכולים להיות מסוג counter או מסוג distribution metric. רוב המדדים מבוססי-היומן שמוגדרים על ידי המערכת הם מדדים מסוג counter, אבל חלקם הם מסוג boolean. בקטעים הבאים מוסברות התכונות של מדדים ושל התפלגויות.

הנתונים של מדד מבוסס-יומן שמוגדר על ידי המשתמש מגיעים רק מיומנים שמתקבלים אחרי שהמדד נוצר. מדד לא מאוכלס רטרואקטיבית בנתונים מיומני רישום שכבר נמצאים ב-Logging.

מדדים שמבוססים על יומני מערכת מחושבים רק מיומנים שנכללים. מדדים מבוססי-יומן שמוגדרים על ידי המשתמש מחושבים מיומנים כלולים וגם מיומנים מוחרגים.

בקטעים הבאים מתוארות המאפיינים של מדדים מסוג counter ומסוג distribution.

מדדי מונה

מדדי ספירה סופרים את מספר רשומות היומן שתואמות למסנן נתון. לדוגמה, אתם יכולים:

  • לספור את רשומות היומן שמכילות הודעת שגיאה ספציפית.

  • כדי לספור את מספר הפעמים שכל משתמש מפעיל פעולה, מחפשים הודעות יומן שתואמות לתבנית הזו:

    ... user USERNAME called OPERATION ...

    אם מחלצים את USERNAME ואת OPERATION ומשתמשים בהם כערכים של שני תוויות, אפשר לשאול בהמשך: "כמה פעמים התקשרה sally לפעולה update?", ‫"How many people called the read operation?", "כמה פעמים george התקשר לפעולה?" וכו'.

מידע נוסף זמין במאמר בנושא הגדרת מדדים של מונה.

מדדי הפצה

מדדי הפצה צוברים נתונים מספריים מתוך רשומות ביומן שמתאימות למסנן. המדדים מכילים סדרת זמן של אובייקטים של התפלגות, שכל אחד מהם מכיל את הפרטים הבאים:

  • ספירה של מספר הערכים בהתפלגות.
  • הממוצע של הערכים.
  • סכום הריבועים של הסטיות: Sumi=1..n(xi–mean)2
  • קבוצה של קטגוריות היסטוגרמה עם ספירת הערכים בכל קטגוריה. אתם יכולים להשתמש בפריסת הדלי שמוגדרת כברירת מחדל או לבחור פריסה משלכם.

שימוש נפוץ במדדי התפלגות הוא מעקב אחרי זמני השהיה. כשמתקבלת כל רשומה ביומן, ערך השהייה מחולץ ממיקום כלשהו ברשומה ומוסף להתפלגות. במרווחי זמן קבועים, ההתפלגות המצטברת נכתבת ב-Cloud Monitoring.

למידע על התפלגויות, כולל הפורמט שלהן בסדרת זמן והאופן שבו הן מוצגות, אפשר לעיין במאמר יצירת תרשימים של מדדי התפלגות.

מידע על יצירת מדדים מבוססי-יומן של הפצה זמין במאמר הגדרת מדדי הפצה.

סוגי המשאבים

מומלץ שמדדים מבוססי-יומן יציינו סוג משאב יחיד. המפרט הזה מבטיח שסדרת הזמן שנוצרת עבור מדד שמבוסס על יומן תתאים למודל הנתונים שצפוי ב-Cloud Monitoring. בנוסף, הוא מפשט את תהליך יצירת התרשימים וכללי מדיניות ההתראות, כי אין אי בהירות לגבי נתוני הסדרות העיתיות שמוצגים בתרשים או שמנוטרים.

נניח שיש מדד מבוסס-יומנים עם המסנן הבא:

severity>="ERROR"
resource.type="gce_instance"

‫Cloud Monitoring מזהה שהנתונים האלה הם של מכונה וירטואלית (VM) ב-Compute Engine. לכן, כשיוצרים תרשים למופע של מכונה וירטואלית, המדד מבוסס-היומן מופיע כאפשרות בתפריטים. כשיוצרים תרשים עבור סוג משאב אחר, המדד מבוסס-היומן לא מופיע כאפשרות.

אם יוצרים מדד מבוסס-יומן בלי לציין סוג משאב, המדד מופיע ב-Monitoring כאפשרות לכמה סוגי משאבים, למרות שלא נספרים רשומות מהמשאבים האלה.

תוויות

למדדים מבוססי-יומן יכולות להיות תוויות, שמאפשרות לאסוף מספר סדרות זמן עבור המדד. הערכים של התוויות מחולצים משדות ברשומות היומן התואמות. הרישום ביומן מתעד סדרות זמן נפרדות לכל שילוב של ערכי תוויות.

רוב המדדים שמבוססים על יומנים מספקים תווית ברירת מחדל log. התווית הזו מכילה את הערך של החלק LOG_ID בשדה logName ברשומה ביומן, לדוגמה, cloudresourcemanager.googleapis.com%2Factivity.

למדדים שמבוססים על יומני מערכת יש תוויות מוגדרות מראש שאי אפשר לשנות.

מדדים מבוססי-יומן שהוגדרו על ידי המשתמש יכולים לכלול תוויות שאתם מגדירים. בדרך כלל, התוויות האלה מחלצות ערכים מרשומות ביומן שמשפיעות על המדד שמבוסס על יומן.

לדוגמה, אפשר להשתמש בתוויות במדד מבוסס-יומן כדי לתעד את התיקייה או הארגון שממנו הגיעה רשומה ביומן, גם אם אי אפשר ליצור מדדים מבוססי-יומן בהיקף של דלי אחסון לתיקיות או לארגונים. מידע נוסף זמין במאמר תוויות של מדדים מבוססי-יומן.

תרשימים וכללי מדיניות ליצירת התראות ב-Cloud Monitoring

אתם יכולים להשתמש במדדים מבוססי-יומן שמוגדרים על ידי המערכת ועל ידי המשתמש ב-Cloud Monitoring כדי ליצור תרשימים ומדיניות התראות. במקרה של התרשימים האלה ומדיניות ההתראות, אפשר להשתמש בתוויות כדי לסנן או לשלב סדרות זמן. לדוגמה, אפשר להגדיר מסנן כדי להציג רק סדרות זמן מסוימות. מידע נוסף זמין במאמרים הצגה של מדדים מבוססי-יומן ברשימה ובתרשים והתראות על מדדים מבוססי-יומן.

ב-Cloud Monitoring, מדדים מבוססי-יומן משתמשים בתבניות השמות הבאות:

  • מערכת: logging.googleapis.com/SYSTEM_METRIC_NAME
  • בהגדרת המשתמש: logging.googleapis.com/user/USER_METRIC_NAME

שימו לב: מדדים מבוססי-יומן שהוגדרו על ידי המשתמש כוללים את המחרוזת user.

חשיפה להיקפי מדדים של Monitoring

מערכת Cloud Monitoring קולטת מדדים מבוססי-יומן, והיקף המדדים בפרויקט קובע את רמת החשיפה של נתוני המדדים ל Google Cloud פרויקט. היקף המדדים הוא רשימה של פרויקטים שנמצאים במעקב של הפרויקט שמארח את היקף המדדים. הפרויקט המארח נקרא פרויקט היקף.

כברירת מחדל, כל פרויקט מארח היקף המדדים בפרויקט שכולל רק את עצמו, ולכן פרויקט הוא פרויקט להגדרת היקף בשביל עצמו. לכן, המדדים שלכם, כולל מדדים שמבוססים על יומנים, גלויים רק בפרויקטGoogle Cloud .

אפשר גם ליצור היקף מדדים של כמה פרויקטים עבור פרויקט ההיקף. עם היקף המדדים בפרויקט מרובה פרויקטים, הפרויקט שמוגדר כהיקף יכול לראות את המדדים מכל הפרויקטים בהיקף המדדים בפרויקט. מה שגלוי לפרויקטים נפרדים בהיקף מדדים של כמה פרויקטים נקבע לפי היקף המדדים בפרויקט שמארח כל אחד מהפרויקטים האלה. העובדה ששני פרויקטים נמצאים בהיקף מדדים של כמה פרויקטים לא אומרת שלכל פרויקט יש גישה למדד או לנתוני ההגדרה בפרויקט השני.

פרויקט יחיד יכול להופיע גם בכמה היקפי מדדים. המדדים מפרויקט כזה גלויים לפרויקטים שמוגדרים בהם היקפי המדדים האלה.

הגדרות של מדדים, כולל מדדים שמבוססים על יומנים, מתבצעות בפרויקט ספציפי. כשהפרויקט הזה מופיע בכמה היקפי מדדים, המדדים גלויים לפרויקטים אחרים מלבד הפרויקט שבו הם מוגדרים. מידע על האינטראקציה בין היקפי מדדים לבין מדדים מבוססי-יומן עם היקף של דלי זמין במאמר פרויקטים והיקפי מדדים.

מידע נוסף על היקפי מדדים, כולל היקפי מדדים בכמה פרויקטים, ועל הגדרת היקף לפרויקטים זמין במאמרים הבאים:

מגבלות

אי אפשר ליצור מדדים מבוססי-יומן שסופרים את מספר רשומות היומן שמכילות קבוצת שגיאות. בנוסף, אי אפשר לחלץ את המזהה של קבוצת שגיאות לתווית שמצורפת למדד מבוסס-יומן.

מכסות ומגבלות

מידע על המכסות והמגבלות שקשורות למדדים מבוססי-יומן שמוגדרים על ידי המשתמש זמין במאמר מכסות ומגבלות של מדדים מבוססי-יומן.

פתרון בעיות

אם נתקלתם בבעיות בשימוש במדדים מבוססי-יומן, תוכלו לעיין במאמר בנושא פתרון בעיות שקשורות למדדים מבוססי-יומן.

תמחור

כל המדדים מבוססי-יומן שהוגדרו על ידי המשתמש הם סוג של מדדים מותאמים אישית של Cloud Monitoring, ויש לשלם עליהם. למידע על מחירים, אפשר לעיין בתמחור של Google Cloud Observability.