ניתוח יומנים באמצעות Logs Explorer ו-Observability Analytics

במאמר הזה מוסבר איך לשלוח שאילתות, להציג ולנתח רשומות ביומן באמצעות מסוף Google Cloud . יש שני ממשקים שזמינים לכם: Logs Explorer ו-Observability Analytics. אתם יכולים לשלוח שאילתות, להציג ולנתח יומנים בשני הממשקים, אבל הם משתמשים בשפות שאילתה שונות ויש להם יכולות שונות:

  • כדי לפתור בעיות ולנתח נתונים ביומנים, אפשר להשתמש ב-Logs Explorer.

  • כדי לצרף את נתוני היומן והמעקב, או כדי ליצור תובנות ומגמות, משתמשים ב-Observability Analytics.

אתם יכולים להריץ שאילתות ביומנים ולשמור אותן באמצעות פקודות של Logging API. אפשר גם לשלוח שאילתות ליומנים באמצעות Google Cloud CLI.

שימוש ב-Logs Explorer

הכלי Logs Explorer נועד לעזור לכם לפתור בעיות ולנתח את הביצועים של השירותים והאפליקציות שלכם. לדוגמה, היסטוגרמה שמציגה את שיעור השגיאות. אם אתם רואים עלייה חדה במספר השגיאות או משהו מעניין, אתם יכולים לאתר את רשומות היומן המתאימות ולהציג אותן. כשרישום ביומן משויך לקבוצת שגיאות, הרישום ביומן מסומן בתפריט אפשרויות שמאפשר לכם לגשת למידע נוסף על קבוצת השגיאות.

אותה שפת שאילתות נתמכת על ידי Cloud Logging API,‏ Google Cloud CLI ו-Logs Explorer. כדי לפשט את יצירת השאילתות כשמשתמשים ב-Logs Explorer, אפשר ליצור שאילתות באמצעות תפריטים, באמצעות הזנת טקסט ובמקרים מסוימים באמצעות אפשרויות שמוצגות עם רשומה ספציפית ביומן.

כלי Logs Explorer לא תומך בפעולות מצטברות, כמו ספירת מספר רשומות היומן שמכילות דפוס ספציפי. כדי לבצע פעולות מצטברות, מפעילים את ניתוח הנתונים בקטגוריה ביומן ואז משתמשים ב-Observability Analytics.

פרטים על חיפוש וצפייה ביומנים באמצעות Logs Explorer מופיעים במאמר צפייה ביומנים באמצעות Logs Explorer.

סקירת ניתוח הנתונים של Observability

בעזרת Observability Analytics, אתם יכולים ליצור תובנות על ידי הרצת שאילתות שמקבצות ומצטברות את נתוני היומן. התובנות האלה יכולות לעזור לכם לצמצם את הזמן שאתם משקיעים בפתרון בעיות. כדי לראות את תוצאות השאילתה, אפשר להשתמש בטבלה, בתרשים או בשניהם. תרשימים יכולים לעזור לכם לזהות דפוסים ומגמות בנתוני היומן. לדוגמה, בצילום המסך הבא מוצגת תוצאת שאילתה כטבלה וכתרשים:

ממשק המשתמש של Observability Analytics.

הכלי Observability Analytics תומך באפשרויות הבאות:

  • קיבוץ וצבירה של נתוני יומנים.

    לדוגמה, אפשר להריץ שאילתת SQL שמקבצת רשומות ביומן לפי שעה, ואז מחשבת לכל קבוצה את זמן האחזור הממוצע של בקשות HTTP שנשלחו לכתובת URL ספציפית.

  • שאילתות SQL שמשתמשות בתחביר של צינורות.

  • שאילתות של תצוגות יומנים ותצוגות ניתוח נתונים.

    לתצוגות של יומנים יש סכימה שמוגדרת על ידי המערכת. אתם מגדירים את הסכימה לתצוגות ניתוח נתונים.

  • שילוב של נתוני יומן ונתוני מעקב.

    מידע על שליחת שאילתות לגבי נתוני מעקב זמין במאמר שליחת שאילתות וניתוח של נתוני מעקב.

ב-Cloud Logging אפשר גם לשלוח שאילתות על נתוני היומן מ-BigQuery, בלי לייצא את הנתונים האלה ל-BigQuery. אחרי שמשדרגים את קטגוריית היומנים לשימוש ב-Observability Analytics, יוצרים מערך נתונים מקושר ב-BigQuery. אפשר להריץ שאילתות על מערך הנתונים המקושר ב-BigQuery באמצעות שירותי BigQuery.

שדרוג של קטגוריה ביומן לא משפיע על השימוש ב-Logs Explorer. כדי להשתמש בכלי Logs Explorer, נתוני היומן צריכים להיות מאוחסנים בקטגוריית יומנים.

הגבלות

  • כדי לשדרג קטגוריה קיימת של יומנים לשימוש ב-Observability Analytics, חלות ההגבלות הבאות:

    • קטגוריית היומנים נוצרה ברמת הפרויקט Google Cloud .
    • קטגוריית היומן לא נעולה, אלא אם היא קטגוריית _Required.
    • אין עדכונים בהמתנה לדלי.

  • רשומות ביומן שנכתבו לפני שקטגוריה משודרגת לא זמינות באופן מיידי. עם זאת, בסיום פעולת המילוי החוזר, תוכלו לנתח את הרשומות האלה ביומן. תהליך המילוי החוזר עשוי להימשך כמה ימים.

  • אי אפשר להשתמש בדף Observability Analytics כדי לשלוח שאילתות לתצוגות של יומנים אם בקטגוריה ביומן מוגדרים אמצעי בקרת גישה ברמת השדה. עם זאת, אפשר להריץ שאילתות דרך הדף Logs Explorer, ואפשר להריץ שאילתות על מערך נתונים מקושר ב-BigQuery. מכיוון ש-BigQuery לא מכבד את אמצעי בקרת הגישה ברמת השדה, אם תריצו שאילתה על מערך נתונים מקושר של BigQuery, תוכלו להריץ שאילתה על כל השדות ברשומות היומן.

  • רשומות כפולות ביומן לא מוסרות לפני הפעלת שאילתה. ההתנהגות הזו שונה מההתנהגות כששולחים שאילתות לרשומות ביומן באמצעות Logs Explorer, שבו רשומות כפולות מוסרות על ידי השוואה בין שמות היומנים, חותמות הזמן ושדות מזהה ההוספה. מידע נוסף זמין במאמר פתרון בעיות: יש רשומות כפולות ביומן בתוצאות של Observability Analytics.

הגבלות על הצטרפות

ההגבלות הבאות חלות על הצטרפות לתצוגות:

  1. המיקומים של התצוגות עומדים באחד מהתנאים הבאים:

    • לכל התצוגות יש את אותו המיקום.
    • כל התצוגות נמצאות במיקום global או us.

  2. כשמשאבי אחסון משתמשים במפתחות הצפנה בניהול הלקוח (CMEK), אחד מהתנאים הבאים מתקיים:

    • משאבי אחסון שמשתמשים ב-CMEK משתמשים באותו מפתח Cloud KMS.
    • למשאבי אחסון שמשתמשים ב-CMEK יש אב משותף, ובאב הזה מוגדר מפתח Cloud KMS שמוגדר כברירת מחדל ונמצא באותו מיקום כמו משאבי האחסון.

    כשמשתמשים ב-CMEK במשאב אחסון אחד או יותר, המערכת מצפינה את הנתונים הזמניים שנוצרים על ידי הצטרפות למפתח Cloud KMS המשותף או למפתח Cloud KMS שמוגדר כברירת מחדל של משאב האב.

לדוגמה, נניח שיש לכם שתי תצוגות שנמצאות באותו מיקום. אחר כך תוכלו להצטרף לתצוגות האלה אם מתקיים אחד מהתנאים הבאים:

  • משאבי האחסון לא משתמשים ב-CMEK.
  • משאב אחסון אחד משתמש ב-CMEK והשני לא.
  • שני משאבי האחסון משתמשים ב-CMEK ובאותו מפתח Cloud KMS.

  • שני משאבי האחסון משתמשים ב-CMEK, אבל במפתחות שונים. עם זאת, המשאבים חולקים ישות אב שמציינת מפתח ברירת מחדל של Cloud KMS שנמצא באותו מיקום כמו משאבי האחסון.

    לדוגמה, נניח שהיררכיית המשאבים של קטגוריית יומנים וקטגוריית נתונים לצפייה כוללת את אותו ארגון. אתם יכולים לצרף תצוגות לקטגוריות האלה אם הגדרתם בארגון את הגדרות ברירת המחדל של המשאבים ב-Cloud Logging ואת קטגוריות הנתונים של יכולת התצפית עם אותו מפתח ברירת מחדל של Cloud KMS למיקום האחסון.

תמחור

למידע על מחירים, אפשר לעיין בדף תמחור של Google Cloud Observability. אם אתם מעבירים נתוני יומן לשירותים אחרים, כדאי לעיין במסמכים הבאים: Google Cloud

אין עלויות אחסון או הטמעה ב-BigQuery כשמשדרגים bucket לשימוש ב-Observability Analytics ואז יוצרים מערך נתונים מקושר ב-BigQuery. כשיוצרים מערך נתונים מקושר ב-BigQuery עבור קטגוריה ביומן, נתוני היומנים לא מוטמעים ב-BigQuery. במקום זאת, תקבלו גישת קריאה לנתוני היומן שמאוחסנים בדלי היומן דרך מערך הנתונים המקושר של BigQuery.

חיובים על ניתוח ב-BigQuery חלים כשמריצים שאילתות SQL במערכי נתונים של BigQuery שמקושרים ל-BigQuery, כולל שימוש בדף BigQuery Studio, ב-BigQuery API ובכלי שורת הפקודה של BigQuery.

בלוגים

מידע נוסף על Observability Analytics זמין בפוסטים הבאים בבלוג:

המאמרים הבאים