ניתוח יומנים באמצעות Logs Explorer וניתוח יומנים

במאמר הזה מוסבר איך לשלוח שאילתות, להציג ולנתח רשומות ביומן באמצעות מסוף Google Cloud . יש שני ממשקים שזמינים לכם: Logs Explorer ו-Log Analytics. אתם יכולים לשלוח שאילתות, להציג ולנתח יומנים בשני הממשקים, אבל הם משתמשים בשפות שאילתה שונות ויש להם יכולות שונות:

  • כדי לפתור בעיות ולנתח נתונים מיומנים, אפשר להשתמש ב-Logs Explorer.

  • כדי לאחד את נתוני היומן והמעקב, או כדי ליצור תובנות ומגמות, משתמשים ב-Log Analytics.

אתם יכולים להריץ שאילתות ביומנים ולשמור אותן באמצעות פקודות של Logging API. אפשר גם לשלוח שאילתות ליומנים באמצעות Google Cloud CLI.

שימוש ב-Logs Explorer

הכלי Logs Explorer נועד לעזור לכם לפתור בעיות ולנתח את הביצועים של השירותים והאפליקציות שלכם. לדוגמה, היסטוגרמה שמציגה את שיעור השגיאות. אם אתם רואים עלייה חדה במספר השגיאות או משהו מעניין, אתם יכולים לאתר את רשומות היומן המתאימות ולהציג אותן. כשרישום ביומן משויך לקבוצת שגיאות, הרישום ביומן מסומן בתפריט אפשרויות שמאפשר לכם לגשת למידע נוסף על קבוצת השגיאות.

אותה שפת שאילתות נתמכת על ידי Cloud Logging API,‏ Google Cloud CLI וכלי Logs Explorer. כדי לפשט את יצירת השאילתות כשמשתמשים ב-Logs Explorer, אפשר ליצור שאילתות באמצעות תפריטים, באמצעות הזנת טקסט ובמקרים מסוימים באמצעות אפשרויות שמוצגות עם רשומה ספציפית ביומן.

כלי Logs Explorer לא תומך בפעולות מצטברות, כמו ספירת מספר רשומות היומן שמכילות דפוס ספציפי. כדי לבצע פעולות מצטברות, מפעילים ניתוח נתונים בקטגוריה ביומן ואז משתמשים ב-Log Analytics.

פרטים על חיפוש וצפייה ביומנים באמצעות Logs Explorer מופיעים במאמר צפייה ביומנים באמצעות Logs Explorer.

עיון ב-Log Analytics

באמצעות Log Analytics, אתם יכולים להריץ שאילתות שמקבצות ומצטברות את נתוני היומן כדי לקבל תובנות. התובנות האלה יכולות לעזור לכם לצמצם את הזמן שאתם משקיעים בפתרון בעיות. כדי להציג את תוצאות השאילתה, אפשר להשתמש בטבלה, בתרשים או בשניהם. תרשימים יכולים לעזור לכם לזהות דפוסים ומגמות בנתוני היומן. לדוגמה, בצילום המסך הבא מוצגת תוצאת שאילתה כטבלה וכתרשים:

ממשק משתמש ל-Log Analytics.

התכונות הבאות נתמכות ב-Log Analytics:

  • קיבוץ וצבירה של נתוני יומנים.

    לדוגמה, אפשר להריץ שאילתת SQL שמקבצת רשומות ביומן לפי שעה, ואז מחשבת לכל קבוצה את זמן האחזור הממוצע של בקשות HTTP שנשלחו לכתובת URL ספציפית.

  • שאילתות SQL שמשתמשות בתחביר של צינורות.

  • שאילתות של תצוגות יומן ותצוגות ניתוח נתונים.

    לתצוגות של יומנים יש סכימה שמוגדרת על ידי המערכת. אתם מגדירים את הסכימה של תצוגות הניתוח.

  • צירוף של נתוני יומן ונתוני מעקב.

    מידע על שליחת שאילתות לגבי נתוני מעקב מופיע במאמר שליחת שאילתות וניתוח של נתוני מעקב.

ב-Cloud Logging אפשר גם לשלוח שאילתות על נתוני היומן מ-BigQuery, בלי לייצא את הנתונים האלה ל-BigQuery. אחרי שמשדרגים את קטגוריה ביומן לשימוש ב-Log Analytics, יוצרים מערך נתונים מקושר. אפשר להריץ שאילתות על מערך הנתונים המקושר באמצעות שירותי BigQuery.

שדרוג של קטגוריה ביומן לא משפיע על השימוש ב-Logs Explorer. כדי להשתמש בכלי Logs Explorer, נתוני היומן צריכים להיות מאוחסנים בקטגוריית יומנים.

הגבלות

  • כדי לשדרג קטגוריה קיימת של יומנים לשימוש ב-Log Analytics, חלות ההגבלות הבאות:

    • קטגוריית היומנים נוצרה ברמת הפרויקט Google Cloud .
    • קטגוריית היומן לא נעולה, אלא אם זו קטגוריית _Required.
    • אין עדכונים בהמתנה לדלי.

  • רשומות ביומן שנכתבו לפני שקטגוריה משודרגת לא זמינות באופן מיידי. עם זאת, אחרי שפעולת המילוי החוזר מסתיימת, אפשר לנתח את רשומות היומן האלה. תהליך המילוי החוזר עשוי להימשך כמה ימים.

  • אי אפשר להשתמש בדף Log Analytics כדי לשלוח שאילתות לתצוגות של יומנים כשקטגוריה ביומן כוללת אמצעי בקרה לגישה ברמת השדה. עם זאת, אפשר להריץ שאילתות דרך הדף Logs Explorer, ואפשר להריץ שאילתות על מערך נתונים מקושר ב-BigQuery. מכיוון ש-BigQuery לא מכבד אמצעי בקרה לגישה ברמת השדה, אם תריצו שאילתה על מערך נתונים מקושר, תוכלו להריץ שאילתה על כל השדות ברשומות היומן.

  • רשומות כפולות ביומן לא מוסרות לפני הפעלת שאילתה. ההתנהגות הזו שונה מההתנהגות כשמבצעים שאילתה על רשומות ביומן באמצעות הכלי Logs Explorer, שבו רשומות כפולות מוסרות על ידי השוואה בין שמות היומנים, חותמות הזמן ושדות מזהה ההוספה. מידע נוסף זמין במאמר פתרון בעיות: יש רשומות כפולות בתוצאות של ניתוח יומנים.

הגבלות על הצטרפות

ההגבלות הבאות חלות על הצטרפות לתצוגות:

  1. המיקומים של התצוגות עומדים באחד מהתנאים הבאים:

    • לכל התצוגות יש את אותו המיקום.
    • כל התצוגות נמצאות במיקום global או us.

  2. כשמשאבי אחסון משתמשים במפתחות הצפנה בניהול הלקוח (CMEK), אחד מהתנאים הבאים מתקיים:

    • משאבי אחסון שמשתמשים ב-CMEK משתמשים באותו מפתח Cloud KMS.
    • למשאבי אחסון שמשתמשים ב-CMEK יש אב משותף, ובאב הזה מוגדר מפתח Cloud KMS שמוגדר כברירת מחדל ונמצא באותו מיקום כמו משאבי האחסון.

    כשמשתמשים ב-CMEK במשאב אחסון אחד או יותר, המערכת מצפינה נתונים זמניים שנוצרים על ידי הצטרפות למשאב באמצעות מפתח Cloud KMS משותף או מפתח Cloud KMS שמוגדר כברירת מחדל במשאב האב.

לדוגמה, נניח שיש לכם שני תצוגות מקדימות שנמצאות באותו מיקום. אחר כך תוכלו להצטרף לתצוגות האלה אם מתקיים אחד מהתנאים הבאים:

  • משאבי האחסון לא משתמשים ב-CMEK.
  • משאב אחסון אחד משתמש ב-CMEK והשני לא.
  • שני משאבי האחסון משתמשים ב-CMEK ובאותו מפתח Cloud KMS.

  • שני משאבי האחסון משתמשים ב-CMEK, אבל במפתחות שונים. עם זאת, המשאבים חולקים ישות אב שמציינת מפתח ברירת מחדל של Cloud KMS שנמצא באותו מיקום כמו משאבי האחסון.

    לדוגמה, נניח שהיררכיית המשאבים של קטגוריית יומנים וקטגוריית נתונים לצפייה כוללת את אותו ארגון. אתם יכולים לצרף תצוגות לקטגוריות האלה אם הגדרתם בארגון את הגדרות ברירת המחדל של המשאבים ב-Cloud Logging ואת קטגוריות הנתונים של יכולת התצפית עם אותו מפתח ברירת מחדל של Cloud KMS למיקום האחסון.

תמחור

למידע על מחירים, אפשר לעיין בדף תמחור של Google Cloud Observability. אם אתם מעבירים נתוני יומן לשירותים אחרים, כדאי לעיין במסמכים הבאים: Google Cloud

אין עלויות אחסון או עלויות של הכנסת נתונים ב-BigQuery כשמשדרגים מאגר (bucket) לשימוש ב'ניתוח יומנים' ואז יוצרים מערך נתונים מקושר. כשיוצרים מערך נתונים מקושר לקטגוריה ביומן, לא מטמיעים את נתוני היומנים ב-BigQuery. במקום זאת, תקבלו גישת קריאה לנתוני היומן שמאוחסנים בקטגוריית היומנים שלכם דרך מערך הנתונים המקושר.

חיובים על ניתוח ב-BigQuery חלים כשמריצים שאילתות SQL במערכי נתונים מקושרים ב-BigQuery, כולל שימוש בדף BigQuery Studio, ב-BigQuery API ובכלי שורת הפקודה של BigQuery.

בלוגים

מידע נוסף על Log Analytics זמין בפוסטים הבאים בבלוג:

המאמרים הבאים