שאילתה וניתוח של יומנים באמצעות Log Analytics

במאמר הזה מוסבר איך לשלוח שאילתות לנתוני היומן ולנתח אותם באמצעות Log Analytics, שמספק ממשק שאילתות מבוסס-SQL. באמצעות SQL, אתם יכולים לבצע משימות כמו ספירת הרשומות ביומן עם שדה שתואם לתבנית. ב-Log Analytics יש עורך SQL ומערכת מבוססת-תפריטים ליצירת שאילתות. כדי לראות את תוצאות השאילתה, אפשר להשתמש בטופס הטבלה או להציג את הנתונים כתרשים. אפשר לשמור את התרשימים במרכזי בקרה שתיצרו בהתאמה אישית.

אפשר לשלוח שאילתה על תצוגת יומן בקטגוריה ביומן או על תצוגת ניתוח. כשמריצים שאילתה על תצוגת יומן, הסכימה תואמת לזו של מבנה הנתונים LogEntry. מכיוון שיוצר התצוגה המפורטת ב-Analytics קובע את הסכימה, אחד מתרחישי השימוש בתצוגות מפורטות ב-Analytics הוא המרת נתוני יומן מהפורמט LogEntry לפורמט שמתאים לכם יותר.

אפשר גם להשתמש ב-Log Analytics כדי להריץ שאילתות על נתוני המעקב. מידע נוסף זמין במאמר שאילתות וניתוח של עקבות.

כלי Log Analytics לא מסיר כפילויות מרשומות ביומן, וזה עשוי להשפיע על אופן הכתיבה של השאילתות. בנוסף, יש כמה הגבלות כשמשתמשים ב-Log Analytics. מידע נוסף על הנושאים האלה זמין במאמרים הבאים:

מידע על מערכי נתונים מקושרים

לא צריך מערך נתונים מקושר ב-BigQuery כשרוצים להריץ שאילתות על נתוני היומן או על נתוני היומן והמעקב. במקרים כאלה, אפשר להשתמש בדף Log Analytics. אפשר גם לשמור ולשתף את השאילתות, ולשמור את השאילתה במרכז בקרה מותאם אישית. מידע על שליחת שאילתות לגבי נתוני מעקב מופיע במאמר שליחת שאילתות וניתוח של נתוני מעקב.

אתם צריכים מערך נתונים מקושר ב-BigQuery אם אתם רוצים לבצע את הפעולות הבאות:

לצרף נתונים של רשומות ביומן למערכי נתונים אחרים ב-BigQuery.
להריץ שאילתות על נתוני יומן משירות אחר, כמו הדף BigQuery Studio או Looker Studio.
כדי לשפר את הביצועים של השאילתות שאתם מריצים מניתוח יומנים, אתם יכולים להריץ אותן במשבצות שמורות ב-BigQuery.
יוצרים מדיניות התראות שעוקבת אחרי התוצאה של שאילתת SQL. מידע נוסף מופיע במאמר בנושא מעקב אחרי תוצאות של שאילתות SQL באמצעות מדיניות התראות.

אם בוחרים ליצור מערך נתונים מקושר בקטגוריה ביומן, מרחיבים את גבולות האבטחה של נתוני היומנים כך שיכללו את שירותי BigQuery. כלומר, שירותי BigQuery יכולים עכשיו להריץ שאילתות על נתוני היומן על ידי שליחת שאילתה למערך הנתונים המקושר. לפני שיוצרים מערך נתונים מקושר, מומלץ לעיין במאמר בנושא אבטחת מידע באמצעות Log Analytics.

לפני שמתחילים

בקטע הזה מתוארים השלבים שצריך להשלים כדי להשתמש ב-Log Analytics.

הגדרת מאגרי יומנים

מוודאים ששדרגתם את מאגרי היומנים לשימוש ב-Log Analytics:

נכנסים לדף Logs Storage במסוף Google Cloud :
כניסה אל Logs Storage

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
לכל קטגוריה ביומן שיש לה תצוגת יומנים שרוצים לשלוח אליה שאילתה, מוודאים שבעמודה Log Analytics available מופיעה האפשרות Open. אם הכפתור שדרוג מוצג, לוחצים עליו וממלאים את תיבת הדו-שיח.

הגדרת תפקידים והרשאות ב-IAM

בקטע הזה מתוארים התפקידים או ההרשאות של IAM שנדרשים לשימוש ב-Log Analytics:

כדי לקבל את ההרשאות שדרושות לשימוש בכלי לניתוח יומנים ולשאילתות של תצוגות יומנים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
- כדי להריץ שאילתה על דלי היומנים _Required ו-_Default: מציג היומנים (roles/logging.viewer)
- כדי לשלוח שאילתה לכל תצוגות היומן בפרויקט: בעל הרשאת גישה לתצוגת יומנים (roles/logging.viewAccessor)
כדי להגביל חשבון משתמש לתצוגת יומן ספציפית, אפשר להוסיף תנאי IAM להענקת התפקיד Logs View Accessor (גישה לתצוגת יומנים) ברמת הפרויקט, או להוסיף קישור IAM לקובץ המדיניות של תצוגת היומן. מידע נוסף זמין במאמר בנושא שליטה בגישה לתצוגת יומן.

אלה אותן הרשאות שנדרשות כדי לצפות ברשומות ביומן בדף Logs Explorer. מידע על תפקידים נוספים שנדרשים כדי לשלוח שאילתות לתצוגות של מאגרי מידע שהוגדרו על ידי המשתמש או כדי לשלוח שאילתות לתצוגה _AllLogs של קטגוריה ביומן _Default זמין במאמר בנושא תפקידים ב-Cloud Logging.
כדי לקבל את ההרשאות שנדרשות להפעלת שאילתות בתצוגות ניתוח נתונים, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Observability Analytics User (roles/observability.analyticsUser) בפרויקט.

נתונים מיומן השאילתות

בקטע הזה מתוארות הגישות שבהן אפשר להשתמש כדי לשלוח שאילתות לנתוני היומן:

טוענים שאילתה שמוגדרת על ידי המערכת, עורכים אותה ומריצים אותה.
מזינים ומריצים שאילתה בהתאמה אישית. לדוגמה, אפשר להדביק שאילתה קיימת או לכתוב שאילתה חדשה. שאילתות מותאמות אישית יכולות לכלול הצטרפויות, שאילתות מקוננות והצהרות SQL מורכבות אחרות. דוגמאות אפשר לראות בשאילתות SQL לדוגמה.
בוחרים אפשרויות בתפריט כדי ליצור שאילתה, ואז מריצים את השאילתה. הכלי Log Analytics ממיר את הבחירות שלכם לשאילתת SQL, שאפשר גם לראות וגם לערוך.

טעינה, עריכה והרצה של השאילתה שמוגדרת על ידי המערכת

נכנסים לדף Log Analytics במסוף Google Cloud :
מעבר אל Log Analytics

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

הערה: אם בחלון בדף Log Analytics מוצגת ההודעה 'Get started with Log Analytics' (תחילת העבודה עם Log Analytics), לוחצים על Close (סגירה) בחלון.
בתפריט Views, עוברים לקטע Logs של או לקטע Analytics Views של ובוחרים את התצוגה שרוצים לשלוח אליה שאילתה.

כדי למצוא את התצוגה שאותה רוצים לשאול, משתמשים בסרגל Filter או גוללים ברשימה:
- תצוגות היומן מפורטות לפי BUCKET_ID.LOG_VIEW_ID, כאשר השדות האלה מתייחסים למזהים של קטגוריית היומן ותצוגת היומן.
- התצוגות המפורטות ב-Analytics מפורטות לפי LOCATION.ANALYTICS_VIEW_ID, כאשר השדות האלה מתייחסים למיקום ולמזהה של תצוגה מפורטת ב-Analytics. התצוגות המפורטות ב-Analytics זמינות בתוכנית Public Preview.
מבצעים אחת מהפעולות הבאות:
- כדי לטעון שאילתה שמוגדרת על ידי המערכת ומבוססת על הכלי ליצירת שאילתות, שמאפשר להגדיר את השאילתה באמצעות בחירות בתפריט, מוודאים שבחלונית שאילתה מוצג הכלי ליצירת שאילתות. אם מוצג עורך SQL, לוחצים על Builder.
- כדי לטעון שאילתה שמוגדרת על ידי המערכת ומחלצת ערכי JSON, מוודאים שחלונית Query מציגה את עורך ה-SQL. אם בחלונית מוצג הכלי ליצירת שאילתות, לוחצים על SQL.
בחלונית סכימה, בוחרים באפשרות שאילתה ולוחצים על החלפה.

בחלונית Query מוצגת שאילתה שמוגדרת על ידי המערכת. אם בחרתם במצב הכלי ליצירת שאילתות אבל אתם רוצים לראות את שאילתת ה-SQL, לוחצים על SQL.
אופציונלי: משנים את השאילתה.
כדי להריץ את השאילתה, עוברים לסרגל הכלים ולוחצים על Run Query (הפעלת שאילתה).

תוצאות השאילתה מוצגות בטבלה ב-Log Analytics. עם זאת, אפשר ליצור תרשים, ואפשר גם לשמור את הטבלה או התרשים במרכז בקרה מותאם אישית. מידע נוסף זמין במאמר בנושא יצירת תרשים של תוצאות שאילתת SQL.

אם בסרגל הכלים מוצגת האפשרות Run in BigQuery, צריך להגדיר את Log Analytics לשימוש במנוע השאילתות שמוגדר כברירת מחדל. כדי לבצע את השינוי הזה, בסרגל הכלים של החלונית שאילתה, לוחצים על הגדרות ואז בוחרים באפשרות Analytics (ברירת מחדל).

הזנה והרצה של שאילתה בהתאמה אישית

כדי להזין שאילתת SQL, מבצעים את הפעולות הבאות:

נכנסים לדף Log Analytics במסוף Google Cloud :
מעבר אל Log Analytics

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

הערה: אם בחלון בדף Log Analytics מוצגת ההודעה 'Get started with Log Analytics' (תחילת העבודה עם Log Analytics), לוחצים על Close (סגירה) בחלון.
בחלונית Query, לוחצים על SQL.
- כדי לציין טווח זמן, מומלץ להשתמש בבורר time-range. אם מוסיפים פסקה WHERE שמציינת את השדה timestamp, הערך הזה מבטל את ההגדרה בבורר טווחי הזמן והבורר מושבת.
- דוגמאות אפשר לראות בשאילתות SQL לדוגמה.
- אפשר לשלוח שאילתות על תצוגות של יומנים או על תצוגות של ניתוח נתונים. צריך להשתמש בפורמט הבא לסעיף FROM:
  - תצוגות ביומן:
```
FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
```
  - תצוגות מפורטות ב-Analytics:
```
FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`
```
  השדות בביטויים הקודמים מייצגים את המשמעויות הבאות:
  - ‫PROJECT_ID: מזהה הפרויקט.
  - ‫LOCATION: המיקום של תצוגת היומן או תצוגת ניתוח הנתונים.
  - ‫BUCKET_ID: השם או המזהה של קטגוריה ביומן.
  - LOG_VIEW_ID: המזהה של תצוגת היומן, שמוגבל ל-100 תווים ויכול לכלול רק אותיות, ספרות, קווים תחתונים ומקפים.
  - ‫ANALYTICS_VIEW_ID: המזהה של תצוגת הנתונים לצורך ניתוח, שמוגבל ל-100 תווים ויכול לכלול רק אותיות, ספרות, קווים תחתונים ומקפים.
  אם בחלונית השאילתה מוצגת הודעת שגיאה שמתייחסת להצהרה FROM, המשמעות היא שלא ניתן למצוא את התצוגה. מידע על פתרון הכשל הזה זמין במאמר בנושא הסעיף Error FROM חייב להכיל בדיוק תצוגת יומן אחת.
כדי להריץ את השאילתה, עוברים לסרגל הכלים ולוחצים על Run Query (הפעלת שאילתה).

תוצאות השאילתה מוצגות בטבלה ב-Log Analytics. עם זאת, אפשר ליצור תרשים, ואפשר גם לשמור את הטבלה או התרשים במרכז בקרה מותאם אישית. מידע נוסף זמין במאמר בנושא יצירת תרשים של תוצאות שאילתת SQL.

אם בסרגל הכלים מוצגת האפשרות Run in BigQuery, צריך להגדיר את Log Analytics לשימוש במנוע השאילתות שמוגדר כברירת מחדל. כדי לבצע את השינוי הזה, בסרגל הכלים של החלונית שאילתה, לוחצים על הגדרות ואז בוחרים באפשרות Analytics (ברירת מחדל).

איך בונים, עורכים ומריצים שאילתה

ממשק הכלי ליצירת שאילתות מאפשר לכם לבנות שאילתה על ידי בחירה מתוך תפריטים. הכלי Log Analytics ממיר את הבחירות שלכם לשאילתת SQL, שאפשר לראות ולערוך. לדוגמה, אפשר להתחיל להשתמש בממשק של כלי ליצירת שאילתות ואז לעבור לעורך SQL כדי לשפר את השאילתה.

ב-Log Analytics תמיד אפשר להמיר את הבחירות בתפריט מתוך הממשק של הכלי ליצירת שאילתות לשאילתת SQL. עם זאת, לא כל שאילתות ה-SQL יכולות להיות מיוצגות בממשק של כלי ליצירת שאילתות. לדוגמה, אי אפשר לייצג בממשק הזה שאילתות עם הצטרפויות.

כדי ליצור שאילתה:

נכנסים לדף Log Analytics במסוף Google Cloud :
מעבר אל Log Analytics

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

הערה: אם בחלון בדף Log Analytics מוצגת ההודעה 'Get started with Log Analytics' (תחילת העבודה עם Log Analytics), לוחצים על Close (סגירה) בחלון.
אם בחלונית Query מוצג עורך SQL, בוחרים באפשרות Builder כדי לפתוח את החלונית הכלי ליצירת שאילתות.
בתפריט מקור בוחרים את התצוגה שרוצים לשלוח לגביה שאילתה. הבחירות שלכם ממופות לסעיף FROM בשאילתת ה-SQL.
אופציונלי: אפשר להשתמש בתפריטים הבאים כדי להגביל את טבלת התוצאות או לעצב אותה:
- חיפוש בכל השדות: חיפוש מחרוזות תואמות. הבחירות שלכם ממופות לסעיף WHERE בשאילתת ה-SQL.
- עמודות: בוחרים את העמודות שיופיעו בטבלת התוצאות. הבחירות שלכם ממופות לסעיפים SELECT בשאילתת ה-SQL.
  
  כשבוחרים שם שדה בתפריט הזה, נפתח תיבת דו-שיח. בתיבת הדו-שיח הזו אפשר לבצע את הפעולות הבאות:
  - משתמשים בתפריט כדי לצבור או לקבץ את הנתונים.
    
    כדי למנוע שגיאות תחביר, כל צבירה וקיבוץ שאתם מחילים על עמודה אחת יחולו אוטומטית גם על עמודות אחרות. דוגמה לאופן הצבירה והקיבוץ של רשומות מופיעה במאמר קיבוץ וצבירה של נתונים באמצעות הכלי ליצירת שאילתות.
  - המרת ערך מכל סוג לסוג נתונים אחר שצוין. מידע נוסף זמין במאמרי העזרה בנושא CAST.
  - חילוץ מחרוזת משנה של ערכים באמצעות ביטויים רגולריים. מידע נוסף זמין במאמרי העזרה בנושא REGEXP_EXTRACT.
- מסננים: מוסיפים מסננים כשרוצים להגביל את השאילתה ליחידות לוגיות למעקב שמכילות מאפיין ספציפי או מזהה יחידה לוגית למעקב ספציפי. בתפריט מפורטות כל אפשרויות הסינון הזמינות. הבחירות שלכם ממופות לסעיף WHERE בשאילתת ה-SQL.
- מיון לפי: הגדרת העמודות למיון, וקביעה אם המיון הוא בסדר עולה או בסדר יורד. הבחירות שלכם ממופות לסעיף ORDER BY בשאילתת ה-SQL.
- ‫Limit (מגבלה): הגדרת מספר השורות המקסימלי בטבלת התוצאות. הבחירות שלכם ממופות לסעיף LIMIT בשאילתת ה-SQL.
כדי להריץ את השאילתה, עוברים לסרגל הכלים ולוחצים על Run Query (הפעלת שאילתה).

תוצאות השאילתה מוצגות בטבלה ב-Log Analytics. עם זאת, אפשר ליצור תרשים, ואפשר גם לשמור את הטבלה או התרשים במרכז בקרה מותאם אישית. מידע נוסף זמין במאמר בנושא יצירת תרשים של תוצאות שאילתת SQL.

אם בסרגל הכלים מוצגת האפשרות Run in BigQuery, צריך להגדיר את Log Analytics לשימוש במנוע השאילתות שמוגדר כברירת מחדל. כדי לבצע את השינוי הזה, בסרגל הכלים של החלונית שאילתה, לוחצים על הגדרות ואז בוחרים באפשרות Analytics (ברירת מחדל).

דוגמה: קיבוץ וצבירה של נתונים באמצעות הכלי ליצירת שאילתות

כשבוחרים עמודה בכלי ליצירת שאילתות, כל שדה כולל תפריט שבו אפשר להוסיף קיבוץ וצבירה. קיבוץ מאפשר לארגן את הנתונים בקבוצות על סמך הערך של עמודה אחת או יותר, וצבירה מאפשרת לבצע חישובים על הקבוצות האלה כדי להחזיר ערך יחיד.

לכל שדה שבוחרים ברכיב Columns יש תפריט מצורף עם האפשרויות הבאות:

ללא: לא מתבצע קיבוץ או צבירה לפי השדה הזה.
‫Aggregate: קיבוץ השדות שמופיעים ברכיב Columns, אלא אם השדה כולל בחירה של Aggregate. בשדות האלה, מחשבים את הערך על ידי ביצוע פעולה על כל הרשומות בכל קיבוץ. הפעולה יכולה להיות חישוב הממוצע של שדה או ביצוע פעולה כמו ספירת מספר הרשומות בכל קיבוץ.
קיבוץ לפי: קיבוץ הרשומות לפי כל השדות שמופיעים ברכיב עמודות.

הדוגמה הבאה ממחישה איך אפשר ליצור שאילתה שמקבצת רשומות ואז מבצעת סוג מסוים של צבירה.

בדוגמה הזו אנחנו מסבירים איך להשתמש בכלי ליצירת שאילתות כדי לקבץ רשומות ביומן לפי רמת חומרה וחותמת זמן, ואז לחשב את הממוצע של השדה http_request.response_size לכל קבוצה.

כדי ליצור שאילתה שמקבצת ומצברת את הנתונים, בוחרים באפשרויות הבאות בתפריטים של כלי בניית השאילתות:

בתפריט עמודות, בוחרים בשדות timestamp, severity ו-http_request.response_size.
1. כדי לקבץ את הנתונים, לוחצים על השדה timestamp כדי לפתוח את תיבת הדו-שיח של ההגדרות. בתיבת הדו-שיח הזו, בוחרים באפשרות קיבוץ לפי ומגדירים את Truncation Granularity ל-HOUR. לאחר מכן, הקיבוץ מוחל אוטומטית על כל השדות האחרים כדי למנוע שגיאות תחביר. אם יש שדות לא תקינים שלא ניתן להחיל עליהם קיבוץ, תופיע הודעת שגיאה. כדי לפתור את השגיאה הזו, צריך להסיר מהתפריט את השדות עם הערכים הלא תקינים.
2. כדי לבצע צבירה בשדה http_request.response_size, לוחצים על השדה כדי לפתוח את תיבת הדו-שיח של ההגדרות. בתיבת הדו-שיח, בוחרים באפשרות Aggregate (צבירה). בתפריט Aggregation (צבירה), לוחצים על Average (ממוצע).
  
  הערה: אם בוחרים באפשרות צבירה, המערכת גם מקבצת את העמודות באופן אוטומטי.
בתפריט מסננים, מוסיפים את http_request.response_size ומגדירים את האופרטור להשוואה ל-IS NOT NULL. המסנן הזה מתאים לרשומות ביומן שמכילות ערך response_size.

התפריטים בכלי ליצירת שאילתות ייראו בערך כך:

כדי להריץ את השאילתה, עוברים לסרגל הכלים ולוחצים על Run Query (הפעלת שאילתה).

התוצאות של השאילתה הזו אמורות להיראות כך:

+-----------------------------------+----------+---------------+
| Row | hour_timestamp              | severity | response_size |
|     | TIMESTAMP                   | STRING   | INTEGER       |
+-----+-----------------------------+----------+---------------+
| 1   | 2025-10-06 16:00:00.000 UTC | NOTICE   | 3082          |
| 2   | 2025-10-06 17:00:00.000 UTC | WARNING  | 338           |
| 3   | 2025-10-06 16:00:00.000 UTC | INFO     | 149           |

שאילתת ה-SQL התואמת לדוגמה הקודמת היא:

SELECT
  -- Truncate the timestamp by hour.
  TIMESTAMP_TRUNC( timestamp, HOUR ) AS hour_timestamp,
  severity,
  -- Compute average response_size.
  AVG( http_request.response_size ) AS average_http_request_response_size
FROM
  `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
WHERE
  -- Matches log entries that have a response_size.
  http_request.response_size IS NOT NULL
GROUP BY
  -- Group log entries by timestamp and severity.
  TIMESTAMP_TRUNC( timestamp, HOUR ),
  severity
LIMIT
  1000

הצגת הסכימה

הסכימה מגדירה איך הנתונים מאוחסנים, כולל השדות וסוגי הנתונים שלהם. המידע הזה חשוב כי הסכימה קובעת את השדות שאתם שולפים בשאילתות, ואם צריך להמיר שדות לסוגי נתונים שונים. לדוגמה, כדי לכתוב שאילתה שמחשבת את זמן האחזור הממוצע של בקשות HTTP, צריך לדעת איך לגשת לשדה זמן האחזור והאם הוא מאוחסן כמספר שלם כמו 100 או כמחרוזת כמו "100". אם נתוני ההשהיה מאוחסנים כמחרוזת, השאילתה צריכה להמיר את הערך לערך מספרי לפני חישוב הממוצע.

כדי לזהות את הסכימה:

נכנסים לדף Log Analytics במסוף Google Cloud :
מעבר אל Log Analytics

אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
בתפריט Views, עוברים לקטע Logs של או לקטע Analytics Views של ובוחרים את התצוגה שרוצים לשלוח אליה שאילתה.

החלונית סכימה מתעדכנת. ‫Log Analytics מסיק באופן אוטומטי את השדות של עמודה כשסוג הנתונים הוא JSON. כדי לראות באיזו תדירות השדות האלה מופיעים בנתונים, לוחצים על אפשרויות ובוחרים באפשרות הצגת מידע ותיאור.

בצפיות ביומן, הסכימה קבועה ותואמת לLogEntry. בתצוגות של ניתוח נתונים, אפשר לשנות את הסכימה על ידי שינוי שאילתת ה-SQL.