סקירה כללית על Cloud Logging

במסמך הזה מפורטת סקירה כללית על Cloud Logging, מערכת לניהול יומנים בזמן אמת עם תמיכה באחסון, בחיפוש, בניתוח ובמעקב. ‫Cloud Logging אוסף באופן אוטומטי נתוני יומן מ Google Cloud משאבים. האפליקציות, המשאבים המקומיים והמשאבים מספקי ענן אחרים יכולים לשלוח נתוני יומן ל-Cloud Logging. אפשר גם להגדיר מדיניות התראות כדי ש-Cloud Monitoring ישלח לכם התראות כשסוגים מסוימים של אירועים מדווחים בנתוני היומן. מטעמי רגולציה או אבטחה, אתם יכולים לקבוע איפה נתוני היומן שלכם מאוחסנים.

איסוף נתונים מיומנים מהאפליקציות ומתוכנות של צד שלישי

אתם יכולים לאסוף נתוני יומן מאפליקציות שכתבתם באמצעות ספריית לקוח כדי להטמיע את האפליקציה. עם זאת, לא תמיד צריך להגדיר את האפליקציה. לדוגמה, בחלק מההגדרות אפשר להשתמש ב-Ops Agent כדי לשלוח נתוני יומן שנכתבו ב-stdout או ב-stderr לפרויקט Google Cloud .

אפשר גם לאסוף נתוני יומן מהאפליקציות של צד שלישי, כמו nginx, על ידי התקנת Ops Agent והגדרתו לכתיבת נתוני יומן מהאפליקציה הזו לפרויקט Google Cloud .

במאמר איך מחליטים מה מתאים לכם: סוכן Logging או ספריית לקוח? תוכלו לקרוא מידע שיעזור לכם להחליט איזו גישה מתאימה לדרישות שלכם.

שליחת שאילתות, צפייה וניתוח של נתוני יומנים

כדי להציג ולנתח את נתוני היומן, משתמשים בדפים Logs Explorer או Observability Analytics במסוף Google Cloud :

  • Logs Explorer: הממשק הזה מאפשר לכם לראות רשומות ביומן ולמצוא ולראות רשומות קשורות ביומן. בממשק יש גם הערות על רשומות ביומן אם הן חלק מקבוצת שגיאות, או אם נתוני מעקב זמינים. מומלץ להשתמש בממשק הזה כשרוצים לפתור בעיות בשירותים ובאפליקציות.

  • Observability Analytics: הממשק הזה מאפשר לכם לשלוח שאילתות לנתוני היומן באמצעות SQL, ולמצוא מגמות ודפוסים בנתונים האלה. לדוגמה, אפשר לחשב את זמן האחזור הממוצע של בקשות HTTP שנשלחות לכתובת URL ספציפית לאורך זמן, ולעקוב אחרי תנודות בזמן האחזור.

מידע נוסף זמין במאמר בנושא שליחת שאילתות וצפייה בנתוני יומן.

הדמיה ומעקב של נתוני היומן

אתם יכולים להגדיר את Cloud Logging כך שישלח לכם התראות כשסוגים מסוימים של אירועים מתרחשים בנתוני היומן. ההתראות האלה עשויות להישלח כשמופיע דפוס מסוים ברשומה ביומן, או כשמזוהה מגמה בנתוני היומן. אם אתם רוצים לראות את שיעורי השגיאות של השירותים שלכם ב- Google Cloud , תוכלו לעיין בלוח הבקרה של Cloud Logging, שכבר מוגדר מראש.

כדי לקבל התראה כשאירוע מסוים מופיע ביומן, למשל כשמתרחש אירוע קריטי שקשור לאבטחה, צריך ליצור מדיניות התראות שמבוססת על יומן. תנאי המדיניות האלה שימושיים לאירועים חשובים אבל נדירים, כמו האירועים הבאים:

  • אירוע מופיע ברשומה ביומן הביקורת. לדוגמה, משתמש ניגש למפתח האבטחה של חשבון שירות.
  • הודעת פריסה מופיעה ברשומה ביומן.

כדי לקבל התראה כשמגמה מתרחשת בנתוני היומן, צריך ליצור מדד מבוסס-יומן ולעקוב אחרי המדד באמצעות מדיניות התראות. מדד שמבוסס על יומן סופר את מספר הרשומות ביומן שתואמות לקריטריון מסוים, או מחלץ ומארגן מידע כמו זמני תגובה בהיסטוגרמות. מדדים מבוססי-יומן מתאימים אם אתם רוצים לבצע אחת מהפעולות הבאות:

  • לעקוב אחרי מספר המקרים שבהם מופיעה הודעה בנתוני היומן, כמו מספר הרשומות ביומן שמתעדות סטטוס של שגיאה.
  • תוכלו לעקוב אחרי מגמות בנתונים, כמו ערכי השהיה בנתוני היומן, ולקבל התראה אם הערכים משתנים בצורה לא מקובלת.
  • אפשר ליצור תרשימים כדי להציג את הנתונים המספריים שחולצו מנתוני היומן.

מידע נוסף מופיע במאמר בנושא מעקב אחרי נתוני היומן.

אחסון ושימור של יומנים

אתם לא צריכים להגדיר את המיקום שבו נתוני היומן מאוחסנים. כברירת מחדל, Google Cloud בפרויקטים, בחשבונות לחיוב, בתיקיות ובמשאבי ארגון, נתוני היומן שמקורם במשאב מאוחסנים באופן אוטומטי. לדוגמה, אם בפרויקט Google Cloud שלכם יש מכונה ב-Compute Engine, נתוני היומן שנוצרים ב-Compute Engine נשמרים באופן אוטומטי.

אתם יכולים להגדיר מספר היבטים לגבי אחסון היומנים, כמו אילו נתונים יישמרו, אילו יימחקו ואיפה הם יישמרו. מידע נוסף זמין במאמר בנושא אחסון רשומות ביומן.

הרשומות ביומן נשמרות למשך פרק זמן ספציפי, ואז נמחקות. מידע נוסף מופיע במאמר בנושא תקופות שמירה של יומנים.

ניתוב יומנים

אפשר לנתב או להעביר רשומות ביומן ליעדים הבאים:

  • פרויקט אחד (Google Cloud )

  • קטגוריה ביומן

  • מערך נתונים ב-BigQuery
  • קטגוריה של Cloud Storage
  • נושא Pub/Sub, שמאפשר תמיכה בשילובים של צד שלישי כמו Splunk או Datadog.

כשנתוני יומן מנותבים, היעד יכול להיות במשאב אחר שונה מזה שממנו הנתונים מגיעים. לדוגמה, אפשר להעביר נתוני יומן מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

מידע נוסף זמין במאמר בנושא ניתוב של רשומות ביומן.

קטגוריות של נתוני יומן

קטגוריות היומן נועדו לעזור לכם להבין את מידע הרישום ביומן שזמין לכם. הקטגוריות לא בלעדיות:

  • רשומות ביומן של הפלטפורמה נכתבות על ידי Google Cloud שירותים. רשומות היומן האלה יכולות לעזור לכם לנפות באגים ולפתור בעיות, וגם להבין טוב יותר את Google Cloud השירותים שבהם אתם משתמשים.

  • רשומות ביומן Component נוצרות על ידי רכיבי תוכנה שסופקו על ידי Google Cloudופועלים במערכות שלכם. לדוגמה, GKE מספק רכיבי תוכנה שהמשתמשים יכולים להפעיל במכונה וירטואלית משלהם או במרכז נתונים משלהם. הרשומות האלה ביומן משמשות בדרך כלל למתן תמיכה למשתמשים.

  • רשומות ביומן האבטחה עוזרות לענות על השאלות 'מי עשה מה, איפה ומתי':

    • יומני הביקורת של Cloud מספקים מידע על פעילויות אדמין וגישות למשאביGoogle Cloud . הפעלת יומני ביקורת עוזרת לגורמים שאחראים על אבטחה, ביקורת ותאימות לעקוב אחרי נתונים ומערכות כדי לזהות נקודות חולשה אפשריות או שימוש לרעה בנתונים חיצוניים. Google Cloud רשימת השירותים הנתמכים זמינה במאמר שירותיGoogle Cloud עם יומני ביקורת.

בקרת גישה

ההרשאות והתפקידים בניהול הזהויות והרשאות הגישה (IAM) קובעים את הגישה למאגרי יומנים. אתם יכולים להעניק תפקידים מוגדרים מראש לישויות, או ליצור תפקידים בהתאמה אישית. מידע נוסף על ההרשאות הנדרשות זמין במאמר בנושא בקרת גישה.

תמחור

למידע על התמחור של Cloud Logging, אפשר לעיין בדף התמחור של Google Cloud Observability.

המאמרים הבאים