סקירה כללית על Cloud Logging

במאמר הזה נסביר על Cloud Logging – מערכת לניהול יומנים בזמן אמת, שכוללת תמיכה באחסון, בחיפוש, בניתוח ובמעקב. ‫Cloud Logging אוסף באופן אוטומטי נתוני יומנים ממשאבי Google Cloud . האפליקציות, המשאבים המקומיים והמשאבים מספקי שירותי ענן אחרים יכולים לשלוח נתוני יומנים ל-Cloud Logging. אתם יכולים גם להגדיר מדיניות התראות, כדי ש-Cloud Monitoring יודיע לכם כשסוגים מסוימים של אירועים מדווחים בנתוני היומן. מסיבות רגולטוריות או מטעמי אבטחה, אתם יכולים לקבוע איפה יאוחסנו נתוני היומן שלכם.

איסוף נתוני יומנים מהאפליקציות ומתוכנות צד שלישי

אתם יכולים לאסוף נתוני יומנים מאפליקציות שאתם כותבים באמצעות ספריית לקוח כדי להוסיף לאפליקציה כלים לאיסוף נתונים. אבל לא תמיד צריך להוסיף לאפליקציה כלים. לדוגמה, בהגדרות מסוימות אפשר להשתמש ב-סוכן תפעול כדי לשלוח לפרויקט ב- Google Cloud נתוני יומנים שנכתבו ב-stdout או ב-stderr.

אתם יכולים גם לאסוף נתוני יומנים מאפליקציות של צד שלישי, כמו nginx, על ידי התקנת Ops Agent והגדרתו לכתיבת נתוני יומנים מהאפליקציה הזו לפרויקט ב- Google Cloud .

למידע נוסף, ראו בחירת גישה למדידת ביצועים.

שליחת שאילתות, הצגה וניתוח של נתוני יומנים

כדי להציג ולנתח את נתוני היומן, אפשר להשתמש בדפים Logs Explorer או Observability Analytics במסוף Google Cloud :

  • ‫Logs Explorer: הממשק הזה מאפשר לכם לראות רשומות ביומן, ולמצוא ולראות רשומות קשורות ביומן. בממשק גם מוצגות הערות לרשומות ביומן כשהן חלק מקבוצת שגיאות, או כשנתוני המעקב זמינים. אנחנו ממליצים להשתמש בממשק הזה כשרוצים לפתור בעיות בשירותים ובאפליקציות.

  • ‫Observability Analytics: הממשק הזה מאפשר לשלוח שאילתות לנתוני היומן באמצעות SQL, ולמצוא מגמות ודפוסים בנתונים האלה. לדוגמה, אתם יכולים לחשב את זמן האחזור הממוצע של בקשות HTTP שנשלחו לכתובת URL ספציפית לאורך זמן, ולעקוב אחרי תנודות בזמן האחזור.

מידע נוסף זמין במאמר שליחת שאילתות והצגה של נתוני יומנים.

המחשה חזותית של נתוני היומן ומעקב אחריהם

אתם יכולים להגדיר את Cloud Logging כך שתקבלו התראות כשסוגים מסוימים של אירועים מתרחשים בנתוני היומן. ההתראות האלה יכולות להישלח כשדפוס מסוים מופיע ברשומת יומן, או כשמזוהה מגמה בנתוני היומן. אם אתם רוצים לראות את שיעורי השגיאות של שירותי Google Cloud , אתם יכולים להציג את לוח הבקרה של Cloud Logging, שמוגדר מראש.

כדי לקבל התראה כשמופיעה הודעה מסוימת ברשומה ביומן, למשל כשמתרחש אירוע קריטי שקשור לאבטחה, אפשר ליצור מדיניות התראות מבוססת-יומן. כללי המדיניות האלה שימושיים לאירועים חשובים אבל נדירים, כמו:

  • אירוע מופיע ברשומה ביומן הביקורת. לדוגמה, משתמש ניגש למפתח האבטחה של חשבון שירות.
  • הודעת פריסה נמצאת ברשומת יומן.

כדי לקבל התראה כשמתרחשת מגמה בנתוני היומן, צריך ליצור מדד מבוסס-יומנים ולעקוב אחרי המדד באמצעות מדיניות התראות. מדד מבוסס-יומנים סופר את מספר הרשומות ביומן שתואמות לקריטריון מסוים, או מחלץ מידע כמו זמני תגובה ומארגן אותו בהיסטוגרמות. מדדים מבוססי-יומנים מתאימים כשרוצים לבצע את הפעולות הבאות:

  • מעקב אחרי מספר המופעים של הודעה בנתוני היומן, כמו מספר רשומות היומן שמתעדות סטטוס של שגיאה.
  • לצפות במגמות בנתונים, כמו ערכי זמן אחזור בנתוני היומן, ולקבל התראה אם הערכים משתנים באופן לא מקובל.
  • ליצור תרשימים כדי להציג את הנתונים המספריים שחולצו מנתוני היומן.

מידע נוסף זמין במאמר מעקב אחרי נתוני היומן.

אחסון ושמירה של יומנים

אתם לא צריכים להגדיר את המיקום שבו נתוני היומן מאוחסנים. כברירת מחדל, נתוני היומנים שמקורם במשאב נשמרים באופן אוטומטי בפרויקטים, בחשבונות לחיוב, בתיקיות ובמשאבים של הארגון ב- Google Cloud . לדוגמה, אם הפרויקט ב- Google Cloud כולל מכונה של Compute Engine, נתוני היומן שנוצרים על ידי Compute Engine נשמרים באופן אוטומטי.

אתם יכולים להגדיר כמה היבטים של אחסון היומנים, כמו אילו נתוני יומנים יאוחסנו, אילו נתונים יימחקו ואיפה נתוני היומנים יאוחסנו. מידע נוסף זמין במאמר אחסון רשומות ביומן.

הרשומות ביומן נשמרות למשך פרק זמן ספציפי, ואז נמחקות. למידע נוסף, קראו את המאמר תקופות שמירה של יומנים.

ניתוב יומנים

אפשר לנתב או להעביר רשומות ביומן ליעדים הבאים:

  • פרויקטGoogle Cloud

  • קטגוריה ביומן

  • מערך נתונים ב-BigQuery
  • קטגוריה של Cloud Storage
  • נושא Pub/Sub, שמאפשר שילוב עם צדדים שלישיים כמו Splunk או Datadog.

כשמנתבים נתוני יומנים, היעד יכול להיות במשאב שונה מהמשאב שממנו מגיעים נתוני היומנים. לדוגמה, אתם יכולים לנתב נתוני יומנים מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

מידע נוסף זמין במאמר ניתוב רשומות ביומן.

קטגוריות של נתוני יומן

קטגוריות היומנים נועדו לתאר את פרטי הרישום ביומן שזמינים לכם. הקטגוריות לא סותרות זו את זו:

  • רשומות ביומן של Platform נכתבות על ידי שירותי Google Cloud . רשומות היומן האלה יכולות לעזור לכם לנפות באגים ולפתור בעיות, ולהבין טוב יותר את שירותי Google Cloud שבהם אתם משתמשים.

  • רשומות ביומן של רכיבים נוצרות על ידי רכיבי תוכנה ש- Google Cloudמספקת, שפועלים במערכות שלכם. לדוגמה, GKE מספק רכיבי תוכנה שמשתמשים יכולים להריץ במכונה הווירטואלית שלהם או במרכז הנתונים שלהם. הרשומות האלה ביומן משמשות בדרך כלל כדי לספק תמיכה למשתמשים.

  • רשומות ביומן האבטחה עוזרות לכם לענות על השאלה "מי עשה מה, איפה ומתי":

    • יומני הביקורת של Cloud מספקים מידע על פעילויות ניהוליות וגישה למשאבים שלכם ב-Google Cloud . הפעלת יומני ביקורת עוזרת לישויות האבטחה, הביקורת והתאימות של Google Cloud לעקוב אחרי נתונים ומערכות כדי לזהות נקודות חולשה אפשריות או שימוש לרעה בנתונים חיצוניים. רשימה של השירותים הנתמכים מופיעה במאמר שירותיGoogle Cloud עם יומני ביקורת.
  • רשומות ביומן של ענן היברידי וענן מרובה מתייחסות לנתוני יומנים מספקי שירותי ענן אחרים, כמו Microsoft Azure, וליומנים מתשתית מקומית.

בקרת גישה

ההרשאות והתפקידים בניהול הזהויות והרשאות הגישה (IAM) קובעים את הגישה לקטגוריות של יומנים. אתם יכולים להקצות לחשבונות הראשיים תפקידים מוגדרים מראש, או ליצור תפקידים בהתאמה אישית. מידע נוסף על ההרשאות הנדרשות זמין במאמר בקרת גישה.

תמחור

למידע על התמחור של Cloud Logging, קראו את הדף התמחור של Google Cloud Observability.

המאמרים הבאים