סקירה כללית על Cloud Logging

במסמך הזה מפורטת סקירה כללית על Cloud Logging, מערכת לניהול יומנים בזמן אמת עם תמיכה באחסון, בחיפוש, בניתוח ובמעקב. ‫Cloud Logging אוסף באופן אוטומטי נתוני יומן מ Google Cloud משאבים. האפליקציות, המשאבים המקומיים והמשאבים מספקי ענן אחרים יכולים לשלוח נתוני יומן אל Cloud Logging. אפשר גם להגדיר מדיניות התראות כדי ש-Cloud Monitoring ישלח לכם התראות כשסוגים מסוימים של אירועים מדווחים בנתוני היומן. מטעמי רגולציה או אבטחה, אתם יכולים לקבוע איפה נתוני היומן שלכם מאוחסנים.

איסוף נתוני יומן מהאפליקציות ומתוכנות של צד שלישי

אתם יכולים לאסוף נתוני יומן מאפליקציות שכתבתם באמצעות ספריית לקוח כדי להגדיר את האפליקציה. עם זאת, לא תמיד צריך להגדיר את האפליקציה. לדוגמה, בחלק מההגדרות אפשר להשתמש ב-Ops Agent כדי לשלוח נתוני יומן שנכתבו ב-stdout או ב-stderr לפרויקט Google Cloud .

אפשר גם לאסוף נתוני יומן מהאפליקציות של צד שלישי, כמו nginx, על ידי התקנת Ops Agent והגדרתו לכתיבת נתוני יומן מהאפליקציה הזו לפרויקט Google Cloud .

במאמר איך מחליטים אם להשתמש בסוכן Logging או בספריית לקוח? מוסבר איך להחליט איזו גישה מתאימה לדרישות שלכם.

שאילתה, הצגה וניתוח של נתוני יומנים

כדי להציג ולנתח את נתוני היומן, משתמשים בדפים Logs Explorer או Log Analytics במסוף Google Cloud :

  • Logs Explorer: הממשק הזה מאפשר לכם לראות רשומות ביומן ולמצוא ולראות רשומות קשורות ביומן. בממשק יש גם הערות על רשומות ביומן כשהן חלק מקבוצת שגיאות, או כשנתוני מעקב זמינים. מומלץ להשתמש בממשק הזה כשרוצים לפתור בעיות בשירותים ובאפליקציות.

  • Log Analytics: הממשק הזה מאפשר לכם לשלוח שאילתות לנתוני היומן באמצעות SQL, ולמצוא מגמות ודפוסים בנתונים האלה. לדוגמה, אפשר לחשב את זמן האחזור הממוצע של בקשות HTTP שנשלחות לכתובת URL ספציפית לאורך זמן, ולעקוב אחרי תנודות בזמן האחזור.

מידע נוסף זמין במאמר בנושא שאילתות והצגה של נתוני יומן.

הדמיה ומעקב של נתוני היומן

אתם יכולים להגדיר את Cloud Logging כך שישלח לכם התראות כשסוגים מסוימים של אירועים מתרחשים בנתוני היומן. ההתראות האלה עשויות להישלח כשמופיע דפוס מסוים ברשומה ביומן, או כשמזוהה מגמה בנתוני היומן. אם אתם רוצים לראות את שיעורי השגיאות של השירותים שלכם Google Cloud , תוכלו לעיין בלוח הבקרה של Cloud Logging, שכבר מוגדר מראש.

כדי לקבל התראה כשאירוע מסוים מופיע ביומן, למשל כשמתרחש אירוע קריטי שקשור לאבטחה, צריך ליצור מדיניות התראות שמבוססת על יומן. המדיניות הזו שימושית לאירועים חשובים אבל נדירים, כמו האירועים הבאים:

  • אירוע מופיע ברשומה ביומן הביקורת. לדוגמה, משתמש ניגש למפתח האבטחה של חשבון שירות.
  • הודעת פריסה מופיעה ברשומה ביומן.

כדי לקבל התראה כשמגמה מתרחשת בנתוני היומן, צריך ליצור מדד מבוסס-יומן ולעקוב אחרי המדד באמצעות מדיניות התראות. מדד שמבוסס על יומן סופר את מספר הרשומות ביומן שתואמות לקריטריון מסוים, או שהוא מחלץ ומארגן מידע כמו זמני תגובה בהיסטוגרמות. מדדים שמבוססים על יומנים מתאימים אם רוצים לבצע אחת מהפעולות הבאות:

  • לעקוב אחרי מספר המקרים שבהם מופיעה הודעה בנתוני היומן, כמו מספר הרשומות ביומן שמתעדות סטטוס של שגיאה.
  • תוכלו לעקוב אחרי מגמות בנתונים, כמו ערכי השהיה בנתוני היומן, ולקבל התראה אם הערכים משתנים בצורה לא מקובלת.
  • אפשר ליצור תרשימים כדי להציג את הנתונים המספריים שחולצו מנתוני היומן.

מידע נוסף מופיע במאמר בנושא מעקב אחרי נתוני היומן.

אחסון ושימור של יומנים

אתם לא צריכים להגדיר את המיקום שבו נתוני היומן מאוחסנים. כברירת מחדל, Google Cloud הנתונים ביומנים שמקורם במשאב מאוחסנים באופן אוטומטי במשאבים של פרויקטים, חשבונות לחיוב, תיקיות וארגונים. לדוגמה, אם בפרויקט Google Cloud יש מכונה של Compute Engine, נתוני היומן שנוצרים על ידי Compute Engine נשמרים באופן אוטומטי.

אתם יכולים להגדיר מספר היבטים לגבי אחסון היומנים, כמו אילו נתונים מהיומנים יישמרו, אילו יימחקו ואיפה יישמרו הנתונים. מידע נוסף זמין במאמר בנושא אחסון רשומות ביומן.

הרשומות ביומן נשמרות למשך פרק זמן ספציפי, ואז נמחקות. מידע נוסף מופיע במאמר בנושא תקופות שמירה של יומנים.

ניתוב יומנים

אפשר לנתב או להעביר רשומות ביומן ליעדים הבאים:

  • פרויקטGoogle Cloud

  • קטגוריה ביומן

  • מערך נתונים של BigQuery
  • קטגוריה של Cloud Storage
  • נושא Pub/Sub, שמאפשר תמיכה בשילובים של צד שלישי כמו Splunk או Datadog.

כשנתוני יומן מנותבים, היעד יכול להיות במשאב אחר שונה מזה שממנו הנתונים מגיעים. לדוגמה, אפשר להעביר נתוני יומן מפרויקט אחד לקטגוריית יומנים שמאוחסנת בפרויקט אחר.

מידע נוסף זמין במאמר בנושא ניתוב של רשומות ביומן.

קטגוריות של נתוני יומן

קטגוריות היומן נועדו לעזור לכם להבין את מידע הרישום שזמין לכם. הקטגוריות לא בלעדיות:

  • רשומות ביומן הפלטפורמה נכתבות על ידי Google Cloud שירותים. רשומות היומן האלה יכולות לעזור לכם לנפות באגים ולפתור בעיות, וגם להבין טוב יותר את Google Cloud השירותים שבהם אתם משתמשים.

  • רשומות ביומן Component נוצרות על ידי רכיבי תוכנה שסופקו על ידי Google Cloudופועלים במערכות שלכם. לדוגמה, GKE מספק רכיבי תוכנה שהמשתמשים יכולים להפעיל במכונה וירטואלית משלהם או במרכז נתונים משלהם. הרשומות האלה ביומן משמשות בדרך כלל למתן תמיכה למשתמשים.

  • רשומות ביומן האבטחה עוזרות לענות על השאלות 'מי עשה מה, איפה ומתי':

    • יומני הביקורת של Cloud מספקים מידע על פעילויות אדמין וגישות למשאביGoogle Cloud . הפעלת יומני ביקורת עוזרת לגורמים האחראים על האבטחה, הביקורת והתאימות שלכם לעקוב אחרי נתונים ומערכות כדי לזהות נקודות חולשה אפשריות או שימוש לרעה בנתונים חיצוניים. Google Cloud רשימה של שירותים נתמכים זמינה במאמר שירותיGoogle Cloud עם יומני ביקורת.
  • רשומות ביומן של ענן מרובה וענן היברידי מתייחסות לנתוני יומן מספקי ענן אחרים, כמו Microsoft Azure, וליומנים מתשתית מקומית.

בקרת גישה

ההרשאות והתפקידים בניהול הזהויות והרשאות הגישה (IAM) קובעים את הגישה למאגרי יומנים. אתם יכולים להקצות תפקידים מוגדרים מראש לישויות מורשות, או ליצור תפקידים בהתאמה אישית. מידע נוסף על ההרשאות הנדרשות זמין במאמר בנושא בקרת גישה.

תמחור

למידע על התמחור של Cloud Logging, אפשר לעיין בדף התמחור של Google Cloud Observability.

המאמרים הבאים