אתם יכולים להשתמש בsinks של יומנים ב-Cloud Logging כדי לנתב רשומות ביומן מהפרויקט Google Cloud שלכם אל יעדים נתמכים לאחסון לטווח ארוך, לניתוח או לסטרימינג.
מקור מבצע פעולת כתיבה, ולכן הוא צריך להיות מורשה לכתוב ליעד. כאשר היעד הוא קטגוריה ביומן באותו פרויקט כמו ה-sink, ה-sink מקבל הרשאה באופן אוטומטי. בכל שאר היעדים, צריך לצרף את מאגר הנתונים לחשבון שירות שקיבל את ההרשאות הנדרשות לכתיבת נתונים ביעד.
כשנדרש חשבון שירות, Cloud Logging יוצר ומנהל אותו באופן אוטומטי. עם זאת, יכול להיות שתצטרכו לשנות את ההרשאות שניתנו לחשבון השירות. לא חייבים להשתמש בחשבון השירות שנוצר על ידי Logging. אתם יכולים ליצור ולנהל חשבון שירות שמשמש את מאגרי הנתונים בכמה פרויקטים. מידע נוסף זמין במאמר הגדרת מאגרי יומנים באמצעות חשבונות שירות בניהול משתמשים.
סקירה כללית
במאמר הזה מוסבר איך ליצור יעד לניקוז נתונים ואיך להגדיר את האפשרויות שמוצגות כשמשתמשים במסוף Google Cloud , ב-Google Cloud CLI או ב-API.
יעדים שייכים למשאב נתון: Google Cloud פרויקט, Google Cloud חשבון לחיוב, תיקייה או ארגון. כשמשאב מקבל רשומה ביומן, כל יעד במשאב מעבד את הרשומה ביומן. אם רשומה ביומן תואמת למסננים של יעד, היא מנותבת ליעד הזה.
בדרך כלל, מאגרי נתונים מכוונים רק את רשומות היומן שמקורן במשאב. עם זאת, אפשר ליצור מאגרי נתונים משולבים לתיקיות ולארגונים. יעדים כאלה מעבירים רשומות ביומן שמקורן בתיקייה או בארגון, ושמקורן במשאבי הצאצא שלהם. במסמך הזה לא מוסבר על מאגרי נתונים מצטברים. מידע נוסף מופיע במאמר סקירה כללית על מאגרי נתונים מצטברים.
כדי ליצור ולנהל יעד ליומנים, אפשר להשתמש במסוף Google Cloud , ב-Cloud Logging API וב-Google Cloud CLI. מומלץ להשתמש במסוף Google Cloud מהסיבות הבאות:
- אתם יכולים להגדיר יעדי יצוא כחלק מהתהליך ליצירת יעד יצוא.
- אתם יכולים לראות תצוגה מקדימה של רשומות היומן שתואמות למסננים של מאגר הנתונים.
- חלק משלבי ההרשאה פשוטים יותר.
מומלץ לבדוק את ההגדרה של sink ביומן כשמבצעים שינויים באחסון היומנים. לדוגמה, אם מוחקים את היעד של sink ביומן, צריך למחוק גם את sink ביומן התואם.
בקטע ניהול אובייקטים מסוג sink במסמך הזה מוסבר איך לראות את אובייקטים מסוג sink ולנהל אותם.
יעדים נתמכים
היעד של מאגר יכול להיות במשאב אחר מהמאגר. לדוגמה, אפשר להשתמש ב-sink ביומן כדי להעביר רשומות ביומן מפרויקט אחד לקטגוריה ביומן שמאוחסנת בפרויקט אחר.
היעדים הבאים נתמכים:
- פרויקטGoogle Cloud
בוחרים ביעד הזה כשרוצים שהיעדים של יומני הרישום בפרויקט היעד ינתבו מחדש את רשומות היומן, או כשיוצרים יעד צבירה שחוסם את הגישה. פריטי ה-sink ביומן בפרויקט היעד יכולים לנתב מחדש את רשומות היומן לכל יעד נתמך, למעט פרויקט.
פריטי ה-sink ביומן שנוצרו על ידי המערכת בפרויקט היעד לא כוללים רשומות ביומן שמועברות אל
_Requiredקטגוריית היומן בפרויקט המקור. לדוגמה, אם מעבירים יומנים של פעילות אדמין לפרויקט אחר, גם_Requiredוגם_Defaultב-log sinks בפרויקט היעד לא יכללו את הרשומות האלה ביומן. כדי לאחסן את רשומות היומן האלה, צריך לעדכן את_Defaultsink של היומן בפרויקט היעד או ליצור sink של יומן בהתאמה אישית.
- קטגוריה ביומן
בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן במשאבים שמנוהלים על ידי Cloud Logging. אפשר להציג ולנתח נתוני יומנים שמאוחסנים בדלי יומנים באמצעות שירותים כמו Logs Explorer ו-Observability Analytics.
אם רוצים לצרף את נתוני היומן לנתונים עסקיים אחרים, אפשר לאחסן את נתוני היומן בקטגוריה ביומן וליצור קבוצת נתונים מקושרת ב-BigQuery. מערך נתונים מקושר ב-BigQuery הוא לקריאה בלבד, אבל אפשר להריץ עליו שאילתות כמו על כל מערך נתונים אחר ב-BigQuery.
- מערך נתונים ב-BigQuery
- בוחרים ביעד הזה כשרוצים לצרף את נתוני היומן לנתונים עסקיים אחרים. צריך להפעיל הרשאות כתיבה במערך הנתונים שאתם מציינים. לא מגדירים את היעד של sink להיות מערך נתונים מקושר ב-BigQuery. מערכי נתונים מקושרים ב-BigQuery הם לקריאה בלבד.
- קטגוריה של Cloud Storage
- בוחרים ביעד הזה כשרוצים לאחסן את נתוני היומן לטווח ארוך. הקטגוריה של Cloud Storage יכולה להיות בפרויקט שממנו מגיעים רשומות היומן, או בפרויקט אחר. רשומות ביומן מאוחסנות כקובצי JSON.
- נושא Pub/Sub
- בוחרים ביעד הזה כשרוצים לייצא את נתוני היומן מ-Google Cloud ואז להשתמש בשילובים עם צד שלישי כמו Splunk או Datadog. רשומות היומן מעוצבות כ-JSON ואז מנותבות לנושא Pub/Sub.
מגבלות על יעדים
בקטע הזה מתוארות מגבלות שספציפיות ליעדים:
- כשמגדירים יעד ל-sink, צריך לספק את הנתיב המוגדר במלואו ולהשתמש בנקודת הקצה הגלובלית של השירות.
אין תמיכה בנקודות קצה אזוריות של שירותים (REP), כמו
pubsub.LOCATION.rep.googleapis.com.
- אם אתם מעבירים רשומות ביומן לקטגוריית יומנים בפרויקט אחר Google Cloud , Error Reporting לא מנתח את הרשומות האלה ביומן. מידע נוסף מופיע במאמר סקירה כללית על Error Reporting.
המגבלות הבאות חלות כשמגדירים מערך נתונים ב-BigQuery כיעד של sink ליומן:
- צריך להפעיל הרשאת כתיבה למערך הנתונים ב-BigQuery. לא מגדירים את היעד כמערך נתונים מקושר ב-BigQuery. מערכי נתונים מקושרים הם לקריאה בלבד.
- הרישום יוצר טבלה בתוך מערך הנתונים לכל שם יומן. אי אפשר לשנות את השם של טבלה בזמן שמקור נתונים מעביר אליה נתונים.
- יכול להיות שיחלפו כמה שעות עד ש-sinks חדשים שמנתבים רשומות ביומן לקטגוריות של Cloud Storage יתחילו לנתב את הרשומות. הנתונים בלוחות האלה מתעדכנים מדי שעה.
אין תמיכה בהעברת יומנים לנושא ב-Pub/Sub שמוגדרות בו הגבלות על נתונים במעבר. הרישום ביומן לא יכול להבטיח שבקשות פרסום מגיעות מאזור מותר, ולכן נגרמות
topic_region_not_allowedשגיאות בהגדרות ויומנים מושמטים.ההגבלות הבאות חלות כש Google Cloud פרויקט הוא היעד של sink ביומן:
- יש הגבלה של קפיצה אחת.
- ה-sink ביומן
_Requiredבפרויקט היעד מעביר רשומות ביומן אל_Requiredקטגוריית היומן של הפרויקט אם רשומות היומן תואמות למסנן של ה-sink ומקורן בפרויקט היעד. _Defaultאובייקט ה-sink ביומן בפרויקט היעד מעביר רשומות ביומן שתואמות למסנן ההכללה שלו ולא תואמות לאף מסנן החרגה. חלק מהרשומות ביומן לא נכללות ב-sink ביומן_Default. לדוגמה, יעד כזה לא מעביר רשומות ביומן של פעילות אדמין ואירועים במערכת. אפשר לשנות את היעד הזה.- רק מאגרי נתונים (sinks) מצטברים שנמצאים בהיררכיית המשאבים של רשומה ביומן מעבדים את הרשומה.
לדוגמה, נניח שיעד של sink ביומן בפרויקט
Aהוא פרויקטB. במקרה כזה, הכללים הבאים חלים:- בגלל מגבלת הדילוג האחד, מאגרי היומנים בפרויקט
Bלא יכולים לנתב מחדש רשומות יומן לפרויקט Google Cloud אחר. - בקטגוריית היומן
_Requiredשל פרויקטBנשמרים רק רשומות יומן שמקורן בפרויקטB. קטגוריה ביומן הזו לא מאחסנת רשומות ביומן שמקורן במשאבים אחרים, כולל אלה שמקורן בפרויקטA. - אם לפרויקט
AולפרויקטBיש היררכיות משאבים שונות, רשומה ביומן ש-sink ביומן בפרויקטAמעביר לפרויקטBלא נשלחת למאגרי היומנים המצטברים בהיררכיית המשאבים של פרויקטB. - אם לפרויקט
AולפרויקטBיש אותה היררכיית משאבים, רשומות היומן נשלחות למאגרי הנתונים המצטברים בהיררכיה הזו. אם רשומת יומן לא נחסמת על ידי sink מצטבר, נתב היומנים שולח את הרשומה אל ה-sinks בפרויקטA.
לפני שמתחילים
ההוראות במסמך הזה מתארות איך ליצור ולנהל מאגרי נתונים ברמתGoogle Cloud הפרויקט. אפשר להשתמש באותו תהליך כדי ליצור יעד שמעביר רשומות ביומן שמקורן בארגון, בתיקייה או בחשבון לחיוב.
כדי להתחיל, מבצעים את הפעולות הבאות:
-
מפעילים את Cloud Logging API, אם הוא עדיין לא מופעל.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים מוודאים ש Google Cloud הפרויקט מכיל רשומות ביומן שאפשר לראות בLogs Explorer.
-
כדי לקבל את ההרשאות שנדרשות ליצירה, לשינוי או למחיקה של יעד, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד כותב הגדרות של יומנים (
roles/logging.configWriter) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
מידע על מתן תפקידי IAM מופיע במדריך בקרת הגישה בנושא Logging.
מוודאים שיש לכם משאב ביעד נתמך או שיש לכם אפשרות ליצור משאב כזה.
כדי להפנות רשומות ביומן ליעד, היעד צריך להתקיים לפני שיוצרים את מאגר הנתונים. אפשר ליצור את היעד בכלGoogle Cloud פרויקט בכל ארגון.
לפני שיוצרים מאגר, כדאי לעיין במגבלות שחלות על יעד המאגר. מידע נוסף זמין בקטע מגבלות על יעדים במאמר הזה.
בוחרים את הממשק שבו רוצים להשתמש:
המסוף
כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים Google Cloud ולממשקי ה-API, לא צריך להגדיר אימות.
gcloud
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
REST
כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.
התקינו את ה-CLI של Google Cloud.
אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.
מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .
יצירת יעד
בקטע הזה מוסבר איך ליצור יעד בפרויקט ב- Google Cloud .
אפשר ליצור עד 200 יעדים לכל Google Cloud פרויקט.
כדי לראות את המספר והנפח של רשומות היומן שמועברות, אפשר לעיין במדדים של logging.googleapis.com/exports/.
משתמשים בשפת השאילתות של Logging כדי ליצור ביטוי מסנן שתואם לרשומות ביומן שרוצים לכלול. אל תכללו מידע רגיש במסנני יעד. מסנני יעד נחשבים כנתוני שירות.
כששאילתה מכילה כמה הצהרות, אפשר לציין איך ההצהרות האלה מצורפות או להסתמך על Cloud Logging שמוסיף באופן מרומז את ההגבלה המצטרפת, AND, בין ההצהרות. לדוגמה,
נניח שתיבת דו-שיח של שאילתה או מסנן מכילה שתי הצהרות,
resource.type = "gce_instance" ו-severity >= "ERROR".
השאילתה בפועל היא resource.type = "gce_instance" AND severity >= "ERROR".
Cloud Logging תומך בהגבלות דיסג'נקטיביות, OR, ובהגבלות קוניונקטיביות, AND. כשמשתמשים בהצהרות OR, מומלץ לקבץ את הסעיפים באמצעות סוגריים.
כדי ליצור יעד:
המסוף
-
במסוף Google Cloud , עוברים לדף Log Router:
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
בוחרים את Google Cloud הפרויקט שממנו מגיעים רשומות היומן שרוצים להפנות.
לדוגמה, אם רוצים להפנות את הרשומות ביומן Data Access מהפרויקט בשם
Project-Aלקטגוריית יומנים בפרויקט בשםProject-B, צריך לבחור באפשרותProject-A.לוחצים על יצירת יעד.
בחלונית פרטי יעד, מזינים את הפרטים הבאים:
שם יעד: מזינים מזהה ליעד. אחרי שיוצרים את יעד הנתונים, אי אפשר לשנות את השם שלו, אבל אפשר למחוק אותו וליצור יעד נתונים חדש.
תיאור של יעד הנתונים (אופציונלי): מתארים את המטרה או את תרחיש השימוש של יעד הנתונים.
בחלונית Sink destination, בוחרים את שירות היעד ואת היעד באמצעות התפריט Select sink service. מבצעים אחת מהפעולות הבאות:
כדי לנתב רשומות ביומן לשירות שנמצא באותו פרויקטGoogle Cloud , בוחרים באחת מהאפשרויות הבאות:
- קטגוריה של Cloud Logging: בוחרים או יוצרים קטגוריה של Logging.
- מערך נתונים ב-BigQuery: בוחרים או יוצרים את מערך הנתונים עם הרשאת כתיבה שבו יתקבלו רשומות היומן שמועברות. יש לכם גם אפשרות להשתמש בטבלאות מחולקות למחיצות.
- קטגוריה של Cloud Storage: בוחרים או יוצרים את הקטגוריה של Cloud Storage שאליה יועברו רשומות היומן.
- נושא Pub/Sub: בוחרים או יוצרים את הנושא לקבלת רשומות היומן שהועברו.
- Splunk: בוחרים את נושא Pub/Sub לשירות Splunk.
כדי לנתב רשומות ביומן לפרויקט אחר של Google Cloud , בוחרים באפשרות Google Cloud project ומזינים את השם המלא של היעד:
logging.googleapis.com/projects/DESTINATION_PROJECT_IDכדי לנתב רשומות ביומן לשירות שנמצא בGoogle Cloud פרויקט אחר, צריך לבצע את הפעולות הבאות:
- בוחרים באפשרות מקור מידע אחר.
- מזינים את השם המלא של היעד. מידע על התחביר מופיע במאמר פורמטים של נתיבי יעד.
מציינים את הרשומות ביומן שרוצים לכלול:
עוברים לחלונית Choose logs to include in sink (בחירת יומנים להכללה ב-sink).
בשדה Build inclusion filter, מזינים ביטוי מסנן שתואם לרשומות ביומן שרוצים לכלול. מידע על התחביר מופיע במאמר שפת השאילתות של רישום ביומן.
אם לא מגדירים מסנן, כל רשומות היומן מהמשאב שנבחר מנותבות ליעד.
לדוגמה, כדי להפנות את כל הרשומות ביומן הגישה לנתונים לקטגוריית Logging, אפשר להשתמש במסנן הבא:
log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")האורך של מסנן לא יכול לחרוג מ-20,000 תווים.
כדי לוודא שהזנתם את המסנן הנכון, לוחצים על תצוגה מקדימה של היומנים. כלי Logs Explorer ייפתח בכרטיסייה חדשה עם מסנן שאוכלס מראש.
(אופציונלי) מגדירים מסנן החרגה כדי להסיר חלק מהרשומות ביומן:
עוברים לחלונית Choose logs to filter out of sink (בחירת יומנים להחרגה מהיעד).
בשדה Exclusion filter name (שם מסנן ההחרגה), מזינים שם.
בשדה Build an exclusion filter (יצירת מסנן החרגה), מזינים ביטוי מסנן שתואם לרשומות ביומן שרוצים להחריג. אפשר גם להשתמש בפונקציה
פילטר ההחרגה.sampleכדי לבחור חלק מהרשומות ביומן להחרגה.
אפשר ליצור עד 50 מסנני החרגה לכל יעד. שימו לב שאורך המסנן לא יכול לחרוג מ-20,000 תווים.
לוחצים על יצירת יעד.
נותנים לחשבון השירות של יעד הניקוז הרשאה לכתוב רשומות ביומן ליעד הניקוז. מידע נוסף מופיע במאמר בנושא הגדרת הרשאות ליעדים.
gcloud
כדי ליצור יעד:
מריצים את הפקודה הבאה
gcloud logging sinks create:gcloud logging sinks create SINK_NAME SINK_DESTINATION
לפני שמריצים את הפקודה, מחליפים את המשתנים הבאים בערכים:
- SINK_NAME: השם של ה-sink ביומן. אי אפשר לשנות את השם של מאגר נתונים אחרי שיוצרים אותו.
SINK_DESTINATION: השירות או הפרויקט שאליהם רוצים לנתב את רשומות היומן. מגדירים את SINK_DESTINATION לנתיב המתאים, כפי שמתואר במאמר פורמטים של נתיב יעד.
לדוגמה, אם יעד ה-sink הוא נושא ב-Pub/Sub, אז SINK_DESTINATION ייראה כך:
pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
אפשר גם לספק את האפשרויות הבאות:
-
--log-filter: משתמשים באפשרות הזו כדי להגדיר מסנן שתואם לרשומות ביומן שרוצים לכלול במאגר. אם לא מציינים ערך למסנן ההכללה, המסנן הזה תואם לכל רשומות היומן. -
--exclusion: משתמשים באפשרות הזו כדי להגדיר מסנן החרגה לרשומות ביומן שלא רוצים שהיעד ינתב. אפשר גם להשתמש בפונקציהsampleכדי לבחור חלק מהרשומות ביומן להחרגה. אפשר לחזור על האפשרות הזו כמה פעמים, וליצור עד 50 מסנני החרגה לכל מאגר. -
--description: משתמשים באפשרות הזו כדי לתאר את המטרה או את תרחיש השימוש של מאגר הנתונים.
לדוגמה, כדי ליצור יעד לנתונים שנשלחים ל-Logging bucket, הפקודה יכולה להיראות כך:
gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \ --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"
מידע נוסף על יצירת יעדים באמצעות Google Cloud CLI זמין במאמר
gcloud logging sinks.אם התשובה של הפקודה מכילה מפתח JSON עם התווית
"writerIdentity", צריך להעניק לחשבון השירות של יעד הנתונים הרשאה לכתוב ליעד הנתונים. מידע נוסף מופיע במאמר בנושא הגדרת הרשאות ליעדים.אין צורך להגדיר הרשאות יעד אם התגובה לא מכילה מפתח JSON עם התווית
"writerIdentity".
REST
כדי ליצור יעד ליומן ב Google Cloud פרויקט, משתמשים ב-
projects.sinks.createב-Logging API. באובייקטLogSink, מציינים את הערכים הנדרשים המתאימים בגוף הבקשה של השיטה:name: מזהה של יעד. אחרי שיוצרים את יעד הנתונים, אי אפשר לשנות את השם שלו, אבל אפשר למחוק אותו וליצור יעד נתונים חדש.
destination: השירות והיעד שאליהם רוצים לנתב את רשומות היומן. כדי לנתב רשומות ביומן לפרויקט אחר, או ליעד שנמצא בפרויקט אחר, צריך להגדיר את השדהdestinationלנתיב המתאים, כמו שמתואר במאמר פורמטים של נתיבי יעד.לדוגמה, אם יעד ה-sink הוא נושא ב-Pub/Sub, אז
destinationנראה כך:pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID
באובייקט
LogSink, מציינים את המידע האופציונלי המתאים:-
filter: מגדירים את השדהfilterכך שיתאים לרשומות ביומן שרוצים לכלול ב-Sink. אם לא מגדירים מסנן, כל רשומות היומן מהפרויקטGoogle Cloud מועברות ליעד. שימו לב שאורך המסנן לא יכול לחרוג מ-20,000 תווים. -
exclusions: מגדירים את השדה הזה כך שיתאים לרשומות ביומן שרוצים להחריג מהיעד. אפשר גם להשתמש בפונקציהsampleכדי לבחור חלק מהרשומות ביומן להחרגה. אפשר ליצור עד 50 מסנני החרגה לכל יעד. -
description: מגדירים את השדה הזה כדי לתאר את המטרה או את תרחיש השימוש של מאגר הנתונים.
-
מפעילים את הפקודה
projects.sinks.createכדי ליצור את יעד הנתונים.אם תגובת ה-API מכילה מפתח JSON עם התווית
"writerIdentity", צריך לתת לחשבון השירות של מאגר היעד הרשאת כתיבה למאגר היעד. מידע נוסף מופיע במאמר בנושא הגדרת הרשאות ליעדים.אין צורך להגדיר הרשאות ליעד אם התגובה של ה-API לא מכילה מפתח JSON עם התווית
"writerIdentity".
מידע נוסף על יצירת יעדים באמצעות Logging API מופיע במאמר LogSink.
אם אתם מקבלים התראות על שגיאות, כדאי לעיין במאמר פתרון בעיות שקשורות לניתוב ולמאגרי מידע.
פורמטים של נתיב היעד
כשמגדירים יעד ל-sink, צריך לספק את הנתיב המוגדר במלואו ולהשתמש בנקודת הקצה הגלובלית של השירות.
אין תמיכה בנקודות קצה אזוריות של שירותים (REP), כמו pubsub.LOCATION.rep.googleapis.com.
בפורמטים הבאים של נתיבים, DESTINATION_PROJECT_ID מתייחס למזהה או למספר של פרויקט היעד:
קטגוריה ביומן ב-Cloud Logging:
logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME
פרויקט Google Cloud אחר:
logging.googleapis.com/projects/DESTINATION_PROJECT_ID
מערך נתונים ב-BigQuery:
bigquery.googleapis.com/projects/DESTINATION_PROJECT_ID/datasets/DATASET_ID
קטגוריה של Cloud Storage:
storage.googleapis.com/BUCKET_NAME
נושא Pub/Sub:
pubsub.googleapis.com/projects/DESTINATION_PROJECT_ID/topics/TOPIC_ID
הגדרת הרשאות ליעד
בקטע הזה מוסבר איך מעניקים ל-Logging את ההרשאות לניהול זהויות והרשאות גישה (IAM) כדי לכתוב רשומות ביומן ליעד של מאגר. רשימה מלאה של התפקידים וההרשאות ב-Logging זמינה במאמר בקרת גישה.
כשיוצרים יעד, Cloud Logging יוצר חשבון שירות משותף למשאב, אלא אם חשבון השירות הנדרש כבר קיים. יכול להיות שחשבון השירות קיים כי אותו חשבון שירות משמש לכל מאגרי המידע במשאב הבסיסי. משאב יכול להיות Google Cloud פרויקט, ארגון, תיקייה או חשבון לחיוב.
זהות הכתיבה של יעד היא המזהה של חשבון השירות שמשויך לאותו יעד. לכל יעד יש זהות כתיבה, חוץ מיעדים שכותבים לקטגוריית יומנים באותו פרויקט שממנו מגיעים רשומות היומן. Google Cloud בהגדרה השנייה, לא נדרש חשבון שירות, ולכן השדה writer identity של יעד הסינכרון מופיע כ-None במסוף. ה-API והפקודות של Google Cloud CLI לא מדווחים על זהות הכותב.
ההוראות הבאות רלוונטיות לפרויקטים, לתיקיות, לארגונים ולחשבונות לחיוב:
המסוף
מוודאים שיש לכם הרשאת בעלים בGoogle Cloud פרויקט שמכיל את היעד. אם אין לכם גישת בעלים ליעד של ה-sink, צריך לבקש מבעלי הפרויקט להוסיף את זהות הכתיבה כגורם ראשי.
כדי לקבל את זהות בעל הרשאת הכתיבה של ה-sink – כתובת אימייל – מה-sink החדש:
-
במסוף Google Cloud , עוברים לדף Log Router:
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
- בסרגל הכלים, בוחרים את הפרויקט שמכיל את יעד הנתונים.
- בוחרים באפשרות more_vert תפריט ואז באפשרות הצגת פרטים של יעד. זהות הכותב מופיעה בחלונית Sink details.
-
אם הערך של השדה
writerIdentityמכיל כתובת אימייל, עוברים לשלב הבא. אם הערך הואNone, לא צריך להגדיר הרשאות יעד ל-sink.מעתיקים את זהות הכתיבה של יעד הנתונים ללוח.
כתובת האימייל מזהה את החשבון הראשי. הקידומת
serviceAccount:מציינת את סוג החשבון.נותנים לחשבון המשתמש שצוין כזהות הכותב של יעד הסינק הרשאה לכתוב נתוני יומן ליעד:
-
נכנסים לדף IAM במסוף Google Cloud :
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שמופיע בה הכותרת המשנית IAM & Admin.
בסרגל הכלים, מוודאים שהפרויקט שנבחר הוא הפרויקט שבו מאוחסן היעד או שהוא יעד ה-sink. לדוגמה, אם היעד הוא קטגוריית יומנים, צריך לוודא שבסרגל הכלים מוצג הפרויקט שבו מאוחסנת קטגוריית היומנים.
לוחצים על Grant access.
מעניקים לחשבון המשתמש שצוין בזהות הכתיבה של מאגר הנתונים תפקיד IAM על סמך היעד של מאגר הנתונים של יומני הפעילות:
- לכל היעדים, צריך להעניק את התפקיד Logs Writer (
roles/logging.logWriter). באופן ספציפי, לחשבון המשתמש צריכה להיות ההרשאהlogging.logEntries.route. - מקצים אחד מהתפקידים הבאים בהתאם ליעד:
- קטגוריית יומנים: צריך להעניק את התפקיד Logs Bucket Writer (
roles/logging.bucketWriter). - קטגוריה של Cloud Storage: מקצים את התפקיד Storage Object Creator (
roles/storage.objectCreator). - מערך נתונים ב-BigQuery: מעניקים את התפקיד BigQuery Data Editor (
roles/bigquery.dataEditor). - נושא Pub/Sub, כולל Splunk: צריך להעניק את התפקיד Pub/Sub Publisher (
roles/pubsub.publisher).
- קטגוריית יומנים: צריך להעניק את התפקיד Logs Bucket Writer (
- לכל היעדים, צריך להעניק את התפקיד Logs Writer (
-
gcloud
מוודאים שיש לכם הרשאת בעלים בGoogle Cloud פרויקט שמכיל את היעד. אם אין לכם גישת בעלים ליעד של ה-sink, צריך לבקש מבעלי הפרויקט להוסיף את זהות הכתיבה כגורם ראשי.
מקבלים את חשבון השירות מהשדה
writerIdentityביעד:gcloud logging sinks describe SINK_NAME
מוצאים את יעד הנתונים שרוצים לשנות את ההרשאות שלו. אם בפרטים של יעד הנתונים מופיעה שורה עם
writerIdentity, ממשיכים לשלב הבא. אם הפרטים לא כולליםwriterIdentityשדה, אין צורך להגדיר הרשאות יעד עבור מאגר הנתונים.הזהות של חשבון השירות עם הרשאת כתיבה נראית כך:
serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com
מעניקים להרשאת הזהות של בעל הרשאת הכתיבה של ה-sink הרשאה לכתוב נתוני יומן ליעד באמצעות הפקודה
gcloud projects add-iam-policy-binding.לפני שמשתמשים בפקודה הבאה, צריך להחליף את המשתנים הבאים בערכים:
- PROJECT_ID: מזהה הפרויקט. מציינים את הפרויקט שבו מאוחסן יעד sink ביומן. אם היעד הוא פרויקט, מציינים את הפרויקט.
- PRINCIPAL: מזהה של חשבון המשתמש שרוצים להקצות לו את התפקיד. בדרך כלל, מזהי החשבונות הראשיים מופיעים בפורמט הבא:
PRINCIPAL-TYPE:ID. לדוגמה,user:my-user@example.com. רשימה מלאה של הפורמטים האפשריים שלPRINCIPALמופיעה במאמר מזהים של חשבונות משתמשים. ROLE: תפקיד IAM. מקצים לזהות הכתיבה של מאגר היעד תפקיד IAM על סמך היעד של מאגר היומן:
- לכל היעדים, צריך להעניק את התפקיד Logs Writer (
roles/logging.logWriter). באופן ספציפי, לחשבון המשתמש צריכה להיות ההרשאהlogging.logEntries.route. - מקצים אחד מהתפקידים הבאים בהתאם ליעד:
- קטגוריית יומנים: צריך להעניק את התפקיד Logs Bucket Writer (
roles/logging.bucketWriter). - קטגוריה של Cloud Storage: מקצים את התפקיד Storage Object Creator (
roles/storage.objectCreator). - מערך נתונים ב-BigQuery: מעניקים את התפקיד BigQuery Data Editor (
roles/bigquery.dataEditor). - נושא Pub/Sub, כולל Splunk: צריך להעניק את התפקיד Pub/Sub Publisher (
roles/pubsub.publisher).
- קטגוריית יומנים: צריך להעניק את התפקיד Logs Bucket Writer (
- לכל היעדים, צריך להעניק את התפקיד Logs Writer (
מריצים את הפקודה
gcloud projects add-iam-policy-binding:gcloud projects add-iam-policy-binding PROJECT_ID --member=PRINCIPAL --role=ROLE
REST
מומלץ להשתמש במסוף Google Cloud או ב-Google Cloud CLI כדי להקצות תפקיד לחשבון השירות.
ניהול של יעד נתונים
מומלץ לבדוק את ההגדרה של sink ביומן כשמבצעים שינויים באחסון היומנים. לדוגמה, אם מוחקים את היעד של sink ביומן, צריך למחוק גם את sink ביומן התואם.
אחרי שיוצרים את מאגרי הנתונים, אפשר לבצע בהם את הפעולות הבאות. יכול להיות שיעברו כמה דקות עד שהשינויים שביצעתם ב-sink יחולו:
- לפרטים
- עדכון
השבתה
- אי אפשר להשבית את יעד
_Required. אפשר להשבית את יעד
_Defaultכדי להפסיק את הניתוב של רשומות ביומן לקטגוריית_DefaultLogging.אתם יכולים להשבית את אובייקט ה-sink
_Defaultלכל פרויקט או תיקייה חדשיםGoogle Cloud שאתם יוצרים בארגון או בתיקייה, על ידי הגדרת הגדרות ברירת מחדל של משאבים ל-Cloud Logging.
- אי אפשר להשבית את יעד
מחיקה
- אי אפשר למחוק את מקורות הנתונים
_Defaultאו את יעדי הנתונים_Required. - כשמוחקים יעד, רשומות היומן לא מנותבות אליו יותר.
- אם ליעד יש חשבון שירות ייעודי, מחיקת היעד תגרום גם למחיקת חשבון השירות. למאגרי מידע שנוצרו לפני 22 במאי 2023 יש חשבונות שירות ייעודיים. למאגרי נתונים שנוצרו ב-22 במאי 2023 או אחריו יש חשבון שירות משותף. מחיקת היעד לא מוחקת את חשבון השירות המשותף.
- אי אפשר למחוק את מקורות הנתונים
פתרון בעיות שקשורות לכשלים
- הצגת נפח היומן ושיעורי השגיאות
בהמשך מפורטות ההוראות לניהול יעד בGoogle Cloud פרויקט. במקום Google Cloud פרויקט, אפשר לציין חשבון לחיוב, תיקייה או ארגון:
המסוף
-
במסוף Google Cloud , עוברים לדף Log Router:
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
בסרגל הכלים, בוחרים את המשאב שמכיל את יעד הנתונים. המשאב יכול להיות פרויקט, תיקייה, ארגון או חשבון לחיוב.
בדף Log Router מוצגים היעדים במשאב שנבחר. כל שורה בטבלה מכילה מידע על המאפיינים של יעד:
- Enabled: מציין אם מצב היעד מופעל או מושבת.
- סוג: שירות היעד של ה-sink. לדוגמה,
Cloud Logging bucket. - שם: המזהה של יעד הנתונים, כפי שסופק כשנוצר יעד הנתונים. לדוגמה:
_Default. - תיאור: התיאור של יעד הנתונים, כפי שסופק כשנוצר יעד הנתונים.
- יעד: השם המלא של היעד שאליו נשלחות רשומות היומן שמועברות.
- נוצר: התאריך והשעה שבהם נוצר יעד הנתונים.
- העדכון האחרון: התאריך והשעה שבהם בוצע העדכון האחרון של יעד הנתונים.
- נפח: הנפח הכולל של היומנים שמועברים אל יעד היומן. הערך כולל את הנפח שמועבר לדליים של יומנים, לפרויקטים או ליעדים אחרים.
בכל שורה בטבלה, בתפריט more_vert פעולות נוספות יש את האפשרויות הבאות:
- הצגת פרטים של יעד: מוצגים השם, התיאור, שירות היעד, היעד ומסנני ההכללה וההחרגה של היעד. כשלוחצים על עריכה, נפתחת החלונית עריכת יעד.
- עריכת יעד: פותחת את החלונית עריכת יעד שבה אפשר לעדכן את הפרמטרים של היעד.
- השבתת יעד: מאפשרת להשבית את היעד ולהפסיק את הניתוב של רשומות ביומן אל היעד. מידע נוסף על השבתת יעד לניתוב נתונים מופיע במאמר הפסקת האחסון של יומנים בקטגוריות ביומן.
- הפעלת יעד: מאפשרת להפעיל יעד מושבת ולהפעיל מחדש את הניתוב של רשומות ביומן ליעד.
- מחיקת יעד: מאפשרת למחוק את היעד ולהפסיק את הניתוב של רשומות ביומן ליעד.
- פתרון בעיות ב-sink: פותח את Logs Explorer, שבו אפשר לפתור בעיות בשגיאות שקשורות ל-sink.
- הצגת נפח היומן של יעד הנתונים ושיעורי השגיאות: פתיחת הכלי Metrics Explorer שבו אפשר להציג ולנתח נתונים מיעד הנתונים.
כדי למיין את הטבלה לפי עמודה, בוחרים את שם העמודה.
gcloud
כדי להציג את רשימת היעדים בפרויקט Google Cloud , משתמשים בפקודה
gcloud logging sinks list, שמתאימה ל-method projects.sinks.listב-Logging API:gcloud logging sinks list
כדי לראות את רשימת היעדים המצטברים, צריך להשתמש באפשרות המתאימה כדי לציין את המשאב שמכיל את היעד. לדוגמה, אם יצרתם את יעד הנתונים ברמת הארגון, השתמשו באפשרות
--organization=ORGANIZATION_IDכדי להציג את רשימת יעדי הנתונים של הארגון.כדי לתאר יעד, משתמשים בפקודה
gcloud logging sinks describe, שמתאימה ל-methodprojects.sinks.getשל Logging API:gcloud logging sinks describe SINK_NAME
כדי לעדכן יעד, משתמשים בפקודה
gcloud logging sinks update, שמתאימה ל-method של ה-APIprojects.sinks.update.אפשר לעדכן את יעד הנתונים כדי לשנות את היעד, המסננים והתיאור, או כדי להשבית או להפעיל מחדש את יעד הנתונים:
gcloud logging sinks update SINK_NAME NEW_DESTINATION --log-filter=NEW_FILTER
אם החלקים האלה לא משתנים, אפשר להשמיט את NEW_DESTINATION או
--log-filter.לדוגמה, כדי לעדכן את היעד של sink שנקרא
my-project-sinkליעד חדש של קטגוריה של Cloud Storage שנקראmy-second-gcs-bucket, הפקודה תיראה כך:gcloud logging sinks update my-project-sink storage.googleapis.com/my-second-gcs-bucket
כדי להשבית יעד, משתמשים בפקודה
gcloud logging sinks update, שמתאימה ל-method של ה-API projects.sinks.update, וכוללים את האפשרות--disabled:gcloud logging sinks update SINK_NAME --disabled
כדי להפעיל מחדש את יעד הנתונים, משתמשים בפקודה
gcloud logging sinks update, מסירים את האפשרות--disabledומוסיפים את האפשרות--no-disabled:gcloud logging sinks update SINK_NAME --no-disabled
כדי למחוק יעד, משתמשים בפקודה
gcloud logging sinks delete, שמתאימה ל-method projects.sinks.deleteב-API:gcloud logging sinks delete SINK_NAME
מידע נוסף על ניהול יעדים באמצעות Google Cloud CLI זמין במאמר העזר בנושא
gcloud logging sinks.
REST
כדי לראות את היעדים של Google Cloud הפרויקט, קוראים לפונקציה
projects.sinks.list.כדי לראות את הפרטים של יעד, מפעילים את הפקודה
projects.sinks.get.כדי לעדכן את יעד הנתונים, מתקשרים אל
projects.sinks.update.אפשר לעדכן את היעד, המסננים והתיאור של יעד. אפשר גם להשבית את ה-sink או להפעיל אותו מחדש.
כדי להשבית יעד, מגדירים את השדה
disabledבאובייקטLogSinkלערךtrue, ואז קוראים לפונקציהprojects.sinks.update.כדי להפעיל מחדש את יעד הסנכרון, צריך להגדיר את השדה
disabledבאובייקטLogSinkלערךfalse, ואז לקרוא ל-projects.sinks.update.כדי למחוק יעד, מתקשרים אל
projects.sinks.delete.מידע נוסף על ניהול יעדים באמצעות Logging API זמין במאמר
LogSink.
הפסקת האחסון של רשומות ביומן בדליים של יומנים
אתם יכולים להשבית את _Default sink ואת כל ה-sinks שהוגדרו על ידי המשתמש. כשמשביתים יעד, הוא מפסיק להפנות רשומות חדשות ביומן ליעד שלו.
לדוגמה, אם משביתים את יעד הטביעה _Default, לא מנותבות רשומות יומן אל _Default הקטגוריה. קטגוריית _Default מתרוקנת כשכל רשומות היומן שאוחסנו בה מגיעות לסוף תקופת השמירה של הקטגוריה.
ההוראות הבאות מראות איך להשבית את sink של Google Cloud פרויקט_Default כדי שלא יועברו אליו רשומות ביומן מ_Defaultקטגוריה ביומן:
המסוף
-
במסוף Google Cloud , עוברים לדף Log Router:
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
- כדי למצוא את כל ה-sinks שמנתבים רשומות ביומן אל קטגוריה ביומן
_Default, מסננים את ה-sinks לפי יעד ומזינים_Default. לכל יעד, לוחצים על more_vert תפריט ואז על השבתת היעד.
היעדים מושבתים עכשיו ולא מעבירים יותר רשומות של יומנים לדלי
_Default.
כדי להפעיל מחדש יעד שהושבת ולהתחיל מחדש את הניתוב של רשומות ביומן ליעד, צריך לבצע את הפעולות הבאות:
-
במסוף Google Cloud , עוברים לדף Log Router:
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.
- כדי למצוא את כל ה-sinks שמנתבים רשומות ביומן אל קטגוריה ביומן
_Default, מסננים את ה-sinks לפי יעד ומזינים_Default. - לכל יעד, לוחצים על more_vert תפריט ואז על הפעלת היעד.
gcloud
כדי להציג את רשימת היעדים בפרויקט Google Cloud , משתמשים בפקודה
gcloud logging sinks list, שמתאימה ל-method projects.sinks.listב-Logging API:gcloud logging sinks list
מזהים את כל מאגרי הנתונים שמובילים לקטגוריית היומנים
_Default. כדי לתאר יעד, כולל הצגת שם היעד, משתמשים בפקודהgcloud logging sinks describe, שמתאימה ל-methodprojects.sinks.getשל Logging API:gcloud logging sinks describe SINK_NAME
מריצים את הפקודה
gcloud logging sinks updateוכוללים את האפשרות--disabled. לדוגמה, כדי להשבית את יעד ה-sink_Default, משתמשים בפקודה הבאה:gcloud logging sinks update _Default --disabled
מאגר היעד
_Defaultמושבת עכשיו, והוא כבר לא מעביר רשומות ביומן אל קטגוריה ביומן_Default.
כדי להשבית את שאר יעדי האחסון בפרויקט Google Cloud שמנתבים אליהם נתונים_Default, חוזרים על השלבים הקודמים.
כדי להפעיל מחדש יעד, משתמשים בפקודה gcloud logging sinks update, מסירים את האפשרות --disabled ומוסיפים את האפשרות --no-disabled:
gcloud logging sinks update _Default --no-disabled
REST
כדי לראות את היעדים של Google Cloud הפרויקט, מפעילים את השיטה
projects.sinks.listשל Logging API.מזהים את כל היעדים שמובילים לקטגוריית
_Default.לדוגמה, כדי להשבית את יעד הנתונים
_Default, מגדירים את השדהdisabledבאובייקטLogSinkלערךtrue, ואז קוראים ל-projects.sinks.update.מאגר
_Defaultמושבת עכשיו, והוא כבר לא מעביר רשומות ביומן אל מאגר_Default.
כדי להשבית את שאר יעדי האחסון בפרויקט Google Cloud שמנתבים אליהם נתונים_Default, חוזרים על השלבים הקודמים.
כדי להפעיל מחדש יעד, צריך להגדיר את השדה disabled באובייקט LogSink לערך false, ואז לקרוא ל-projects.sinks.update.
דוגמאות קוד
כדי להשתמש בקוד של ספריית לקוח להגדרת מאגרי נתונים בשפות שבחרתם, אפשר לעיין בדוגמאות הקוד.
דוגמאות למסננים
ריכזנו כאן כמה דוגמאות למסננים שימושיים במיוחד כשיוצרים מאגרי נתונים. במאמר דוגמאות לשאילתות אפשר למצוא דוגמאות נוספות שיכולות לעזור לכם ליצור מסנני הכללה ומסנני החרגה.
שחזור המסנן של יעד _Default
אם ערכתם את המסנן עבור יעד _Default, יכול להיות שתרצו לשחזר את ההגדרות המקוריות של היעד הזה. כשיוצרים את אובייקט ה-sink _Default, הוא מוגדר עם מסנן ההכללה הבא ומסנן החרגה ריק:
NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
log_id("externalaudit.googleapis.com/activity") AND NOT \
log_id("cloudaudit.googleapis.com/system_event") AND NOT \
log_id("externalaudit.googleapis.com/system_event") AND NOT \
log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
log_id("externalaudit.googleapis.com/access_transparency")
החרגה של יומנים של קונטיינרים ו-Pods ב-Google Kubernetes Engine
כדי להחריג רשומות ביומן של קונטיינרים ופודים של Google Kubernetes Engine עבור מערכת GKE namespaces, משתמשים במסנן הבא:
resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")
כדי לא לכלול רשומות ביומן של צומת Google Kubernetes Engine עבור ערכי מערכת GKE log_id, משתמשים במסנן הבא:
resource.type = "k8s_node"
(log_id("container-runtime") OR
log_id("docker") OR
log_id("kube-container-runtime-monitor") OR
log_id("kube-logrotate") OR
log_id("kube-node-configuration") OR
log_id("kube-node-installation") OR
log_id("kubelet") OR
log_id("kubelet-monitor") OR
log_id("node-journal") OR
log_id("node-problem-detector"))
כדי לראות את נפח הרשומות ביומן של צומת, קבוצת Pod וקונטיינר של Google Kubernetes Engine שמאוחסנות במאגרי יומנים, משתמשים ב-Metrics Explorer:
- הצגת נפח הרשומות ביומן של הצומת
- צפייה בנפח של רשומת יומן של פוד
- הצגת נפח של רשומות ביומן של מאגר תגים
החרגה של יומני Dataflow שלא נדרשים לצורך תמיכה
כדי להחריג רשומות ביומן של Dataflow שלא נדרשות לצורך תמיכה, משתמשים במסנן הבא:
resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"
כדי לראות את נפח היומנים של Dataflow שמאוחסנים בדלי היומנים, משתמשים ב-Metrics Explorer. מידע נוסף זמין במאמר בנושא הצגת נפח של רשומות ביומן של Dataflow.
החרגה של רשומות ביומן של Storage Transfer Service שמתעדות פעולות שבוצעו בהצלחה
כדי להחריג רשומות ביומן של Storage Transfer Service שמתעדות פעולות שבוצעו בהצלחה, משתמשים במסנן ההחרגה הבא:
resource.type="storage_transfer_job" AND
jsonPayload.status.statusCode="OK"
אפשרות אחרת היא לשנות את נתוני היומן שנכתבים על ידי משימה של Storage Transfer Service. מידע נוסף זמין במאמר הפעלת רישום ביומן של Storage Transfer Service.
יכולת תמיכה
למרות ש-Cloud Logging מאפשר לכם להחריג רשומות ביומן ולמנוע את השמירה שלהן בקטגוריית יומנים, כדאי לשמור רשומות ביומן שיכולות לעזור לכם לקבל תמיכה. השימוש ברשומות האלה ביומן יכול לעזור לכם לפתור בעיות ולזהות בעיות באפליקציות שלכם.
לדוגמה, רשומות ביומן המערכת של GKE שימושיות לפתרון בעיות באפליקציות ובאשכולות של GKE, כי הן נוצרות לאירועים שמתרחשים באשכול. רשומות היומן האלה יכולות לעזור לכם לקבוע אם קוד האפליקציה או אשכול GKE הבסיסי גורמים לשגיאה באפליקציה. יומני המערכת של GKE כוללים גם את יומני הביקורת של Kubernetes שנוצרים על ידי רכיב שרת ה-API של Kubernetes, שכולל שינויים שבוצעו באמצעות הפקודה kubectl ואירועים של Kubernetes.
ב-Dataflow, מומלץ לכתוב לפחות את יומני המערכת (labels."dataflow.googleapis.com/log_type"="system") ואת יומני התמיכה (labels."dataflow.googleapis.com/log_type"="supportability") בדלי יומנים. היומנים האלה חיוניים למפתחים כדי לצפות בצינורות Dataflow ולפתור בעיות בהם. בלי היומנים האלה, יכול להיות שהמשתמשים לא יוכלו להשתמש בדף פרטי המשימה ב-Dataflow כדי לראות את יומני המשימות.