סקירה כללית על אחסון ב-Google Cloud Observability

‫Google Cloud Observability מאחסן ומארגן נתוני טלמטריה מ-Cloud Logging, מ-Cloud Monitoring ומ-Cloud Trace במאגרי אחסון מובנים. הבנת מודל האחסון עוזרת להגדיר את מיקום אחסון הנתונים, לאכוף מדיניות הצפנה ולחבר טלמטריה לשירותי ניתוח נתונים כמו BigQuery.

נתוני יומן

נתוני היומן נמצאים בקטגוריות של יומנים, שהן המאגרים שבהם Logging משתמש כדי לאחסן את נתוני היומן. כל Google Cloud פרויקט, חשבון לחיוב, תיקייה וארגון מכילים מאגרי יומנים שנקראים _Required ו-_Default.

כברירת מחדל, נתוני היומן נמצאים ב Google Cloud פרויקט, בחשבון לחיוב, בתיקייה או בארגון שבהם נוצרו הנתונים. עם זאת, אפשר להגדיר את רישום ביומן כך שינתב נתוני יומן מהמשאב שממנו הם מגיעים למיקום אחר, כמו פרויקט אחר או קטגוריה ביומן מרכזית. מידע נוסף זמין במאמרים בנושא אחסון רשומות ביומן וניתוב רשומות ביומן.

בעזרת Cloud Logging אפשר להגדיר את נתוני היומן לפי אזור:

• אפשר להשתמש במדיניות הארגון כדי להגביל את המיקומים של מאגרי יומנים חדשים, ולדרוש שמאגרי יומנים ישתמשו במפתחות הצפנה בניהול הלקוח (CMEK).

• בהגדרות ברירת המחדל של המשאבים ב-Cloud Logging בארגונים ובתיקיות, אפשר להגדיר את הפרטים הבאים:

  • המיקום של קטגוריות חדשות של יומני _Required ו-_Default.
  • מפתח KMS להצפנת נתוני היומן.
  • ההגדרה של יעד ברירת המחדל.

  הצאצאים בהיררכיית המשאבים יקבלו את ההגדרות האלה בירושה באופן אוטומטי, אלא אם יוגדרו גם הגדרות ברירת מחדל למשאבים. לדוגמה, אם מגדירים הגדרות ברירת מחדל למשאבים ב-Cloud Logging עבור ארגון, כל התיקיות והפרויקטים בהיררכיית המשאבים של הארגון יורשים אוטומטית את ההגדרות האלה. עם זאת, אם מגדירים את הגדרות ברירת המחדל של המשאבים ל-Cloud Logging עבור תיקייה בארגון הזה, נעשה שימוש בהגדרות ברמת התיקייה.

  הגדרות ברירת המחדל של המשאבים ב-Cloud Logging חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר הגדרת ברירת מחדל של הגדרות משאבים ל-Cloud Logging.

נתוני מדדים

נתוני המדדים נמצאים בפרויקט ב- Google Cloud שבו נוצרו הנתונים.

מידע על מדיניות האחסון זמין במאמר מיקום אחסון הנתונים ב-Monitoring.

נתוני מעקב

נתוני מעקב מאוחסנים במערך נתונים שמנוהל על ידי קטגוריית הנתונים של יכולת התצפית שנקראת _Trace. כדי להחזיק את מערך הנתונים, דלי _Trace צריך להתקיים. אפשר ליצור את מאגר _Trace באופן אוטומטי או ידני:

• יצירה אוטומטית: המערכת יוצרת את הדלי באופן אוטומטי בתגובה לקבלת נתוני מעקב מיישום או Google Cloud משירות. המערכת משתמשת בהגדרות ברירת המחדל הרלוונטיות לקטגוריות של נתונים שניתן לצפות בהם כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת מיקום נתמך והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

  נתוני מעקב שנוצרו על ידי פונקציות Cloud Run,‏ Cloud Run ו-App Engine לא גורמים למערכת ליצור את מאגר הנתונים של יכולת התצפית. הטווחים מהשירותים האלה מאוחסנים רק אם קיים מאגר תצפיות.

• יצירה ידנית: אפשר להשתמש ב-Observability API כדי ליצור את _Traceהמאגר לפני שפרויקט Google Cloud מקבל נתוני מעקב. חובה לציין את המיקום של הדלי. אפשר לספק מפתח של Cloud Key Management Service:

  • אם מספקים מפתח, המערכת משתמשת במפתח הזה כדי להצפין את הנתונים המאוחסנים.
  • אם לא מספקים מפתח Cloud KMS, מפתח ההצפנה נקבע לפי הגדרות ברירת המחדל שחלות על משאב האב של הקטגוריה. אם בהגדרות ברירת המחדל מצוין מפתח Cloud KMS, המפתח הזה מצפין את הנתונים המאוחסנים. אחרת, נעשה שימוש בהצפנה שמוגדרת כברירת מחדל ב-Google.

כשיוצרים את קטגוריית _Trace, המערכת יוצרת גם מערך נתונים בשם Spans לקטגוריה, ותצוגה בשם _AllSpans במערך הנתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.

למידע נוסף, קראו את המאמרים הבאים:

• מיקום אחסון הנתונים עבור קטגוריות של נתוני ניראות (observability).
• הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.
• סכימת Trace.

מודל אחסון של ניראות (observability)

מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:

קטגוריות של ניראות

‫

קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתונים לצורך ניטור נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כש Google Cloud שירות משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים של נתוני תצפית על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים. לדוגמה, בשירות Cloud Trace, המערכת נותנת שמות לקטגוריה שנוצרה על ידי המערכת _Trace, למערך הנתונים Spans ולתצוגה _AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמר Bucket.

מערכי נתונים

מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת תצפית, שמנהל את מערך הנתונים. לדוגמה, כשהמערכת יוצרת את קטגוריית _Trace, היא יוצרת גם מערך נתונים בשם Spans, שבו מאוחסנים נתוני המעקב. כדי לקבל מידע על המבנה של מערך נתונים, אפשר לעיין במאמר Dataset.

תצוגות של מערכי נתונים

כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה מפורטת אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים. השם של התצוגה תלוי בשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם _AllSpans במערך הנתונים Spans. מידע על המבנה של תצוגה מפורטת זמין במאמר View.

קישורים במערכי נתונים

כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר Link.

המערכת לא יוצרת קישורים באופן אוטומטי במערכי נתונים.

לדוגמה, נתוני העקבות נמצאים במערך הנתונים Spans בתוך קטגוריית ה-observability ‏_Trace. המערכת יוצרת תצוגה מקדימה של '_AllSpans' במערך הנתונים הזה, שכוללת את כל טווחי הזמן המאוחסנים.

מיקום אחסון הנתונים בקטגוריות של נתונים שניתן לצפות בהם

הערה: החל מ-1 ביוני 2026, בתהליך של יצירת מאגר נתונים של נתוני Observability נאכפות מדיניות ארגוניות שמגבילות את המיקומים, שמחייבות שימוש במפתחות הצפנה בניהול הלקוח (CMEK) ושמגבילות את המפתחות של Cloud Key Management Service שאפשר להשתמש בהם.

אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר גם מדיניות ארגונית וגם הגדרות ברירת מחדל עבור מאגרי נתונים של נתוני Observability.

בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של קטגוריות הנתונים של יכולת הצפייה מאפשרות לכם להגדיר את הפרטים הבאים:

• מיקום אחסון שמוגדר כברירת מחדל.
• לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.

יש שתי דרכים שונות שבהן המערכת משתמשת בהגדרות ברירת מחדל:

• כשהמערכת יוצרת באופן אוטומטי קטגוריה של נתונים שניתנים לצפייה, היא משתמשת בהגדרות ברירת המחדל כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת את המיקום והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

• כשמפעילים יצירה של מאגר נתונים של נתוני תצפית באמצעות בקשת API, מציינים את המיקום. עם זאת, המערכת משתמשת אוטומטית במפתח Cloud KMS שמוגדר בהגדרות ברירת המחדל כדי להצפין את הנתונים, אלא אם המפתח מצוין בארגומנטים של בקשת ה-API.

מכיוון שההורה של מאגר נתונים של יכולת התבוננות הוא תמיד פרויקט, כשיוצרים מאגר נתונים, המערכת מחפשת קודם הגדרות ברירת מחדל ברמת הפרויקט. אם הן לא קיימות, המערכת מחפשת את ההגדרות שמוגדרות כברירת מחדל בצאצאים של ההורה. לדוגמה, אם מגדירים הגדרות ברירת מחדל לתיקייה, ההגדרות האלה חלות על צאצאי התיקייה, למעט צאצאים שהוגדרו להם הגדרות ברירת מחדל.

אפשר גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נתונים למעקב, כדי לדרוש שימוש במפתחות CMEK או כדי להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים מדיניות ארגונית שמחייבת שימוש במפתחות CMEK, אתם צריכים להגדיר הגדרות ברירת מחדל למאגרי נתונים של נתוני Observability. אם לא תעשו את זה, הקצאת משאבים לקטגוריות של נתוני תצפית שנוצרו על ידי המערכת תיכשל.

מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.

מגבלות

אי אפשר:

• לשנות או למחוק קטגוריות של נתונים שניתנים לצפייה.
• יצירה, מחיקה או שינוי של מערכי נתונים.
• ליצור, למחוק או לשנות תצוגות.
• אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, קבוצות נתונים, תצוגות או קישורים.

המאמרים הבאים

• יצירת קטגוריות של נתונים לצורך ניתוח
• ניהול של מאגרי נתונים וערכות נתונים של יכולת התבוננות
• צפייה בטלמטריה וניתוח שלה