סקירה כללית על אחסון ב-Google Cloud Observability

‫Google Cloud Observability מאחסן ומארגן נתוני טלמטריה מ-Cloud Logging, מ-Cloud Monitoring ומ-Cloud Trace במאגרי אחסון מובנים. הבנת מודל האחסון עוזרת להגדיר את מיקום אחסון הנתונים, לאכוף מדיניות הצפנה ולחבר טלמטריה לשירותי ניתוח נתונים כמו BigQuery.

נתוני יומן

נתוני היומן נמצאים בקטגוריות של יומנים, שהן הקונטיינרים שבהם Logging משתמש כדי לאחסן את נתוני היומן. כשהמערכת יוצרת פרויקט, חשבון לחיוב, תיקייה או ארגוןGoogle Cloud ,‏ Cloud Logging יוצרת במשאב מאגרי יומנים בשמות _Required ו-_Default:

כברירת מחדל, נתוני היומן נמצאים בפרויקט, בחשבון לחיוב, בתיקייה Google Cloud או בארגון שבהם נוצרו הנתונים. עם זאת, אפשר להגדיר את רישום ביומן כך שינתב נתוני יומן מהמשאב שממנו הם מגיעים למיקום אחר, כמו פרויקט אחר או קטגוריה ביומן מרכזית. מידע נוסף זמין במאמרים בנושא אחסון רשומות ביומן וניתוב רשומות ביומן.

בעזרת Cloud Logging אפשר להגדיר את נתוני היומן לפי אזור:

  • מדיניות הארגון יכולה להגביל את המיקומים של מאגרי יומנים חדשים ולדרוש שימוש ב-CMEK במאגרי יומנים.

  • בהגדרות ברירת המחדל של המשאבים ב-Cloud Logging לארגונים ולתיקיות, אפשר להגדיר את הפעולות הבאות:

    • המיקום של קטגוריות חדשות של יומני _Required ו-_Default
    • המפתח של Cloud Key Management Service להצפנת נתוני היומן
    • ההגדרה של יעד ברירת המחדל

    ההגדרות האלה עוברות בירושה באופן אוטומטי לצאצאים בהיררכיית המשאבים, אלא אם מוגדרות גם הגדרות ברירת מחדל למשאבים. לדוגמה, אם מגדירים הגדרות ברירת מחדל למשאבים ב-Cloud Logging עבור ארגון, כל התיקיות והפרויקטים בהיררכיית המשאבים של הארגון יורשים אוטומטית את ההגדרות האלה. עם זאת, אם מגדירים את הגדרות ברירת המחדל של המשאבים ל-Cloud Logging עבור תיקייה באותו ארגון, נעשה שימוש בהגדרות ברמת התיקייה.

    הגדרות ברירת המחדל של המשאבים ב-Cloud Logging חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר הגדרת הגדרות ברירת מחדל למשאבים ב-Cloud Logging.

נתוני מדדים

נתוני המדדים נמצאים בפרויקט ב- Google Cloud שבו נוצרו הנתונים.

מידע על מדיניות האחסון זמין במאמר מיקום אחסון הנתונים ב-Monitoring.

נתוני מעקב

נתוני מעקב מאוחסנים במערך נתונים שמנוהל על ידי קטגוריית הנתונים של יכולת התצפית שנקראת _Trace. כדי להחזיק את מערך הנתונים, צריך ליצור קטגוריית _Trace. אפשר ליצור את מאגר _Trace באופן אוטומטי או ידני:

  • יצירה אוטומטית: המערכת יוצרת את הדלי באופן אוטומטי בתגובה לקבלת נתוני מעקב מיישום או משירות Google Cloud . המערכת משתמשת בהגדרות ברירת המחדל הרלוונטיות לקטגוריות של נתונים שניתן לצפות בהם כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת מיקום נתמך והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

    נתוני מעקב שנוצרו על ידי פונקציות Cloud Run,‏ Cloud Run ו-App Engine לא גורמים למערכת ליצור את קטגוריית הניראות (observability). נתוני Span מהשירותים האלה מאוחסנים רק אם קיים מאגר נתונים של יכולת התבוננות.

  • יצירה ידנית: אפשר להשתמש ב-Observability API כדי ליצור את דלי _Trace לפני שפרויקט Google Cloud מקבל נתוני מעקב. חובה לציין את המיקום של הקטגוריה. אפשר לספק מפתח של Cloud Key Management Service:

    • אם מספקים מפתח, המערכת משתמשת במפתח הזה כדי להצפין את הנתונים המאוחסנים.
    • אם לא מספקים מפתח Cloud KMS, מפתח ההצפנה נקבע לפי הגדרות ברירת המחדל שחלות על משאב האב של הקטגוריה. אם בהגדרות ברירת המחדל מצוין מפתח Cloud KMS, המפתח הזה מצפין את הנתונים המאוחסנים. אחרת, נעשה שימוש בהצפנה שמוגדרת כברירת מחדל ב-Google.

כשנוצרת קטגוריית _Trace, המערכת יוצרת גם מערך נתונים בשם Spans לקטגוריה, ותצוגה בשם _AllSpans במערך הנתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.

למידע נוסף, קראו את המאמרים הבאים:

מודל אחסון של ניראות (observability)

מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:

קטגוריות של ניראות
‫
קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתוני יכולת תצפית נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כששירות Google Cloud משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים מסוג observability על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים. לדוגמה, בשביל שירות Cloud Trace, המערכת נותנת שם לקטגוריה שנוצרה על ידי המערכת _Trace, למערך הנתונים Spans ולתצוגה _AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמר Bucket.
מערכי נתונים
מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת צפייה, שמנהל את מערך הנתונים. לדוגמה, כשהמערכת יוצרת את קטגוריית _Trace, היא יוצרת גם מערך נתונים בשם Spans, שבו מאוחסנים נתוני המעקב. מידע על המבנה של מערך נתונים זמין במאמר Dataset.
תצוגות במערכי נתונים
כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים. השם של התצוגה תלוי בשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם _AllSpans במערך הנתונים Spans. מידע על המבנה של תצוגה מפורטת זמין במאמר בנושא View.
קישורים לקבוצות נתונים

כל קבוצת נתונים יכולה להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר Link.

המערכת לא יוצרת קישורים לקבוצות נתונים באופן אוטומטי.

לדוגמה, נתוני המעקב שלכם נמצאים במערך נתונים Spans בתוך קטגוריית ה-observability _Trace. המערכת יוצרת תצוגה _AllSpans של מערך הנתונים הזה שכוללת את כל טווחי התאריכים שמאוחסנים.

מיקום אחסון הנתונים בקטגוריות של נתונים שניתן לצפייה

אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר מדיניות ארגונית והגדרות ברירת מחדל למאגרי נתונים של נתוני תצפית.

בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של קטגוריות הנתונים של יכולת הצפייה מאפשרות לכם להגדיר את הפרטים הבאים:

  • מיקום אחסון שמוגדר כברירת מחדל.
  • לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.

יש שתי דרכים שונות שבהן המערכת משתמשת בהגדרות ברירת מחדל:

  • כשהמערכת יוצרת באופן אוטומטי קטגוריה של נתונים שניתנים לצפייה, היא משתמשת בהגדרות ברירת המחדל כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת את המיקום והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

  • כשמפעילים יצירה של מאגר נתונים של יכולת תצפית באמצעות שליחת בקשת API, צריך לציין את המיקום. עם זאת, המערכת משתמשת אוטומטית במפתח Cloud KMS שמוגדר בהגדרות ברירת המחדל כדי להצפין את הנתונים, אלא אם המפתח מצוין בארגומנטים של בקשת ה-API.

מכיוון שההורה של מאגר נתונים של יכולת התבוננות הוא תמיד פרויקט, כשיוצרים מאגר נתונים, המערכת מחפשת קודם הגדרות ברירת מחדל ברמת הפרויקט. אם הן לא קיימות, המערכת מחפשת את ההגדרות שמוגדרות כברירת מחדל בצאצאים של ההורה. לדוגמה, אם מגדירים הגדרות ברירת מחדל לתיקייה, ההגדרות האלה חלות על צאצאי התיקייה, למעט צאצאים שהוגדרו להם הגדרות ברירת מחדל.

אפשר גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נתונים למעקב, כדי לדרוש שימוש ב-CMEK או כדי להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים מדיניות ארגון שמחייבת שימוש במפתחות CMEK, אתם צריכים להגדיר הגדרות ברירת מחדל למאגרי נתונים של נתוני Observability. אם לא, הקצאת משאבים לקטגוריות של נתוני תצפית שנוצרו על ידי המערכת תיכשל.

מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.

מגבלות

אי אפשר:

  • לשנות או למחוק קטגוריות של נתונים שניתנים לצפייה.
  • ליצור, למחוק או לשנות מערכי נתונים.
  • ליצור, למחוק או לשנות תצוגות.
  • אפשר להשתמש ב Google Cloud מסוף כדי להציג רשימה של מאגרי מידע, קבוצות נתונים, תצוגות או קישורים.

המאמרים הבאים