במאמר הזה מוסבר איך נתוני הטלמטריה שלכם מאוחסנים ב-Google Cloud Observability. הוא כולל מידע על האופן שבו Cloud Logging, Cloud Monitoring ו-Cloud Trace מאחסנים נתונים. במסמך הזה מופיעה גם סקירה כללית של מאגרי נתונים של יכולת תצפית.
נתוני יומן
נתוני היומן נמצאים בקטגוריות של יומנים, שהן המאגרים שבהם Logging משתמש כדי לאחסן את נתוני היומן. כל Google Cloud פרויקט, חשבון לחיוב, תיקייה וארגון מכילים מאגרי יומנים בשמות _Required ו-_Default.
כברירת מחדל, נתוני היומן נמצאים בפרויקט, בחשבון לחיוב, בתיקייה או בארגון שבהם נוצרו הנתונים. Google Cloud עם זאת, אפשר להגדיר את Logging כך שינתב נתוני יומנים מהמשאב שממנו הם מגיעים למיקום אחר, כמו פרויקט אחר או קטגוריה ביומן מרכזית. מידע נוסף זמין במאמרים בנושא אחסון רשומות ביומן וניתוב רשומות ביומן.
בעזרת Cloud Logging אפשר להגדיר את נתוני היומן לפי אזור:
- מדיניות הארגון יכולה להגביל את המיקומים של מאגרי יומנים חדשים ולדרוש שמאגרי יומנים ישתמשו במפתחות הצפנה בניהול הלקוח (CMEK).
בהגדרות ברירת המחדל של המשאבים ב-Cloud Logging בארגונים ובתיקיות, אפשר להגדיר את הפרטים הבאים:
- המיקום של קטגוריות חדשות של יומני
_Requiredו-_Default. - מפתח ה-KMS להצפנת נתוני היומן.
- ההגדרה של יעד ברירת המחדל.
ההגדרות האלה עוברות בירושה באופן אוטומטי לצאצאים בהיררכיית המשאבים, אלא אם מוגדרות גם הגדרות ברירת מחדל למשאבים. לדוגמה, נניח שהגדרתם הגדרות ברירת מחדל של משאבים ל-Cloud Logging בארגון. אחר כך, כל התיקיות והפרויקטים בהיררכיית המשאבים של הארגון יקבלו את ההגדרות האלה בירושה באופן אוטומטי. עם זאת, אם מגדירים את הגדרות ברירת המחדל של המשאבים ל-Cloud Logging עבור תיקייה בארגון הזה, נעשה שימוש בהגדרות ברמת התיקייה.
הגדרות ברירת המחדל של המשאבים ב-Cloud Logging חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר הגדרת הגדרות ברירת מחדל למשאבים ב-Cloud Logging.
- המיקום של קטגוריות חדשות של יומני
נתוני מדדים
נתוני המדדים נמצאים בפרויקט ב- Google Cloud שבו נוצרו הנתונים.
מידע על מדיניות האחסון של נתונים שמשמשים את Monitoring זמין במאמר מיקום הנתונים ב-Monitoring.
נתוני מעקב
נתוני מעקב נמצאים בקטגוריה של נתוני תצפית שנקראת באותו Google Cloud פרויקט
שממנו הנתונים מגיעים. שם הקטגוריה הוא _Trace. בקטע הבא מתואר איך משתמשים בדלי נתונים של יכולת תצפית. למידע על פורמט האחסון של טווחים ספציפיים, אפשר לעיין בסכימת Trace.
אתם יכולים להגדיר הגדרות ברירת מחדל לדלי נתונים של יכולת תצפית כדי לקבוע איפה יאוחסנו נתוני המעקב ומי ינהל את מפתחות ההצפנה. לדוגמה, אתם יכולים להשתמש בהגדרות האלה בארגון כדי לדרוש שמאגרי מידע חדשים של נתוני Observability בארגון ישתמשו ב-CMEK. מידע נוסף זמין בקטע מיקום הנתונים בדלי אחסון של נתונים שניתנים לצפייה שבדף הזה.
מודל אחסון של ניראות
מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:
- קטגוריות של ניראות
- קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתוני Observability נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כששירות Google Cloud משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים של נתוני תצפית על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים.
לדוגמה, בשירות Cloud Trace, המערכת נותנת שמות לקטגוריה שנוצרה על ידי המערכת
_Trace, למערך הנתוניםSpansולתצוגה_AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמרBucket. - מערכי נתונים
- מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת תצפית, שמנהל את מערך הנתונים. לדוגמה, כשמערכת יוצרת את קטגוריית
_Trace, היא יוצרת גם מערך נתונים בשםSpans, שבו מאוחסנים נתוני המעקב. כדי לקבל מידע על המבנה של מערך נתונים, אפשר לעיין במאמרDataset. - תצוגות של מערכי נתונים
- כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.
שם התצוגה משתנה בהתאם לשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם
_AllSpansבמערך הנתוניםSpans. מידע על המבנה של תצוגה זמין במאמרView. - קישורים במערכי נתונים
כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר
Link.המערכת לא יוצרת קישורים באופן אוטומטי במערכי נתונים.
לדוגמה, נתוני העקבות נמצאים במערך נתונים בשם Spans. מערך הנתונים הזה הוא צאצא של קטגוריית הנתונים למעקב אחר פעילות בשם _Trace. במערך הנתונים Spans, המערכת יוצרת את התצוגה _AllSpans. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.
המיקום של נתונים בדליים של נתונים שניתנים לצפייה
אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש ב-CMEK, מומלץ להגדיר הגדרות ברירת מחדל לדלי נתונים של יכולת צפייה:
בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של מאגרי נתונים של יכולת התבוננות מאפשרות לכם להגדיר את הפרטים הבאים:
- מיקום אחסון שמוגדר כברירת מחדל.
- לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.
הצאצאים בהיררכיית המשאבים משתמשים בהגדרות האלה באופן אוטומטי, למעט צאצאים שהגדרתם להם הגדרות ברירת מחדל.
הגדרות ברירת המחדל של דליים של נתונים שניתן לצפות בהם חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.
הגדרות ברירת המחדל של מאגרי נתונים של נתונים שניתנים לצפייה לא חלות על מאגרי נתונים של יומנים, שבהם מאוחסנים נתוני יומנים. במאמר הגדרת הגדרות ברירת מחדל של משאבים ל-Cloud Logging מוסבר איך להגדיר את מיקום ברירת המחדל או לדרוש CMEK לקטגוריות של יומנים.
מגבלות
אי אפשר:
- לשנות או למחוק קטגוריות של נתונים שניתנים לצפייה.
- יצירה, מחיקה או שינוי של מערכי נתונים.
- יצירה, מחיקה או שינוי של תצוגות.
- אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, קבוצות נתונים, תצוגות או קישורים.