במאמר הזה מוסבר איך נתוני הטלמטריה שלכם מאוחסנים ב-Google Cloud Observability. הוא כולל מידע על האופן שבו Cloud Logging, Cloud Monitoring ו-Cloud Trace מאחסנים נתונים. במסמך הזה מפורטת גם סקירה כללית של מאגרי נתונים של יכולת תצפית.
נתוני יומן
נתוני היומן נמצאים בקטגוריות של יומנים, שהן המאגרים שבהם Logging משתמש כדי לאחסן את נתוני היומן. כל פרויקט, חשבון לחיוב, תיקייה וארגון מכילים מאגרי יומנים שנקראים _Required ו-_Default. Google Cloud
כברירת מחדל, נתוני היומן נמצאים בפרויקט, בחשבון לחיוב, בתיקייה או בארגון שבהם נוצרו הנתונים. Google Cloud עם זאת, אפשר להגדיר את רישום ביומן כך שינתב נתוני יומן מהמשאב שממנו הם מגיעים למיקום אחר, כמו פרויקט אחר או קטגוריה ביומן מרכזית. מידע נוסף זמין במאמרים אחסון של רשומות ביומן וניתוב של רשומות ביומן.
בעזרת Cloud Logging אפשר להגדיר את נתוני היומן כאזוריים:
- מדיניות הארגון יכולה להגביל את המיקומים של מאגרי יומנים חדשים ולדרוש שמאגרי היומנים ישתמשו במפתחות הצפנה בניהול הלקוח (CMEK).
בהגדרות ברירת המחדל של המשאבים ב-Cloud Logging בארגונים ובתיקיות, אפשר להגדיר את הפרטים הבאים:
- המיקום של קטגוריות חדשות של יומני
_Requiredו-_Default. - מפתח KMS להצפנת נתוני היומן.
- ההגדרה של יעד ברירת המחדל.
ההגדרות האלה עוברות בירושה באופן אוטומטי לצאצאים בהיררכיית המשאבים, אלא אם מוגדרות גם הגדרות ברירת מחדל למשאבים. לדוגמה, נניח שהגדרתם הגדרות ברירת מחדל של משאבים ל-Cloud Logging בארגון. לאחר מכן, כל התיקיות והפרויקטים בהיררכיית המשאבים של הארגון יקבלו בירושה את ההגדרות האלה באופן אוטומטי. עם זאת, אם מגדירים את הגדרות ברירת המחדל של המשאבים ל-Cloud Logging עבור תיקייה בארגון הזה, נעשה שימוש בהגדרות ברמת התיקייה.
הגדרות ברירת המחדל של המשאבים ב-Cloud Logging חלות רק על משאבים חדשים, ולא על משאבים קיימים. מידע נוסף זמין במאמר הגדרת ברירת מחדל של משאבים ב-Cloud Logging.
- המיקום של קטגוריות חדשות של יומני
נתוני מדדים
נתוני המדדים נמצאים בפרויקט ב- Google Cloud שבו נוצרו הנתונים.
מידע על מדיניות האחסון של נתונים שמשמשים את Monitoring זמין במאמר מיקום הנתונים ב-Monitoring.
נתוני מעקב
נתוני מעקב נמצאים בקטגוריה של נתוני ניטור שנקראת באותו Google Cloud פרויקט
שממנו הנתונים מגיעים. שם הקטגוריה הוא _Trace. בקטע הבא מתואר איך משתמשים בדלי נתונים של יכולת תצפית. למידע נוסף על פורמט האחסון של טווחים ספציפיים, אפשר לעיין בסכימת Trace.
אתם יכולים להגדיר הגדרות ברירת מחדל לדלי נתונים של יכולת צפייה כדי לקבוע איפה נתוני העקבות מאוחסנים ומי מנהל את מפתחות ההצפנה. לדוגמה, אתם יכולים להשתמש בהגדרות האלה בארגון כדי לדרוש שמאגרי מידע חדשים של נתוני Observability בארגון ישתמשו ב-CMEK. מידע נוסף זמין בקטע מיקום הנתונים בדלי אחסון של נתונים שניתנים לצפייה שבדף הזה.
מודל אחסון של ניראות (observability)
מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:
- קטגוריות של ניראות
- קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתונים לצורך ניטור נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כששירות Google Cloud משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים של נתוני תצפית על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים.
לדוגמה, בשירות Cloud Trace, המערכת נותנת שמות לקטגוריה שנוצרה על ידי המערכת
_Trace, למערך הנתוניםSpansולתצוגה_AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמרBucket. - מערכי נתונים
- מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת התבוננות, שמנהל את מערך הנתונים. לדוגמה, כשהמערכת יוצרת את קטגוריית
_Trace, היא יוצרת גם מערך נתונים בשםSpans, שבו מאוחסנים נתוני המעקב. כדי לקבל מידע על המבנה של מערך נתונים, אפשר לעיין במאמרDataset. - תצוגות של מערכי נתונים
- כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה מפורטת אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.
שם התצוגה תלוי בשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם
_AllSpansבמערך הנתוניםSpans. מידע על המבנה של תצוגה זמין במאמרView. - קישורים במערכי נתונים
כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר
Link.המערכת לא יוצרת קישורים באופן אוטומטי במערכי נתונים.
לדוגמה, נתוני העקבות נמצאים במערך נתונים בשם Spans. מערך הנתונים הזה הוא צאצא של קטגוריית ה-Observability בשם _Trace. במערך הנתונים Spans, המערכת יוצרת את התצוגה _AllSpans. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.
מיקום הנתונים בקטגוריות של נתונים שניתן לצפות בהם
אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר גם מדיניות ארגונית וגם הגדרות ברירת מחדל למאגרי נתונים של נתוני תצפית.
בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של מאגרי נתונים של יכולת תצפית מאפשרות לכם להגדיר את הפרטים הבאים:
- מיקום אחסון שמוגדר כברירת מחדל.
- לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.
כשמגדירים את ההגדרות האלה לפרויקט, הן חלות רק על קטגוריות חדשות של נתונים שנוצרו בפרויקט הזה. כשמגדירים את ההגדרות האלה לתיקייה או לארגון, הן חלות על מאגרי נתונים חדשים של נתוני Observability שנוצרים בפרויקטים שהם צאצאים של התיקייה או הארגון, למעט פרויקטים שבהם הגדרתם הגדרות ברירת מחדל.
אפשר גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נתונים למעקב, כדי לדרוש שימוש במפתחות CMEK או כדי להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים מדיניות ארגונית שמחייבת שימוש במפתחות CMEK, אתם צריכים להגדיר הגדרות ברירת מחדל למאגרי נתונים של נתוני Observability. אם לא תעשו את זה, הקצאת משאבים לקטגוריות של נתוני תצפית שנוצרו על ידי המערכת תיכשל.
מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.מגבלות
אי אפשר:
- שינוי או מחיקה של קטגוריות של נתונים שניתנים לצפייה.
- יצירה, מחיקה או שינוי של מערכי נתונים.
- ליצור, למחוק או לשנות תצוגות.
- אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, מערכי נתונים, תצוגות או קישורים.