סקירה כללית על אחסון נתוני מעקב

הנתונים של Cloud Trace מאוחסנים במערך נתונים של יכולת תצפית, שמנוהל על ידי קטגוריה של יכולת תצפית. הבנת מודל האחסון עוזרת לכם לשלוט במיקום שבו מאוחסנים נתוני המעקב, לאכוף מדיניות הצפנה ולקשר טלמטריה לשירותי ניתוח שמסופקים על ידי Observability Analytics ו-BigQuery.

במאמר יצירת מערך נתונים מקושר ב-BigQuery מוסבר איך להשתמש ב-BigQuery כדי לנתח את נתוני העקבות.

מודל אחסון של ניראות (observability)

מודל האחסון של Observability API מבוסס על הארכיטקטורה הבאה:

קטגוריות של ניראות
‫
קטגוריה של נתוני Observability היא ישות ניהול של מערכי נתונים שמאחסנים נתונים. קטגוריה של נתונים לצורך ניטור נמצאת במיקום ספציפי ויש לה מדיניות לשמירת נתונים. כש Google Cloud שירות משתמש ב-Observability API כדי לאחסן את הנתונים שלו, המערכת יוצרת מאגר נתונים של נתוני תצפית על סמך שם השירות, מערך נתונים לאחסון הנתונים ותצוגה כדי לספק גישת קריאה לנתונים המאוחסנים. לדוגמה, בשירות Cloud Trace, המערכת נותנת שמות לקטגוריה שנוצרה על ידי המערכת _Trace, למערך הנתונים Spans ולתצוגה _AllSpans. מידע על המבנה של קטגוריית נתונים של יכולת תצפית זמין במאמר Bucket.
מערכי נתונים
מערך נתונים מאחסן נתונים. המערכת יוצרת באופן אוטומטי מערך נתונים אחד כשהיא יוצרת מאגר נתונים של יכולת תצפית, שמנהל את מערך הנתונים. לדוגמה, כשהמערכת יוצרת את קטגוריית _Trace, היא יוצרת גם מערך נתונים בשם Spans, שבו מאוחסנים נתוני המעקב. כדי לקבל מידע על המבנה של מערך נתונים, אפשר לעיין במאמר Dataset.
תצוגות של מערכי נתונים
כל מערך נתונים מארח תצוגה מפורטת אחת או יותר. תצוגה מפורטת מספקת גישת קריאה לקבוצת משנה של רשומות במערך הנתונים. המערכת יוצרת תצוגה מפורטת אחת כשהיא יוצרת מערך נתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים. השם של התצוגה תלוי בשירות. לדוגמה, בשביל שירות Cloud Trace, המערכת יוצרת תצוגה בשם _AllSpans במערך הנתונים Spans. מידע על המבנה של תצוגה מפורטת זמין במאמר View.
קישורים במערכי נתונים

כל מערך נתונים יכול להכיל קישור אחד לכל היותר. כשיוצרים קישור למערך נתונים, המערכת יוצרת מערך נתונים מקושר ב-BigQuery. לאחר מכן תוכלו להריץ שאילתות על הנתונים במערך הנתונים באמצעות BigQuery או שירותים אחרים שמשתמשים ב-BigQuery API. מידע על מבנה הקישור זמין במאמר Link.

המערכת לא יוצרת קישורים באופן אוטומטי במערכי נתונים.

הגדרת האחסון של נתוני מעקב

נתוני מעקב מאוחסנים במערך נתונים שמנוהל על ידי קטגוריית הנתונים של יכולת התצפית שנקראת _Trace. כדי להחזיק את מערך הנתונים, דלי _Trace צריך להתקיים. אפשר ליצור את מאגר _Trace באופן אוטומטי או ידני:

  • יצירה אוטומטית: המערכת יוצרת את הדלי באופן אוטומטי בתגובה לקבלת נתוני מעקב מיישום או מ Google Cloud שירות. המערכת משתמשת בהגדרות ברירת המחדל הרלוונטיות לקטגוריות של נתונים שניתן לצפות בהם כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת מיקום נתמך והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

    נתוני מעקב שנוצרו על ידי פונקציות Cloud Run,‏ Cloud Run ו-App Engine לא גורמים למערכת ליצור את מאגר הנתונים של יכולת התצפית. הטווחים מהשירותים האלה מאוחסנים רק אם קיים מאגר תצפיות.

  • יצירה ידנית: אפשר להשתמש ב-Observability API כדי ליצור את _Traceהמאגר לפני שפרויקט Google Cloud מקבל נתוני מעקב. חובה לציין את המיקום של הדלי. אפשר לספק מפתח של Cloud Key Management Service:

    • אם מספקים מפתח, המערכת משתמשת במפתח הזה כדי להצפין את הנתונים המאוחסנים.
    • אם לא מספקים מפתח Cloud KMS, מפתח ההצפנה נקבע לפי הגדרות ברירת המחדל שחלות על משאב האב של הקטגוריה. אם בהגדרות ברירת המחדל מצוין מפתח Cloud KMS, המפתח הזה מצפין את הנתונים המאוחסנים. אחרת, נעשה שימוש בהצפנה שמוגדרת כברירת מחדל ב-Google.

כשנוצרת קטגוריית _Trace, המערכת יוצרת גם מערך נתונים בשם Spans לקטגוריה, ותצוגה בשם _AllSpans במערך הנתונים. התצוגה הזו כוללת את כל הנתונים במערך הנתונים.

למידע נוסף, קראו את המאמרים הבאים:

אם נתוני מעקב מופיעים בדף Trace Explorer, סימן שקטגוריית הנתונים של יכולת הצפייה בשם _Trace קיימת. אם לא מוצגים נתונים או אם מוצג באנר שבו מצוין שהאחסון לא אותחל, נסו לבצע אחת מהפעולות הבאות:

מיקום אחסון הנתונים בקטגוריות של נתונים שניתן לצפות בהם

אם יש לכם דרישות תאימות או רגולטוריות לאחסון הנתונים במיקומים ספציפיים או לשימוש במפתחות הצפנה בניהול הלקוח (CMEK), מומלץ להגדיר גם מדיניות ארגונית וגם הגדרות ברירת מחדל עבור מאגרי נתונים של נתוני Observability.

בארגונים, בתיקיות ובפרויקטים, הגדרות ברירת המחדל של קטגוריות הנתונים של יכולת הצפייה מאפשרות לכם להגדיר את הפרטים הבאים:

  • מיקום אחסון שמוגדר כברירת מחדל.
  • לכל מיקום, מפתח ברירת מחדל של Cloud Key Management Service.

יש שתי דרכים שונות שבהן המערכת משתמשת בהגדרות ברירת מחדל:

  • כשהמערכת יוצרת באופן אוטומטי קטגוריה של נתונים שניתנים לצפייה, היא משתמשת בהגדרות ברירת המחדל כדי לקבוע את המיקום של הקטגוריה ואת מפתח ההצפנה שלה. אם לא הגדרתם הגדרות ברירת מחדל, המערכת בוחרת את המיקום והקטגוריה משתמשת בהצפנה שמוגדרת כברירת מחדל ב-Google.

  • כשמפעילים יצירה של מאגר נתונים של נתוני תצפית באמצעות בקשת API, מציינים את המיקום. עם זאת, המערכת משתמשת אוטומטית במפתח Cloud KMS שמוגדר בהגדרות ברירת המחדל כדי להצפין את הנתונים, אלא אם המפתח מצוין בארגומנטים של בקשת ה-API.

מכיוון שההורה של מאגר נתונים של יכולת התבוננות הוא תמיד פרויקט, כשיוצרים מאגר נתונים, המערכת מחפשת קודם הגדרות ברירת מחדל ברמת הפרויקט. אם הן לא קיימות, המערכת מחפשת את ההגדרות שמוגדרות כברירת מחדל בצאצאים של ההורה. לדוגמה, אם מגדירים הגדרות ברירת מחדל לתיקייה, ההגדרות האלה חלות על צאצאי התיקייה, למעט צאצאים שהוגדרו להם הגדרות ברירת מחדל.

אפשר גם להשתמש במדיניות הארגון כדי להגביל את המיקומים של קטגוריות חדשות של נתונים למעקב, כדי לדרוש שימוש במפתחות CMEK או כדי להגביל את המפתחות של Cloud KMS שאפשר להשתמש בהם להצפנה. אם אתם מגדירים מדיניות ארגונית שמחייבת שימוש במפתחות CMEK, אתם צריכים להגדיר הגדרות ברירת מחדל למאגרי נתונים של נתוני Observability. אם לא תעשו את זה, הקצאת משאבים לקטגוריות של נתוני תצפית שנוצרו על ידי המערכת תיכשל.

מידע נוסף זמין במאמר בנושא הגדרת ברירות מחדל לקטגוריות של נתונים שניתנים לצפייה.

מגבלות

אי אפשר:

  • לשנות או למחוק קטגוריות של נתונים שניתנים לצפייה.
  • יצירה, מחיקה או שינוי של מערכי נתונים.
  • ליצור, למחוק או לשנות תצוגות.
  • אפשר להשתמש במסוף Google Cloud כדי להציג רשימה של קטגוריות, קבוצות נתונים, תצוגות או קישורים.

המאמרים הבאים