צפייה בנפח הנתונים שחויבו על הטמעה

נתמך ב:

החיוב ב-Google Security Operations מחושב על סמך נפח נתוני היומן הגולמיים שמוטמעים בפלטפורמה. במאמר הזה מוסבר איך להשתמש במדדי הטמעה ספציפיים שתואמים למערכת החיוב, כדי לנהל את העלויות ולחזות אותן בצורה מדויקת.

העקרונות הבאים מגדירים איך נפח ההטמעה מחושב למטרות חיוב:

  • נפח ניתן לחיוב: חישובי החיוב מבוססים אך ורק על בייטים של נתוני יומן גולמיים. מטא-נתונים, תוויות פנימיות ותגי העשרה שמשויכים ליומנים לא נכללים בסכום הכולל לחיוב.

  • מקור נתונים מוסמך: מדדי הטמעת הנתונים שמופיעים במערכת החיוב הם המקור המוסמך היחיד לדיווח פיננסי. אסור להשתמש במדדים חיצוניים או בלוחות בקרה פנימיים מחוץ למודול החיוב הספציפי לצורך התאמת תקציב או ביקורת על עלויות.

הצגת נפח הטמעת הנתונים

אפשר לגשת לנתוני נפח הטמעת הנתונים למטרות חיוב בשלושה מיקומים עיקריים. כל מקור משתמש באותם נתוני מדדים בסיסיים של הטמעת נתונים כדי לשמור על עקביות הנתונים והתאמה לדוחות הכספיים.

שיטה 1: מרכז הבקרה הראשי

מרכז הבקרה הראשי מספק המחשה חזותית ברמה גבוהה של מגמות ההטמעה לאורך זמן. התצוגה הזו מאפשרת לעקוב אחרי נקודות שיא יומיות בנפח הנתונים ולזהות דפוסי הטמעה לטווח הארוך.

  1. נכנסים ל-Google SecOps.

  2. לוחצים על מרכזי בקרה ודוחות > מרכזי בקרה.

  3. משתמשים בכרטיסייה חיפוש כדי למצוא ולבחור את לוח הבקרה הראשי.

  4. כדי לעקוב אחרי קצבי הטמעת הנתונים, עוברים לווידג'ט Throughput. אתם יכולים להשתמש בבורר טווח התאריכים כדי לחשב את סך כל התפוקה במרווחי זמן ספציפיים.

שיטה 2: לוח הבקרה 'תקינות הנתונים' ו'העברת נתונים'

לוח הבקרה Data Health and Ingestion מספק תצוגה מפורטת של נתוני הטלמטריה של ההטמעה, לפי סוג היומן והמקור. לוח הבקרה הזה מאפשר לבדוק את נפחי ההטמעה ברמת כל מקור יומן, וכך לזהות את הגורמים הספציפיים לנפח הניתן לחיוב הכולל.

  1. נכנסים ל-Google SecOps.

  2. לוחצים על מרכזי בקרה ודוחות > מרכזי בקרה.

  3. משתמשים בכרטיסייה חיפוש כדי למצוא ולבחור את לוח הבקרה Data Ingestion and Health.

  4. עוברים לווידג'ט Throughput כדי לנתח את קצבי הטמעת הנתונים. אפשר להשתמש בבורר טווחי הזמן כדי לחשב את התפוקה הכוללת במרווחי זמן ספציפיים.

שיטה 3: Cloud Monitoring

השיטה של Cloud Monitoring זמינה ללקוחות שמשתמשים בהגדרה "פרויקט משלך" (BYOP). הגישה הזו מאפשרת להשתמש בכלי ניטור חיצוניים כדי לשלוח שאילתות לנתוני טלמטריה של הטמעה ישירות מהתשתית הבסיסית של הפרויקט.

  1. במסוף Google Cloud , מזינים Metrics Explorer בסרגל החיפוש. אפשר גם ללחוץ על תפריט Menu, לבחור באפשרות Monitoring > Metrics explorer.

  2. בוחרים את הפרופיל למעקב ב-Cloud Monitoring.

  3. בשורת החיפוש בדף Profile (פרופיל), מזינים Integrations (שילובים).

  4. בוחרים באפשרות Metrics explorer (כלי לבדיקת מדדים).

  5. לוחצים על promQL כדי לעבור למצב שאילתת promQL.

  6. כדי לראות את התוצאות בפורמט של טבלה: מחפשים את תוצאות ובוחרים באפשרות טבלה.

  7. כדי לראות את נפח ההטמעה (ingestion_log_byte_count): מעתיקים ומדביקים את השאילתה הבאה של מדד ההטמעה בעורך השאילתות, ואז מריצים את השאילתה:

    
        sum (increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[1h]))
    
  8. אופציונלי: מסננים סוג יומן ספציפי וכוללים אותו בשאילתה. לדוגמה, כדי לראות את ההטמעה של סוג היומן GCP_CLOUDAUDIT, מריצים את השאילתה הבאה:

        sum(increase(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector",log_type="GCP_CLOUDAUDIT"}[1h]))
    

השוואה בין חישובים של נפח ההטמעה ומגבלות הזמן

בממשק Google SecOps לא מוצג מונה מצטבר של יומנים גולמיים שהמערכת קלטה מאז שהוקצה לכם מופע. מכיוון שכל כלי דיווח משתמש בחלון מבט לאחור אחר ובפייפליין נתונים אחר, אי אפשר לחשב סכום כולל של כל הזמנים ממועד ההפעלה של המופע אחרי שהמופע חורג ממגבלת השמירה של הכלי שאתם מבצעים בו שאילתה.

בפירוט הבא מוסבר איפה אפשר לחשב את נפח ההטמעה ואיך הערכים משתנים בין המיקומים:

  • מרכזי הבקרה של Google SecOps (עד 365 ימים):

    • איפה אפשר לחשב את הנתונים: פותחים את לוחות בקרה ודוחות > לוחות בקרה, ואז מעיינים בווידג'ט Throughput בלוח הבקרה Main או Data Ingestion and Health (כולל התרשים Ingestion - Throughput (All-Time)). אפשר גם להריץ שאילתה מותאמת אישית בלוח הבקרה של sum($event.ingestion.log_volume), עם סינון לפי $event.ingestion.component = "Ingestion API".
    • טווח תאריכים מקסימלי: השאילתות מוגבלות ל-365 ימים לכל היותר, גם בתרשים הטמעת נתונים – תפוקה (מאז ומעולם) שנבחר.
    • ההבדלים בין הערכים: מרכזי הבקרה שולחים שאילתות לטבלה האסינכרונית ingestion_metrics, שאוספת נתוני טלמטריה במרווחים של כ-5 דקות. יכול להיות שיהיה עיכוב באיסוף הנתונים או ירידה זמנית במדדים. הערכים הם משוערים ומשקפים רק את היומנים שנקלטו דרך Ingestion API במהלך טווח התאריכים שנבחר, ולא את כל הבייטים של היומנים הגולמיים או את הנפח הסופי שחויב בכל שיטות הקליטה.
  • ‫Metrics Explorer של Cloud Monitoring (עד 24 חודשים למכונות BYOP):

    • איפה מחשבים: פותחים את Monitoring > Metrics explorer במסוף Google Cloud , ואז מריצים שאילתה ל-chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"} (כמו שמוצג בשיטה 3).
    • טווח תאריכים מקסימלי: השאילתות מוגבלות ל-24 חודשים לכל היותר, בהתאם לשמירת המדדים ב-Cloud Monitoring.
    • ההבדלים בין הערכים: המערכת של Cloud Monitoring אוספת את מספר הבייטים של נתוני ההטמעה ברמת האוסף בחלון הזמן שבחרתם. הערכים כוללים חלון מבט לאחור ארוך יותר מזה של לוחות הבקרה של Google SecOps (עד 24 חודשים במקום 365 ימים), אבל הם לא משקפים את הסכום הכולל מאז ומתמיד אם המכונה שלכם ישנה יותר מ-24 חודשים.
  • ייצוא ל-BigQuery (מעבר ל-365 ימים, בהתאם לשמירת מערך הנתונים):

    • איפה מבצעים את החישוב: פותחים את הפרויקט ב-BigQuery אחרי שמייצאים את הטבלה ingestion_metrics, ואז מריצים שאילתה ל-SUM(log_volume) (או ל-total_size_bytes ב-Looker וב-BigQuery) עם סינון לפי component = "Ingestion API".
    • טווח תאריכים מקסימלי: השאילתות מוגבלות לתקופת השמירה שהוגדרה לטבלה ב-BigQuery מהרגע שהפעלתם את הייצוא, ולא למגבלה של 365 ימים במרכז הבקרה.
    • ההבדלים בין הערכים: ב-BigQuery מתבצעת שאילתה לאותה טבלה אסינכרונית של ingestion_metrics כמו במרכזי הבקרה של Google SecOps. הערכים תואמים לשאילתות של לוח הבקרה לאותו טווח תאריכים, אבל הם נשארים אינדיקטורים טלמטריים משוערים ולא בייטים של יומן גולמי מכל הזמנים או סיכומי חיובים סמכותיים.

יצירת התראות על כמות הנתונים שנקלטו

יצירת התראות על נפח הטמעת הנתונים עוזרת לכם לנהל את העלויות ולהגיב לעליות חדות לא צפויות. ‫Cloud Monitoring מטפל בתהליך העבודה של ההתראות.

כדי לעקוב אחרי נפח ההטמעה היומי בהשוואה למגבלות החוזיות, השתמשו במדד Total ingested log size (chronicle.googleapis.com/ingestion/log/bytes_count).

הוראות מפורטות להגדרה זמינות במאמר הגדרת מדיניות לדוגמה למעקב אחרי נפח ההעברה היומי.

מעקב אחרי מדדי הטמעת נתונים בדיירים מנוהלים

היקפי ההרשאות של Cloud Monitoring נותנים לכם תמונת מצב מרוכזת של נפחי הטמעת הנתונים בפרויקטים המנוהלים (דיירים).

היקפי המדדים בפרויקט מאפשרים לכם לעקוב אחרי נתונים מכמה Google Cloud דיירים מנוהלים במסוף אחד. כדי להשתמש בפונקציונליות הזו, צריך להגדיר את ההגדרות הבאות:

  • הדיירים המנוהלים צריכים לספק את ההרשאות הנדרשות לפרויקט המרכזי של Cloud Monitoring.
  • החשבון הראשי צריך להיות מוגדר כפרויקט היקף.

בהגדרה הזו, התצוגה המרוכזת מאפשרת לעקוב אחרי נפח ההטמעה הכולל (log_byte_count) בכל הסביבה.

מידע נוסף מופיע במאמר סקירה כללית על היקפי מדדים. כדי להגדיר את התצוגה הזו, קראו את המאמר הגדרת היקף המדדים בפרויקט.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.