בדיקת תקינות הטמעת הנתונים

נתמך ב:

המדריך הזה מיועד למהנדסי אבטחה שרוצים לעקוב אחרי תקינות הטמעת נתונים ולפתור בעיות ב-Google Security Operations. במאמר מוסבר איך משתמשים ב-Health Hub, מגדירים התראות ב-Cloud Monitoring כדי לעקוב אחרי הסטטוס של מקורות נתונים ומנתחי נתונים, ומשתמשים בניטור מארחים שקט (SHM) כדי לזהות הפסקות אפשריות באיסוף הנתונים.

השימוש בתהליכי העבודה האלה למעקב עוזר לכם לזהות, לאבחן ולתקן בעיות בצינור עיבוד הנתונים, ולהבחין בין בעיות שמשתמש יכול לפתור (בעיות שדורשות פעולה) לבין בעיות שדורשות תמיכה (בעיות שלא דורשות פעולה). הגדרה מוצלחת מבטיחה זרימת נתונים מהימנה, וזה חיוני לפעולות ולניתוחים יעילים בתחום האבטחה.

תרחישים נפוצים לדוגמה

בקטע הזה מפורטים תרחישי שימוש נפוצים למעקב אחרי הטמעה.

בדיקת תקינות יזומה

  • המטרה: בדיקת הסטטוס והתקינות של כל מקורות הנתונים שהוגדרו.
  • ערך: זיהוי בעיות פוטנציאליות בהעברה לפני שהן משפיעות על הנראות של האבטחה.

תגובה להתראה

  • המטרה: חקירה ותיקון של בעיה במקור נתונים או בכלי לניתוח נתונים שסומנה על ידי התראה אוטומטית.
  • ערך: צמצום אובדן נתונים או עיכובים, כדי להבטיח שהנתונים יהיו זמינים לזיהוי איומים ולתגובה בזמן.

מונחים חשובים

  • מרכז הבריאות: לוח הבקרה המרכזי ב-Google SecOps שבו אפשר לעקוב אחרי הסטטוס והתקינות של כל מקורות הנתונים והמנתחים שהוגדרו.
  • ‫Cloud Monitoring: Google Cloud שירות שמשמש ליצירת מדיניות התראות שמבוססת על מדדים, כולל מדדים מ-Google SecOps.
  • מעקב אחר מארחים שאינם פעילים: שיטת מעקב שמזהה מארחים בסביבה שלכם שהפסיקו לפעול.
  • בעיה שניתן לטפל בה: בעיה בהעברה של נתונים שאפשר בדרך כלל לפתור לבד באמצעות שינויים בהגדרות (לדוגמה, עדכון פרטי הכניסה).
  • בעיה שלא ניתן לפתור: בעיה בהעברה של נתונים שנדרשת עזרה מהתמיכה של Google כדי לפתור אותה (לדוגמה, שגיאת מערכת פנימית).
  • כלי ניתוח: רכיב שמנרמל נתוני יומן גולמיים למבנה של מודל הנתונים המאוחד (UDM).

לפני שמתחילים

צריך לוודא שיש לכם את התפקידים וההרשאות הדרושים ב-IAM כדי לגשת למופע של Google SecOps, להציג את מרכז הבקרה ולהגדיר התראות ב-Cloud Monitoring.

מעקב אחרי הטמעת נתונים

בקטע הזה מתוארות שיטות שונות למעקב אחרי הטמעת הנתונים.

מעקב באמצעות Health Hub

בעזרת Health Hub אפשר לעקוב אחרי התקינות הכללית של הנתונים במבט חטוף, ולראות את סטטוס התקינות העיקרי של כל פיד, מקור נתונים וסוג יומן. כך תוכלו לזהות מקורות ומנתחים לא סדירים וכאלה שנכשלו בלי להגדיר התראות חיצוניות בהתאמה אישית.

  1. בתפריט הניווט הצדדי של Google SecOps, לוחצים על Health Hub.
  2. בודקים את הווידג'טים של המספרים הגדולים מקורות שנכשלו ומנתחי נתונים שנכשלו כדי לזהות רכיבים שדורשים טיפול מיידי.
  3. בודקים את הטבלה Health Status by Data Source (סטטוס התקינות לפי מקור נתונים). בעמודה פרטי הבעיה האחרונה מופיעים תיאורי שגיאות, כמו Config credential issue או Normalization issue.
  4. כדי לעבור ישירות לדפי ההגדרות המתאימים לתיקון, לוחצים על הקישורים עריכת מקור הנתונים או עריכת כלי הניתוח שמופיעים בטבלה.
  5. כדי לוודא שהנתונים נבלעו כמצופה, בודקים את חותמות הזמן, כמו Last Event Time (השעה האחרונה של האירוע) ו-Last Ingested (הטמעה אחרונה).
  6. אחרי שמחילים תיקון, צריך לעקוב אחרי מרכז הבקרה לתקינות של מקור הנתונים או של מנתח התוכן הספציפיים כדי לוודא שהתיקון הצליח.

הגדרת התראות אוטומטיות על העברה של נתונים

הגדרת מעקב כדי להפעיל התראות כשערכי ההטמעה מגיעים לרמות מוגדרות מראש. כך תוכלו לשלב התראות באימייל בתהליכי עבודה קיימים כדי לתקן פידים פגומים באופן יזום או לזהות מקורות יומן שקטים.

  1. במרכז הבקרה של בריאות השירותים, לוחצים על הקישור הגדרת התראות, שמוביל לממשק המעקב.
  2. יצירת מדיניות התראות:
    • Select metrics: בוחרים מדדים בקטע Chronicle Collector > Ingestion, כמו Total ingested log count או Total ingested log size.
    • כדי לצמצם את היקף ההתראה למקורות ספציפיים, מוסיפים מסננים לcollector_id או לlog_type.
  3. כדי לזהות מעבירים שקטים, בוחרים באפשרות Metric absence (היעדר מדד) כסוג התנאי. מגדירים אותו כך שיפעיל התראה אם הרישום ביומנים ייפסק למשך זמן מסוים (לדוגמה, 60 דקות).

פתרון בעיות

בקטע הזה מפורטות שיטות שונות לפתרון בעיות שקשורות להעברת נתונים.

בעיות נפוצות

  • זמן האחזור של צינור הנתונים: אם יש פער משמעותי בין השעה של האירוע האחרון לבין חותמת הזמן של הטמעת הנתונים האחרונה, יכול להיות שיש זמן אחזור. במרכז הבריאות מוצג האחוזון 95th של הדלתא הזו. ערכים גבוהים מצביעים על השהיה בצינור, בעוד שערכים רגילים עשויים להיות סימן לכך שהמקור שולח נתונים היסטוריים.
  • עליות או ירידות חדות בהעלאת נתונים: המערכת משתמשת בתקנון z-score כדי לסמן אנומליות. ירידה מסומנת אם ההבדלים היומיים והשבועיים הסטנדרטיים קטנים מ--1.645.
  • כשלים בניתוח: מופעלת התראה אם שיעור השגיאות בניתוח ביחס לכלל האירועים שהועברו גדל ב-5 נקודות אחוז או יותר בהשוואה ליום הקודם. בודקים את הגדרות המנתח באמצעות הקישור במרכז הבריאות.

מידע נוסף על דרכים לזיהוי בעיות בהעברת נתונים וניתוח שלהם זמין במאמר זיהוי בעיות בהעברת נתונים וניתוח שלהם ובדיקת הבעיות.

השהיה, מכסת השירות והמגבלות

  • רענון נתונים: המידע במרכז הבקרה Health Hub ובמרכז הבקרה Data Ingestion מתעדכן כל 15 דקות בערך.

תיקון שגיאות

רשימה מלאה של הודעות שגיאה ופתרונות מופיעה במאמר פתרון בעיות בהעלאת נתונים.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.