סקירה כללית של חילוץ אוטומטי

נתמך ב:

במסמך הזה מוסבר איך המערכת מחלצת נתונים באופן אוטומטי כדי לשפר את היכולת להטמיע, לעבד ולנתח נתונים.

‫Google Security Operations משתמשת בכלי ניתוח מובנים כדי לחלץ נתוני יומן ולבנות אותם לפי סכימת Unified Data Model (UDM). ניהול כלי הניתוח האלה ותחזוקתם יכולים להיות מאתגרים בגלל כמה מגבלות: חילוץ נתונים לא מלא, המספר הגדל של כלי ניתוח לניהול והדרישה לעדכונים תכופים ככל שפורמטים של יומנים מתפתחים.

כדי להתמודד עם האתגרים האלה, אפשר להשתמש בתכונת החילוץ האוטומטי. התכונה הזו מחלצת באופן אוטומטי צמדי מפתח/ערך מיומנים בפורמט JSON ופורמט XML שמוזנים ל-Google SecOps. הוא תומך גם ביומנים בפורמט Syslog שכוללים הודעת JSON. הנתונים שחולצו מאוחסנים ב-UDM, בשדה מסוג מפה שנקרא extracted. אחר כך אפשר להשתמש בנתונים האלה בשאילתות חיפוש ב-UDM, בלוחות בקרה מקוריים ובכללי YARA-L.

כדי לשפר את הביצועים של שאילתות החיפוש, מומלץ שחיפושים ב-UDM באמצעות שדות שחולצו יכללו את metadata.log_type בשילוב עם השאילתה.

היתרון של חילוץ אוטומטי הוא הפחתת ההסתמכות על מנתחי נתונים, וכך הנתונים נשארים זמינים גם כשאין מנתח נתונים או כשהניתוח של יומן נכשל.

ניתוח וחילוץ נתונים מיומן הגולמי

  1. ניתוח (Parsing): מערכת Google SecOps מנסה לנתח יומנים באמצעות כלי ניתוח שספציפי לסוג היומן, אם הוא זמין. אם אין מנתח ספציפי, או אם הניתוח נכשל, Google SecOps משתמש במנתח כללי כדי לחלץ מידע בסיסי כמו חותמת זמן של נתונים שהועברו, סוג יומן ותוויות מטא-נתונים.

  2. חילוץ נתונים: חילוץ אוטומטי לא מופעל כברירת מחדל. מביעים הסכמה ובוחרים את השדות הספציפיים (נקודות הנתונים) שרוצים לחלץ מהיומנים.

  3. העשרה של אירועים: Google SecOps משלב את הנתונים המנותחים ואת כל השדות בפורמט מותאם אישית כדי ליצור אירועים מועשרים, שמספקים יותר הקשר ופרטים.

  4. העברת נתונים במורד הזרם: האירועים המועשרים האלה נשלחים למערכות אחרות לצורך ניתוח ועיבוד נוספים.

  • אם יש מנתח: לא מתבצעת חילוץ אוטומטי כברירת מחדל. כמו שמוסבר בקטע עבודה עם כלי חילוץ, צריך להביע הסכמה מפורשת לשימוש בשדות הספציפיים הנדרשים.
  • אם אין מנתח: מתבצעת חילוץ אוטומטי של 100 השדות הראשונים.

עבודה עם כלי חילוץ

בעזרת מחלצים אפשר לחלץ שדות מכל מקורות היומן הנתמכים, והם נועדו לייעל את ניהול היומנים. באמצעות מחלצים, אפשר להקטין את גודל האירוע, לשפר את יעילות הניתוח ולקבל שליטה טובה יותר על חילוץ הנתונים. זה שימושי במיוחד לניהול סוגים חדשים של יומנים או לצמצום זמן העיבוד.

אפשר ליצור מחלצים באמצעות התפריט SIEM Settings או על ידי ביצוע חיפוש ביומן גולמי.

יצירת מחלצי נתונים

  1. עוברים לחלונית Extract Additional Fields (חילוץ שדות נוספים) באחת מהשיטות הבאות:

    • לוחצים על SIEM Settings (הגדרות SIEM) > Parsers (מנתחי נתונים) ומבצעים את הפעולות הבאות:
      1. בטבלה PARSERS שמופיעה, מזהים מנתח (מקור יומן) ולוחצים על תפריט > Extend Parser > Extract Additional Fields.
    • משתמשים בסריקת יומן גולמי ומבצעים את הפעולות הבאות:
      1. בתפריט מקורות יומנים, בוחרים את מקורות היומנים (מנתחי הנתונים) הרצויים.
      2. בתוצאות של היומן הגולמי, בוחרים מקור יומן כדי לפתוח את החלונית נתוני האירוע.
      3. בחלונית נתוני אירועים, לוחצים על ניהול כלי הניתוח > הרחבת כלי הניתוח > חילוץ שדות נוספים.
    • משתמשים בחיפוש UDM ועושים את הפעולות הבאות:
      1. בכרטיסייה אירועים בתוצאות החיפוש של UDM, בוחרים מקור יומן כדי להציג את החלונית מציג האירועים.
      2. בכרטיסייה Raw Log (יומן גולמי), לוחצים על Manage Parser (ניהול מנתח) > Extend Parser (הרחבת מנתח) > Extract Additional Fields (חילוץ שדות נוספים).

  2. בכרטיסייה Select Extractors (בחירת מחלצים) בחלונית Extract Additional fields (חילוץ שדות נוספים), בוחרים את השדות הנדרשים ביומן הגולמי. כברירת מחדל, אפשר לבחור עד 100 שדות. אם אין שדות נוספים לחילוץ, מוצגת אזהרה.

    לוחצים על הכרטיסייה Reference Raw Log כדי לראות את נתוני היומן הגולמיים ולצפות בתצוגה מקדימה של הפלט של UDM.

  3. לוחצים על Save.

התגית של כלי החילוץ החדש שנוצר היא EXTRACTOR. השדות שחולצו מוצגים בפלט של UDM בתורextracted.field{"fieldName"}.

צפייה בפרטי הכלי לחילוץ

  1. עוברים לשורה של הכלי לחילוץ בטבלה PARSERS ולוחצים על Menu (תפריט) > Extend Parser (הרחבת הכלי לניתוח) > View Extension (הצגת ההרחבה).
  2. בדף VIEW CUSTOM PARSERS (הצגת מנתחי נתונים מותאמים אישית), לוחצים על הכרטיסייה Extensions and Extracted Fields (תוספים ושדות שחולצו).

בכרטיסייה הזו מוצג מידע על תוספי ניתוח שדות ועל שדות חילוץ. אפשר לשנות או להסיר שדות ולצפות בתצוגה מקדימה של פלט הניתוח בדף VIEW CUSTOM PARSERS.

מגבלות

  • אם הגודל של אירוע UDM בחבילה חורג מ-8.2 MB, היומנים הגולמיים וכל השדות שחולצו מושמטים.
  • אם אירוע יחיד של UDM חורג מ-500 KB, השדות שחולצו מושמטים.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.