סקירה כללית של חילוץ אוטומטי

נתמך ב:

במסמך הזה מוסבר איך המערכת מחלצת נתונים באופן אוטומטי כדי לשפר את היכולת להטמיע, לעבד ולנתח נתונים.

‫Google Security Operations משתמשת בכלי ניתוח מוכנים מראש כדי לחלץ נתוני יומנים ולבנות אותם לפי סכימת Unified Data Model (UDM). ניהול ותחזוקה של מנתחי הנתונים האלה יכולים להיות מאתגרים בגלל כמה מגבלות: חילוץ נתונים לא מלא, מספר הולך וגדל של מנתחי נתונים לניהול והדרישה לעדכונים תכופים ככל שפורמטים של יומנים מתפתחים.

כדי להתמודד עם האתגרים האלה, אפשר להשתמש בתכונת החילוץ האוטומטי. התכונה הזו מחלצת באופן אוטומטי צמדי מפתח/ערך מיומנים בפורמט JSON ופורמט XML שמוזנים ל-Google SecOps. הוא תומך גם ביומנים בפורמט Syslog שכוללים הודעת JSON. הנתונים שחולצו מאוחסנים ב-UDM, בשדה מסוג מפה שנקרא extracted. אחר כך אפשר להשתמש בנתונים האלה בשאילתות חיפוש ב-UDM, בלוחות בקרה מקוריים ובכללי YARA-L.

כדי לשפר את הביצועים של שאילתות חיפוש, מומלץ להשתמש בשדות שחולצו בחיפושים ב-UDM, כולל metadata.log_type בשילוב עם השאילתה.

היתרון של חילוץ אוטומטי הוא הפחתת ההסתמכות על מנתחי נתונים, וכך הנתונים נשארים זמינים גם כשאין מנתח נתונים או כשהניתוח של יומן נכשל.

ניתוח וחילוץ נתונים מיומן הגולמי

  1. ניתוח (Parsing): מערכת Google SecOps מנסה לנתח יומנים באמצעות כלי ניתוח (parser) שמותאם לסוג היומן, אם הוא זמין. אם אין מנתח ספציפי, או אם הניתוח נכשל, Google SecOps משתמש במנתח כללי כדי לחלץ מידע בסיסי כמו חותמת זמן של נתונים שהועברו, סוג יומן ותוויות מטא-נתונים.

  2. חילוץ נתונים: חילוץ אוטומטי לא מופעל כברירת מחדל. מביעים הסכמה ובוחרים את השדות הספציפיים (נקודות הנתונים) שרוצים לחלץ מהיומנים.

  3. העשרת אירועים: Google SecOps משלב את הנתונים המנותחים ואת כל השדות בפורמט מותאם אישית כדי ליצור אירועים מועשרים, וכך מספק יותר הקשר ופרטים.

  4. העברת נתונים במורד הזרם: האירועים המועשרים האלה נשלחים למערכות אחרות לצורך ניתוח ועיבוד נוספים.

  • אם יש מנתח: לא מתבצעת חילוץ אוטומטי כברירת מחדל. כמו שמוסבר בקטע עבודה עם כלי חילוץ, צריך להביע הסכמה מפורשת לשימוש בשדות הספציפיים הנדרשים.
  • אם אין מנתח: מתבצעת חילוץ אוטומטי של 100 השדות הראשונים.

עבודה עם כלי חילוץ

בעזרת מחלצים אפשר לחלץ שדות מכל מקורות היומן הנתמכים, והם מיועדים לאופטימיזציה של ניהול היומנים. שימוש בכלי החילוץ מאפשר לצמצם את גודל האירוע, לשפר את יעילות הניתוח ולקבל שליטה טובה יותר על חילוץ הנתונים. האפשרות הזו שימושית במיוחד לניהול סוגים חדשים של יומנים או לצמצום זמן העיבוד.

אפשר ליצור מחלצים באמצעות התפריט SIEM Settings או על ידי ביצוע חיפוש ביומן גולמי.

יצירת מחלצי נתונים

  1. עוברים לחלונית Extract Additional Fields (חילוץ שדות נוספים) באחת מהשיטות הבאות:

    • לוחצים על SIEM Settings (הגדרות SIEM) > Parsers (מנתחי נתונים) ומבצעים את הפעולות הבאות:
      1. בטבלה PARSERS שמופיעה, מזהים מנתח (מקור יומן) ולוחצים על תפריט > Extend Parser > Extract Additional Fields.
    • משתמשים בסריקת יומן גולמי ומבצעים את הפעולות הבאות:
      1. בתפריט מקורות יומנים, בוחרים את מקורות היומנים (מנתחי הנתונים) הרצויים.
      2. בתוצאות של היומן הגולמי, בוחרים מקור יומן כדי לפתוח את החלונית נתוני האירוע.
      3. בחלונית נתוני אירועים, לוחצים על ניהול כלי הניתוח > הרחבת כלי הניתוח > חילוץ שדות נוספים.
    • משתמשים בחיפוש UDM ומבצעים את הפעולות הבאות:
      1. בכרטיסייה אירועים בתוצאות החיפוש של UDM, בוחרים מקור יומן כדי להציג את החלונית מציג האירועים.
      2. בכרטיסייה Raw Log (יומן גולמי), לוחצים על Manage Parser (ניהול מנתח) > Extend Parser (הרחבת מנתח) > Extract Additional Fields (חילוץ שדות נוספים).

  2. בכרטיסייה Select Extractors (בחירת מחלצים) בחלונית Extract Additional fields (חילוץ שדות נוספים), בוחרים את השדות הנדרשים ביומן הגולמי. כברירת מחדל, אפשר לבחור עד 100 שדות. אם אין שדות נוספים שאפשר לחלץ, תוצג הודעת אזהרה.

    לוחצים על הכרטיסייה Reference Raw Log כדי לראות את נתוני היומן הגולמי ואת התצוגה המקדימה של הפלט של UDM.

  3. לוחצים על Save.

הכלי החדש לחילוץ נתונים מסומן בתווית EXTRACTOR. השדות שחולצו מוצגים בפלט של UDM כ-extracted.field{"fieldName"}.

צפייה בפרטי הכלי לחילוץ

  1. עוברים לשורה של הכלי לחילוץ בטבלה PARSERS ולוחצים על Menu (תפריט) > Extend Parser (הרחבת הכלי לניתוח) > View Extension (הצגת ההרחבה).
  2. בדף VIEW CUSTOM PARSERS (הצגת מנתחי נתונים מותאמים אישית), לוחצים על הכרטיסייה Extensions and Extracted Fields (תוספים ושדות שחולצו).

בכרטיסייה הזו מוצג מידע על תוספי ניתוח שדות ועל שדות חילוץ. בדף VIEW CUSTOM PARSERS אפשר לשנות או להסיר שדות ולראות תצוגה מקדימה של פלט מנתח התוכן.

מגבלות

  • אם הגודל של אירוע UDM בחבילה חורג מ-8.2 MB, היומנים הגולמיים וכל השדות שחולצו מושמטים.
  • אם אירוע יחיד של UDM חורג מ-500 KB, השדות שחולצו מושמטים.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.