הגדרת מנתחי נתונים בהתאמה אישית

נתמך ב:

Google secops SIEM

במסמך הזה מוסבר איך ליצור מנתחי נתונים מותאמים אישית במקרים שבהם מנתח נתונים מוכן מראש לא זמין, או כשרוצים יותר שליטה. מנתחי נתונים מותאמים אישית מופיעים ברשימת מנתחי הנתונים לצד מנתחי נתונים מוכנים מראש.

תרחישים נפוצים לדוגמה:

• הוספת נתוני יומן לסוג יומן שאין לו מנתח מובנה מראש.

  אפשר להשתמש באחת מהשיטות הבאות:

  • יצירת מנתח בהתאמה אישית על סמך הוראות מיפוי ליומנים גולמיים
  • יצירת מנתח בהתאמה אישית על סמך מנתח קיים

• יוצרים מנתח מותאם אישית כדי לדלג על עדכונים של מנתח מוכן מראש.

מגבלות ופעולות שלא נתמכות

כשיוצרים ומנהלים מנתחי נתונים בהתאמה אישית, חשוב להביא בחשבון את הגבולות התפעוליים הבאים:

• תחביר של מנתח לעומת כללי זיהוי של YARA-L: מנתחי הטמעה ותוספים של מנתחים משתמשים ב-Logstash Grok ובתחביר של הגדרות עם מסננים (לדוגמה, grok,‏ mutate,‏ json,‏ date ו-base64) בזמן ההטמעה כדי לנתח יומנים גולמיים למודל הנתונים המאוחד (UDM). מנתחי נתונים לא יכולים להשתמש בתחביר YARA-L, בבלוקים של תוצאות או בפונקציות גנרטור (כמו yield). YARA-L 2.0 היא שפת שאילתות של מנוע זיהוי בלבד, שמוערכת במורד הזרם באירועי UDM מנורמלים לצורך התראות על איומים, והיא לא יכולה לנתח יומנים גולמיים, לשנות שדות UDM או להפסיק תנועה של יומנים נכנסים.
• מודל הטמעה של 1:1: מנתחי נתונים בהתאמה אישית של Google SecOps פועלים אך ורק על בסיס יחס של 1:1. אי אפשר להשתמש במנתחי יומנים בהתאמה אישית כדי לבטל את האגד, ליצור לולאה או לפצל רשומה אחת ביומן שמכילה כמה אירועים מוטמעים (כמו מערכי JSON או מחרוזות משורשרות) לאירועים נפרדים ב-UDM. כדי להטמיע נתונים, צריך לפצל מטען ייעודי (payload) של כמה אירועים באמצעות צינורות לאיסוף יומנים, כמו BindPlane OP,‏ OpenTelemetry Collector,‏ Fluent Bit או פונקציית Cloud Run לפני ההטמעה.
• drop {} התנהגות המסנן: המסנן drop {} במנתח מבטל רק את יצירת האירועים ב-UDM. כשמנתח (parser) משמיט יומן, Google SecOps לא יוצר רשומה ב-UDM, וכללי הזיהוי לא יכולים להעריך את האירוע. עם זאת, Google SecOps שומרת את יומן הרישום המקורי במאגר הנתונים הבלתי ניתן לשינוי לצורך תאימות ושמירה לביקורת. אפשר להמשיך לחפש ביומן הגולמי באמצעות הכלי 'חיפוש ביומן גולמי'. כדי להשליך יומנים לפני האחסון, צריך להגדיר סינון במעלה הזרם במעביר או במאסף.
• ניתוח רק של נתונים חדשים כברירת מחדל: כשמפעילים מנתח מותאם אישית, הוא חל רק על יומנים חדשים שנקלטים מהרגע שבו הוא הופעל. אם יש צורך מהותי בעסק להחיל מיפויים של מנתח מותאם אישית על יומנים היסטוריים קיימים, אפשר לבקש משימה של הפעלה מחדש של יומנים בעורף המערכת. מידע נוסף זמין במאמר בנושא ניתוח מחדש של נתונים היסטוריים (הפעלה חוזרת של יומן).

יצירת מנתח מותאם אישית על סמך הוראות מיפוי

אפשר ליצור מנתח מותאם אישית על ידי כתיבת קוד שממיר את יומן הרישום המקורי הגולמי לרשומה ב-UDM.

מקורות מידע נוספים:

• מידע נוסף על המבנה של כלי ניתוח זמין במאמר סקירה כללית על ניתוח יומנים.
• מידע נוסף על התחביר של כלי הניתוח זמין במאמר הפניה לתחביר של כלי הניתוח.

כשיוצרים מנתח, כדאי לאכלס כמה שיותר שדות חשובים של UDM.

1. עוברים אל הגדרות.

2. עוברים אל SIEM Settings (הגדרות SIEM).

3. לוחצים על Create Parser (יצירת כלי ניתוח).

4. בוחרים מקור יומן מתאים מהרשימה מקור יומן.

5. כדי ליצור מנתח חדש בהתאם לדרישות שלכם, בוחרים באפשרות Start with Raw Logs Only (התחלה עם יומנים גולמיים בלבד).

6. לוחצים על יצירה.

7. מזינים את הקוד במסוף של קוד הניתוח. מידע נוסף זמין במאמר יצירת הוראות למיפוי קטע קוד.

   הערה: חשוב לוודא שהלוגיקה של מנתח הנתונים בהתאמה אישית ממפה ומפיקה חותמות זמן תקפות ועדכניות. אם מנתח מותאם אישית ממפה חותמות זמן לתאריך מחוץ לחלון השימור הרגיל, הנתונים נקלטים בהצלחה אבל לא ניתן לחפש אותם בממשק המשתמש. תכונות החיפוש מסתמכות על חותמות זמן של אירועים לצורך סינון, ולכן נתונים שממופים לתאריך שגוי לא מוצגים למרות שההטמעה שלהם הצליחה.

8. אופציונלי: לוחצים על עריכה כדי לערוך את היומן או העותק הקיים של היומן הגולמי.

9. אופציונלי: לוחצים על טעינה כדי לטעון את יומן הרישום הגולמי העדכני.

10. לוחצים על תצוגה מקדימה כדי לראות את הפלט של UDM. אם הקוד שגוי, מוצגת הודעת שגיאה.

    בתצוגה המקדימה, אפשר להשתמש בתוסף המסנן statedump כדי לאמת את המצב הפנימי של מנתח. מידע נוסף זמין במאמר בנושא אימות נתונים באמצעות התוסף statedump.

11. לוחצים על אימות כדי לאמת את מנתח הנתונים המותאם אישית.

    תהליך האימות עשוי להימשך כמה דקות, ולכן מומלץ קודם לראות תצוגה מקדימה של מנתח הנתונים המותאם אישית, לבצע שינויים אם צריך, ואז לאמת את מנתח הנתונים המותאם אישית.

12. לוחצים על שליחה.

    המנתח מופעל לתהליך הנורמליזציה אחרי 20 דקות.

יצירת כלי ניתוח בהתאמה אישית על סמך כלי ניתוח קיים

אפשר להשתמש במנתח קיים כתבנית כדי ליצור מנתח מותאם אישית חדש. השיטה הזו תומכת רק בגישה מבוססת-קוד. כדי להתחיל, פועלים לפי השלבים הבאים:

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על Create Parser (יצירת כלי ניתוח).

3. בוחרים מקור יומן מתאים מהרשימה מקור יומן.

4. בוחרים באפשרות התחלה עם מנתח מובנה קיים כדי להשתמש במנתח קיים כבסיס ליצירת מנתח מותאם אישית חדש.

   הערה: אם למקור היומן שנבחר אין מנתח מובנה מראש, האפשרות הזו לא תוצג.

5. לוחצים על יצירה.

6. עורכים את הקוד במסוף הקוד של כלי הניתוח. מידע נוסף זמין במאמר יצירת הוראות למיפוי קטע קוד.

7. אופציונלי: לוחצים על עריכה כדי לערוך את יומן הרישום הגולמי.

8. אופציונלי: לוחצים על רענון כדי לרענן את היומן הגולמי.

9. במהלך הוספת הקוד ליצירת כלי הניתוח, לוחצים על תצוגה מקדימה כדי לראות את הפלט של UDM. אם הקוד שגוי, מוצגת הודעת שגיאה.

   בתצוגה המקדימה, אפשר להשתמש בתוסף המסנן statedump כדי לאמת את המצב הפנימי של מנתח. מידע נוסף זמין במאמר אימות נתונים באמצעות התוסף statedump.

10. לוחצים על אימות כדי לאמת את מנתח הנתונים המותאם אישית.

    תהליך האימות עשוי להימשך כמה דקות, ולכן מומלץ קודם לראות תצוגה מקדימה של מנתח הנתונים המותאם אישית, לבצע שינויים אם צריך, ואז לאמת את מנתח הנתונים המותאם אישית.

11. לוחצים על שליחה.

    המנתח מופעל לתהליך הנורמליזציה אחרי 20 דקות.

השבתה של מנתח מותאם אישית

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על תפריט לצד הכלי לניתוח שרוצים להשבית, ובוחרים באפשרות השבתה מהרשימה.

   מופיעה תיבת הדו-שיח Make parser inactive.

3. לוחצים על השבתה.

מנתח מותאם אישית מושבת, והגרסה הנוכחית של מנתח מוכן מראש מופעלת אחרי 20 דקות. מנתח הנתונים המובנה הופך עכשיו למנתח הנתונים שמוגדר כברירת מחדל.

מחיקה של מנתח מותאם אישית

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על תפריט לצד מנתח הנתונים המותאם אישית שרוצים למחוק ובוחרים באפשרות מחיקה מהרשימה. הערה: אי אפשר למחוק מנתח מובנה.

   מופיעה תיבת הדו-שיח מחיקת מנתח מותאם אישית.

3. לוחצים על Delete.

מנתח מותאם אישית נמחק והגרסה הנוכחית של מנתח מוכן מראש מופעלת אחרי 20 דקות.

יצירת תוסף

תוספי ניתוח מספקים דרך גמישה להרחבת היכולות של מנתחי נתונים מותאמים אישית קיימים. הם לא מחליפים מנתחי נתונים מותאמים אישית. במקום זאת, הם מאפשרים חילוץ חלק של שדות נוספים מיומן הגולמי המקורי לרשומה ב-UDM. תוסף מנתח שונה ממנתח מותאם אישית.

הוראות ליצירת תוסף ניתוח זמינות במאמר שימוש בתוספי ניתוח.

סטטוס האימות

בעמודה 'אימות' מוצג הסטטוס של בדיקת האימות של מנתח מותאם אישית או של תוסף מנתח.

• הניתוח נכשל: האימות של מנתח מותאם אישית נכשל
• האימות של מנתח התוכן עבר בהצלחה: האימות של מנתח מותאם אישית עבר בהצלחה
• דילוג: מנתח מותאם אישית לא אומת
• דילוג על תוסף: לא בוצעה אימות של תוסף הניתוח

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.