הגדרת מנתחים מותאמים אישית

נתמך ב:

Google SecOps SIEM

במסמך הזה מוסבר איך ליצור מנתחי נתונים מותאמים אישית למקרים שבהם אין מנתח נתונים מוכן מראש או כשרוצים יותר שליטה. מנתחי נתונים מותאמים אישית מופיעים ברשימת מנתחי הנתונים לצד מנתחי נתונים מוכנים מראש.

תרחישים נפוצים לדוגמה:

• הוספת נתוני יומן לסוג יומן שאין לו מנתח מובנה.

  אפשר להשתמש באחת מהשיטות הבאות:

  • יצירת מנתח בהתאמה אישית על סמך הוראות מיפוי ליומנים גולמיים.
  • יצירת מנתח בהתאמה אישית על סמך מנתח קיים

• יוצרים מנתח מותאם אישית כדי לדלג על עדכונים של מנתח מוכן מראש.

מגבלות ופעולות שלא נתמכות

כשיוצרים ומנהלים מנתחי נתונים בהתאמה אישית, חשוב להתייחס לגבולות התפעוליים הבאים:

• תחביר של מנתח לעומת כללי זיהוי של YARA-L: מנתחי הטמעה ותוספים של מנתחים משתמשים ב-Logstash Grok ובפורמט ההגדרות עם מסננים (לדוגמה, grok,‏ mutate,‏ json,‏ date ו-base64) בזמן ההטמעה כדי לנתח יומנים גולמיים למודל נתונים מאוחד (UDM). מנתחי נתונים לא יכולים להשתמש בתחביר YARA-L, בבלוקים של תוצאות או בפונקציות גנרטור (כמו yield). YARA-L 2.0 היא שפת שאילתות של מנוע זיהוי בלבד, שמוערכת במורד הזרם באירועי UDM מנורמלים לצורך התראות על איומים, והיא לא יכולה לנתח יומנים גולמיים, לשנות שדות UDM או להפסיק תנועה של יומנים נכנסים.
• מודל הטמעה של 1:1: מנתחי נתונים בהתאמה אישית של Google SecOps פועלים אך ורק על בסיס יחס של 1:1. אי אפשר להשתמש במנתחי נתונים בהתאמה אישית כדי לבטל את האגד, ליצור לולאה או לפצל רשומה אחת ביומן שמכילה כמה אירועים מוטמעים (כמו מערכי JSON או מחרוזות משורשרות) לאירועים נפרדים ב-UDM. כדי להטמיע נתונים, צריך לפצל מטען ייעודי (payload) של כמה אירועים באמצעות צינורות לאיסוף יומנים, כמו BindPlane OP,‏ OpenTelemetry Collector,‏ Fluent Bit או פונקציית Cloud Run לפני ההטמעה.
• drop {} התנהגות המסנן: המסנן drop {} במנתח מבטל רק את יצירת האירועים ב-UDM. כשמנתח (parser) משמיט יומן, Google SecOps לא יוצר רשומה ב-UDM, וכללי הזיהוי לא יכולים להעריך את האירוע. עם זאת, Google SecOps שומר את היומן המקורי הגולמי במאגר הגולמי הבלתי ניתן לשינוי לצורך תאימות ושמירה לביקורת. אפשר להמשיך לחפש ביומן הגולמי באמצעות הכלי 'חיפוש ביומן גולמי'. כדי להשליך יומנים לפני האחסון, צריך להגדיר סינון במעלה הזרם במעביר או במאסף.
• ניתוח נתונים קדימה בלבד כברירת מחדל: כשמפעילים מנתח נתונים מותאם אישית, הוא חל רק על יומנים חדשים שנקלטים מהרגע שבו הוא הופעל. אם יש צורך עסקי קריטי להחיל מיפויים של מנתח מותאם אישית על יומנים היסטוריים קיימים, אפשר לבקש משימת הפעלה מחדש של יומנים (Log Replay) בשרת העורפי. מידע נוסף זמין במאמר בנושא ניתוח מחדש של נתונים היסטוריים (הפעלה חוזרת של יומן).

יצירת מנתח בהתאמה אישית על סמך הוראות מיפוי

אתם יכולים ליצור מנתח מותאם אישית על ידי כתיבת קוד שממיר את יומן הרישום המקורי הגולמי לרשומה ב-UDM.

מקורות מידע נוספים:

• מידע נוסף על המבנה של כלי ניתוח זמין במאמר סקירה כללית על ניתוח יומנים.
• מידע נוסף על תחביר המנתח זמין במאמר בנושא הפניה לתחביר המנתח.

כשיוצרים מנתח, חשוב לאכלס כמה שיותר שדות חשובים של UDM.

1. עוברים להגדרות.

2. עוברים אל SIEM Settings (הגדרות SIEM).

3. לוחצים על Create Parser (יצירת כלי ניתוח).

4. בוחרים מקור יומן מתאים מהרשימה מקור יומן.

5. בוחרים באפשרות Start with Raw Logs Only (התחלה עם יומנים גולמיים בלבד) כדי ליצור מנתח חדש בהתאם לדרישות שלכם.

6. לוחצים על יצירה.

7. מזינים את הקוד במסוף של קוד הניתוח. מידע נוסף זמין במאמר יצירת הוראות למיפוי קטע קוד.

   הערה: חשוב לוודא שהלוגיקה של מנתח הנתונים המותאם אישית ממפה ומפיקה חותמות זמן תקפות ועדכניות. אם מנתח מותאם אישית ממפה חותמות זמן לתאריך מחוץ לחלון השימור הרגיל, הנתונים נקלטים בהצלחה אבל לא ניתן לחפש אותם בממשק המשתמש. תכונות החיפוש מסתמכות על חותמות זמן של אירועים לצורך סינון, ולכן נתונים שממופים לתאריך שגוי לא מוצגים למרות שההטמעה שלהם הצליחה.

8. אופציונלי: לוחצים על עריכה כדי לערוך את היומן או העותק הקיים של הנתונים הגולמיים.

9. אופציונלי: לוחצים על טעינה כדי לטעון את יומן הרישום הגולמי העדכני.

10. לוחצים על תצוגה מקדימה כדי לראות את הפלט של UDM. אם הקוד שגוי, מוצגת הודעת שגיאה.

    בתצוגה המקדימה, אפשר להשתמש בתוסף המסנן statedump כדי לאמת את המצב הפנימי של מנתח. מידע נוסף זמין במאמר בנושא אימות נתונים באמצעות התוסף statedump.

11. לוחצים על אימות כדי לאמת את מנתח הנתונים המותאם אישית.

    תהליך האימות עשוי להימשך כמה דקות, לכן מומלץ קודם לצפות בתצוגה מקדימה של מנתח הנתונים המותאם אישית, לבצע שינויים אם צריך ואז לאמת את מנתח הנתונים המותאם אישית.

12. לוחצים על שליחה.

    המנתח מופעל לתהליך הנורמליזציה אחרי 20 דקות.

יצירת מנתח מותאם אישית על סמך מנתח קיים

אפשר להשתמש במנתח קיים כתבנית כדי ליצור מנתח מותאם אישית חדש. השיטה הזו תומכת רק בגישה מבוססת-קוד. כדי להתחיל, פועלים לפי השלבים הבאים:

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על Create Parser (יצירת כלי ניתוח).

3. בוחרים מקור יומן מתאים מהרשימה מקור יומן.

4. בוחרים באפשרות Start with an Existing Prebuilt Parser (התחלה עם מנתח מובנה קיים) כדי להשתמש במנתח קיים כבסיס ליצירת מנתח מותאם אישית חדש.

   הערה: אם למקור היומן שנבחר אין מנתח מובנה מראש, האפשרות הזו לא תוצג.

5. לוחצים על יצירה.

6. עורכים את הקוד במסוף קוד המנתח. מידע נוסף זמין במאמר יצירת הוראות למיפוי קטע קוד.

7. אופציונלי: לוחצים על עריכה כדי לערוך את יומן הרישום הגולמי.

8. אופציונלי: לוחצים על רענון כדי לרענן את יומן הרישום הגולמי.

9. במהלך הוספת הקוד לבניית כלי הניתוח, לוחצים על תצוגה מקדימה כדי לראות את הפלט של UDM. אם הקוד שגוי, מוצגת הודעת שגיאה.

   בתצוגה המקדימה, אפשר להשתמש בתוסף המסנן statedump כדי לאמת את המצב הפנימי של מנתח. מידע נוסף זמין במאמר אימות נתונים באמצעות התוסף statedump.

10. לוחצים על אימות כדי לאמת את מנתח הנתונים המותאם אישית.

    תהליך האימות עשוי להימשך כמה דקות, לכן מומלץ קודם לראות תצוגה מקדימה של מנתח הנתונים המותאם אישית, לבצע שינויים אם צריך, ואז לאמת את מנתח הנתונים המותאם אישית.

11. לוחצים על שליחה.

    המנתח מופעל לתהליך הנורמליזציה אחרי 20 דקות.

השבתה של מנתח מותאם אישית

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על תפריט לצד הכלי לניתוח נתונים שרוצים להשבית ובוחרים באפשרות השבתה מהרשימה.

   מופיעה תיבת הדו-שיח Make parser inactive.

3. לוחצים על העברה למצב לא פעיל.

אחרי 20 דקות, המנתח המותאם אישית מושבת ומופעלת הגרסה הנוכחית של המנתח המובנה. מנתח הנתונים המובנה הופך להיות מנתח הנתונים שמוגדר כברירת מחדל.

מחיקה של מנתח מותאם אישית

1. בתפריט האפליקציה, בוחרים באפשרות הגדרות > מנתחי נתונים.

2. לוחצים על תפריט לצד מנתח הנתונים בהתאמה אישית שרוצים למחוק ובוחרים באפשרות מחיקה מהרשימה. הערה: אי אפשר למחוק מנתח מובנה.

   מופיעה תיבת הדו-שיח מחיקת מנתח מותאם אישית.

3. לוחצים על Delete.

מנתח מותאם אישית נמחק וגרסת המנתח המובנה הנוכחית מופעלת אחרי 20 דקות.

יצירת תוסף

תוספי ניתוח מספקים דרך גמישה להרחבת היכולות של מנתחי נתונים מותאמים אישית קיימים. הם לא מחליפים מנתחי נתונים בהתאמה אישית. במקום זאת, הם מאפשרים חילוץ חלק של שדות נוספים מיומן הגולמי המקורי לרשומה ב-UDM. תוסף מנתח שונה ממנתח מותאם אישית.

במאמר שימוש בתוספי ניתוח מוסבר איך ליצור תוסף ניתוח.

סטטוס האימות

בעמודה 'אימות' מוצג הסטטוס של בדיקת האימות של מנתח מותאם אישית או של תוסף מנתח.

• הניתוח נכשל: האימות של מנתח מותאם אישית נכשל
• האימות של מנתח התוכן עבר: האימות של מנתח מותאם אישית עבר בהצלחה
• דילוג: מנתח מותאם אישית לא אומת
• דילוג על תוסף: לא בוצעה אימות של תוסף הניתוח

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.