ייצוא לפרויקט ב-BigQuery בניהול עצמי

‫Google Security Operations מאפשר לייצא נתונים של Unified Data Model‏ (UDM) לפרויקט בניהול עצמי שאתם הבעלים שלו ומנהלים אותו. אתם יכולים לקשר את הפרויקט שלכם למופע Google SecOps ולנהל את הרשאות ה-IAM באופן עצמאי, בלי להיות תלויים בהגדרות שמנוהלות על ידי Google. Google Cloud אפשר גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery (BYOBQ) (שימוש ב-BigQuery משלכם) על ידי בחירה באפשרות SIEM Settings (הגדרות SIEM) > Data Export (ייצוא נתונים).

‫Google SecOps מייצא את קטגוריות הנתונים הבאות לפרויקט BigQuery שלכם:

  • ‫udm_events: נתוני יומן שעברו נרמול לסכימת UDM.
  • ‫udm_events_aggregates: נתונים מצטברים שמסוכמים לפי כל שעה של אירועים מנורמלים.
  • ‫entity_graph: יש שלושה מאפיינים (נתונים הקשריים, נתונים נגזרים והקשר גלובלי) לגרף הישויות. כל הנתונים ההקשריים והנתונים הנגזרים, וגם חלק מנתוני ההקשר הגלובלי, הם נתונים שנכתבים ומאוחסנים כ-UDM.
  • ‫rule_detections: זיהויים שמוחזרים על ידי כללים שמופעלים ב-Google SecOps.
  • ‫ioc_matches: התאמות של IOC שנמצאו בהשוואה לאירועים ב-UDM.
  • ‫ingestion_metrics: מדדים שקשורים לצינור ההטמעה והנורמליזציה (מיוצאים כברירת מחדל).
  • ‫udm_enum_value_to_name_mapping: ממפה ערכי enum לשמות שדות UDM (מיוצא כברירת מחדל).
  • ‫entity_enum_value_to_name_mapping: מיפוי ערכי enum לשמות שדות של ישויות (מיוצא כברירת מחדל).

תקופת שמירה

אם אתם לקוחות קיימים, תקופת השמירה שתגדירו תקבע כמה זמן הנתונים המיוצאים ל-BigQuery יישארו בפרויקט שמנוהל על ידי Google.

תקופת השמירה מתחילה בתאריך של הרשומה המוקדמת ביותר שיוצאה. אתם יכולים להגדיר תקופת שמירה נפרדת לכל מקור נתונים, עד למקסימום שתואם לתקופת השמירה של יומן ברירת המחדל ב-Google SecOps.

אם לא מצוינת תקופת שמירה, התנהגות ברירת המחדל היא להמשיך לייצא נתונים ללא ניקוי או מחיקה סופית, כדי להגביל את תקופת השמירה.

במקרה כזה, אפשר להגדיר את תקופת השמירה לללא הגבלה:

  • לוחצים על SIEM Settings (הגדרות SIEM) > Data Export (ייצוא נתונים).
  • בעמודה תקופת השמירה בטבלה ייצוא נתונים, בוחרים באפשרות ללא הגבלה מהרשימה של סוג הנתונים הרלוונטי.

אחר כך תוכלו להגדיר כלל למחזור החיים של אובייקטים ב Google Cloud קטגוריית האחסון כדי למחוק אובייקטים לפי הצורך.

העברת נתונים ללקוחות קיימים

אם אתם לקוחות קיימים, הנתונים שלכם מהפרויקט הקיים שמנוהל על ידי Google לא מועברים לפרויקט שמנוהל על ידכם. מכיוון שהנתונים לא מועברים, הם נמצאים בשני פרויקטים נפרדים. כדי להריץ שאילתות על הנתונים בטווח תאריכים שכולל את תאריך ההפעלה של הפרויקט שמנוהל על ידכם, צריך לבצע אחת מהפעולות הבאות:

  • משתמשים בשאילתה אחת שמבצעת איחוד (join) של הנתונים משני הפרויקטים.
  • מריצים שתי שאילתות נפרדות בפרויקטים המתאימים, אחת לנתונים שלפני תאריך ההפעלה של הפרויקט בניהול עצמי ואחת לנתונים שאחרי. כשתקופת השמירה של הנתונים בפרויקט שמנוהל על ידי Google מסתיימת, הנתונים נמחקים. אחרי השלב הזה, תוכלו להריץ שאילתות רק על נתונים שנמצאים בפרויקט שלכם ב- Google Cloud.

ההרשאות שנדרשות לייצוא נתונים

כדי לגשת לנתוני BigQuery, מריצים את השאילתות ב-BigQuery עצמו. מקצים את תפקידי ה-IAM הבאים לכל משתמש שצריך גישה:

הפעלת ייצוא נתונים מ-BigQuery לפרויקט בניהול עצמי

  1. יוצרים Google Cloud פרויקט שאליו רוצים לייצא את הנתונים. מידע נוסף זמין במאמר בנושא הגדרת פרויקט ל-Google SecOps. Google Cloud

  2. מקשרים את הפרויקט בניהול עצמי למופע של Google SecOps כדי ליצור חיבור בין Google SecOps לבין הפרויקט בניהול עצמי. מידע נוסף זמין במאמר בנושא קישור Google Security Operations לשירותים. אפשר גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery (BYOBQ) על ידי בחירה באפשרות SIEM Settings (הגדרות SIEM) > Data Export (ייצוא נתונים). Google Cloud

  3. כדי לוודא שהנתונים מיוצאים לפרויקט בניהול עצמי, בודקים את הטבלאות במערך הנתונים datalake ב-BigQuery.

אתם יכולים לכתוב שאילתות אד-הוק על נתוני Google SecOps שמאוחסנים בטבלאות BigQuery. אפשר גם ליצור ניתוחים מתקדמים יותר באמצעות כלים אחרים של צד שלישי שמשתלבים עם BigQuery.

כל המשאבים שנוצרו בפרויקט Google Cloud בניהול עצמי כדי להפעיל ייצוא, כולל קטגוריה של Cloud Storage וטבלאות BigQuery, נמצאים באותו אזור כמו Google SecOps.

אם מופיעה שגיאה כמו Unrecognized name: <field_name> at [<some_number>:<some_number>] כשמריצים שאילתה ב-BigQuery, המשמעות היא שהשדה שאתם מנסים לגשת אליו לא נמצא במערך הנתונים, כי הסכימה נוצרת באופן דינמי במהלך תהליך הייצוא.

למידע נוסף על נתוני Google SecOps ב-BigQuery, אפשר לעיין במאמר נתוני Google SecOps ב-BigQuery.

כדי לגשת להגדרות הייצוא ולנהל את אופן שליחת הנתונים ל-BigQuery, אפשר להשתמש בשיטות ה-API שמתוארות בנושאים הבאים:

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.