ייצוא לפרויקט בניהול עצמי ב-BigQuery

נתמך ב:

‫Google Security Operations מאפשר לייצא נתונים של Unified Data Model‏ (UDM) לפרויקט בניהול עצמי שנמצא בבעלותכם ובניהולכם. אתם יכולים לקשר את הפרויקט Google Cloud שלכם למופע Google SecOps ולנהל באופן עצמאי את הרשאות ה-IAM בלי להיות תלויים בהגדרות שמנוהלות על ידי Google. אתם יכולים גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery ‏ (BYOBQ) דרך הגדרות SIEM > ייצוא נתונים.

ב-Google SecOps אפשר לייצא את קטגוריות הנתונים הבאות לפרויקט ב-BigQuery:

  • ‫udm_events: נתוני יומן שעברו נרמול לסכימת UDM.
  • ‫udm_events_aggregates: נתונים מצטברים שמסוכמים לפי כל שעה של אירועים מנורמלים.
  • entity_graph: יש שלושה מאפיינים (נתונים הקשריים, נתונים נגזרים והקשר גלובלי) לתרשים הישות. כל הנתונים לפי הקשר והנתונים הנגזרים, וגם חלק מהנתונים לפי הקשר גלובלי, הם נתונים שנכתבים ונשמרים כ-UDM.
  • ‫rule_detections: זיהויים שמוחזרים על ידי כללים שמופעלים ב-Google SecOps.
  • ‫ioc_matches: התאמות של IOC שנמצאו באירועי UDM.
  • ‫ingestion_metrics: מדדים שקשורים לפייפליין של ההטמעה והנורמליזציה (מיוצאים כברירת מחדל).
  • ‫udm_enum_value_to_name_mapping: מיפוי של ערכי enum לשמות של שדות UDM (מיוצאים כברירת מחדל).
  • ‫entity_enum_value_to_name_mapping: מיפוי של ערכי enum לשמות של שדות ישות (מיוצא כברירת מחדל).

תקופת שמירה

אם אתם לקוחות קיימים, תקופת השמירה שתגדירו תקבע כמה זמן יישארו הנתונים המיוצאים ל-BigQuery בפרויקט שמנוהל על ידי Google.

תקופת השמירה מתחילה בתאריך של הרשומה המוקדמת ביותר שיוצאה. אתם יכולים להגדיר תקופת שמירה נפרדת לכל מקור נתונים, עד למקסימום שתואם לתקופת ברירת המחדל לשמירת יומנים ב-Google SecOps.

אם לא מציינים תקופת שמירה, פעולת ברירת המחדל היא להמשיך לייצא נתונים בלי לנקות או למחוק אותם באופן סופי, כדי להגביל את תקופת השמירה.

במקרה כזה, אפשר להגדיר את תקופת השמירה לללא הגבלה:

  • לוחצים על SIEM Settings (הגדרות SIEM) > Data Export (ייצוא נתונים).
  • בעמודה Retention Period בטבלה Data Export, בוחרים באפשרות Unlimited מהרשימה של סוג הנתונים הרלוונטי.

אחר כך תוכלו להגדיר כלל למחזור החיים של אובייקטים ב Google Cloud קטגוריית האחסון כדי למחוק אובייקטים לפי הצורך.

העברת נתונים ללקוחות קיימים

אם אתם לקוחות קיימים, הנתונים שלכם מהפרויקט הקיים בניהול Google לא יועברו לפרויקט בניהול עצמי. הנתונים לא מועברים, ולכן הם נמצאים בשני פרויקטים נפרדים. כדי לשלוח שאילתה על הנתונים בטווח זמן שכולל את תאריך ההפעלה של הפרויקט בניהול עצמי, צריך לבצע אחת מהפעולות הבאות:

  • משתמשים בשאילתה אחת שמבצעת איחוד של הנתונים משני הפרויקטים.
  • מריצים שתי שאילתות נפרדות בפרויקטים המתאימים, אחת לנתונים שלפני תאריך ההפעלה של הפרויקט בניהול עצמי ואחת לנתונים שאחריו. כשתקופת השמירה של הנתונים בפרויקט שמנוהל על ידי Google מסתיימת, הנתונים נמחקים. אחרי השלב הזה, תוכלו להריץ שאילתות רק על נתונים שנמצאים ב Google Cloudפרויקט.

ההרשאות שנדרשות כדי לייצא נתונים

כדי לגשת לנתונים ב-BigQuery, צריך להריץ את השאילתות ב-BigQuery עצמו. מקצים את תפקידי ה-IAM הבאים לכל משתמש שצריך גישה:

הפעלת ייצוא נתונים מ-BigQuery לפרויקט בניהול עצמי

  1. יוצרים Google Cloud פרויקט שאליו רוצים לייצא את הנתונים. מידע נוסף זמין במאמר הגדרת פרויקט ב- Google Cloud ל-Google SecOps.

  2. כדי ליצור חיבור בין Google SecOps לפרויקט בניהול עצמי, צריך לקשר את הפרויקט למכונה של Google SecOps. מידע נוסף זמין במאמר קישור של Google Security Operations לשירותי Google Cloud . אתם יכולים גם להפעיל ולהגדיר את התכונה Bring Your Own BigQuery ‏ (BYOBQ) דרך הגדרות SIEM > ייצוא נתונים.

  3. כדי לוודא שהנתונים מיוצאים לפרויקט בניהול עצמי, בודקים את הטבלאות במערך הנתונים datalake ב-BigQuery.

אתם יכולים לכתוב שאילתות אד-הוק על נתוני Google SecOps שמאוחסנים בטבלאות BigQuery. אפשר גם ליצור ניתוחים מתקדמים יותר באמצעות כלים אחרים של צד שלישי שמשתלבים עם BigQuery.

כל המשאבים שנוצרו בפרויקט בניהול עצמי ב- Google Cloud כדי לאפשר ייצוא, כולל קטגוריה של Cloud Storage וטבלאות ב-BigQuery, נמצאים באותו אזור כמו Google SecOps.

אם מופיעה שגיאה כמו Unrecognized name: <field_name> at [<some_number>:<some_number>] כשמריצים שאילתה ב-BigQuery, המשמעות היא שהשדה שאתם מנסים לגשת אליו לא נמצא במערך הנתונים, כי הסכימה נוצרת באופן דינמי במהלך תהליך הייצוא.

למידע נוסף על נתוני Google SecOps ב-BigQuery, אפשר לעיין במאמר נתוני Google SecOps ב-BigQuery.

כדי לגשת להגדרות הייצוא ולנהל את אופן שליחת הנתונים ל-BigQuery, אתם יכולים להשתמש בשיטות ה-API שמתוארות בנושאים הבאים:

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.