ייצוא לפרויקט ב-BigQuery שמנוהל על ידי Google

נתמך ב:

‫Google SecOps מספק אגם נתונים מנוהל של טלמטריה מנורמלת ומועשרת במודיעין איומי סייבר, על ידי ייצוא נתונים ל-BigQuery. כך תוכלו:

  • להריץ שאילתות אד-הוק ישירות ב-BigQuery.
  • אתם יכולים להשתמש בכלים שלכם לבינה עסקית (BI), כמו Looker או Microsoft Power BI, כדי ליצור מרכזי בקרה, דוחות וניתוחים.
  • איחוד נתונים של Google SecOps עם מערכי נתונים של צד שלישי.
  • להריץ ניתוחים באמצעות כלים של מדע הנתונים או למידת מכונה.
  • הפעלת דוחות באמצעות מרכזי בקרה מוגדרים מראש ומרכזי בקרה בהתאמה אישית.

‫Google SecOps מייצא את קטגוריות הנתונים הבאות ל-BigQuery:

  • רשומות של אירועים ב-UDM: רשומות UDM שנוצרו מנתוני יומן שהוזנו על ידי לקוחות. הרישומים האלה מועשרים במידע על כינויים.
  • התאמות לכללים (זיהויים): מקרים שבהם כלל תואם לאירוע אחד או יותר.
  • התאמות של IoC: ארטיפקטים (לדוגמה, דומיינים, כתובות IP) מאירועים שתואמים לפידים של IoC (אינדיקטורים לפריצה). זה כולל התאמות מפידים גלובליים ומפידים ספציפיים ללקוחות.
  • מדדי הטמעה: כוללים נתונים סטטיסטיים, כמו מספר שורות היומן שהוטמעו, מספר האירועים שנוצרו מיומנים, מספר שגיאות היומן שמציינות שלא ניתן לנתח את היומנים והמצב של מעבירי היומנים של Google SecOps. מידע נוסף זמין במאמר סכימת BigQuery של מדדי הטמעה.
  • גרף ישויות ויחסי ישויות: מאחסן את תיאור הישויות ואת היחסים שלהן עם ישויות אחרות.

סקירה כללית של הטבלאות

‫Google SecOps יוצר את מערך הנתונים datalake ב-BigQuery ואת הטבלאות הבאות:

  • ‫entity_enum_value_to_name_mapping: עבור סוגים ממוספרים בטבלה entity_graph, ממפה את הערכים המספריים לערכי המחרוזת.
  • ‫entity_graph: מאחסן נתונים על ישויות UDM.
  • ‫events: מאחסן נתונים על אירועי UDM.
  • ‫ingestion_metrics: מאחסן נתונים סטטיסטיים שקשורים להטמעה ולנרמול של נתונים ממקורות הטמעה ספציפיים, כמו מעבירי נתונים של Google SecOps, פידים ו-Ingestion API.
  • ‫ioc_matches: מאחסן התאמות של IOC שנמצאו מול אירועים ב-UDM.
  • ‫job_metadata: טבלה פנימית שמשמשת למעקב אחרי ייצוא הנתונים ל-BigQuery.
  • ‫rule_detections: מאחסן את הזיהויים שמוחזרים מהכללים שמופעלים ב-Google SecOps. הטבלה הזו כוללת רק זיהויים מכללים שהיו פעילים (לדוגמה, הופעלו ולא נמחקו) בזמן שהופעל תהליך הייצוא. הטבלה לא תכלול זיהויים מכללים שהושבתו או נמחקו לפני שהופעל תהליך הייצוא, גם אם זמן הזיהוי חל בטווח השאילתה.
  • ‫rulesets: מאחסן מידע על זיהויים שנאספו ב-Google SecOps, כולל הקטגוריה שאליה שייכת כל קבוצת כללים, אם היא מופעלת והסטטוס הנוכחי של ההתראות.
  • ‫udm_enum_value_to_name_mapping: עבור סוגים ממוספרים בטבלת האירועים, ממפה את הערכים המספריים לערכי המחרוזות.
  • ‫udm_events_aggregates: מאחסן נתונים מצטברים שמסוכמים לפי שעה של אירועים מנורמלים. הטבלה הזו מאוכלסת כמיטב יכולתנו. יכול להיות שהנתונים של כל שעה לא יהיו זמינים באופן מיידי, ויהיו עיכובים בהצגת הנתונים.

עדכניות הנתונים ותזמון הייצוא

הנתונים בטבלאות BigQuery מתעדכנים במרווחי זמן שונים. ההסבר על ההגבלות האלה יעזור לכם להבין מתי הנתונים יהיו זמינים:

  • אירועים ב-UDM (טבלה events): בדרך כלל מתעדכנים בתדירות גבוהה, והנתונים זמינים בדרך כלל תוך שעתיים בערך מהטמעתם.
  • ייצוא כמיטב היכולת: מערכי נתונים רבים אחרים מיוצאים כמיטב היכולת. זה כולל, בין היתר:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

בטבלאות שמיוצאות כמיטב יכולתנו, העדכונים מתבצעים באופן קבוע, אבל אין חביון או תזמון מחייבים. יכולים להיות עיכובים, ובצבירות שעתיות כמו udm_events_aggregates, יכול להיות שהנתונים של כל שעה לא יהיו זמינים באופן מיידי בסוף השעה. בדרך כלל, הנתונים מתעדכנים תוך יום.

גישה לנתונים ב-BigQuery

אפשר להריץ שאילתות ישירות ב-BigQuery או לקשר ל-BigQuery כלי בינה עסקית משלכם, כמו Looker או Microsoft Power BI.

כדי להפעיל גישה למופע BigQuery, משתמשים ב-Google SecOps BigQuery Access API. אתם יכולים לספק כתובת אימייל של משתמש או של קבוצה שבבעלותכם. אם מגדירים גישה לקבוצה, משתמשים בקבוצה כדי לנהל את הגישה של חברי הצוות למופע BigQuery.

כדי לחבר את Looker או כלי אחר לבינה עסקית (BI) ל-BigQuery, צריך לפנות לנציג Google SecOps כדי לקבל פרטי כניסה לחשבון שירות שיאפשרו לכם לחבר אפליקציה למערך הנתונים של Google SecOps BigQuery. לחשבון השירות יהיו התפקידים BigQuery Data Viewer‏ (roles/bigquery.dataViewer) ו-BigQuery Job Viewer‏ (roles/bigquery.jobUser) ב-IAM.

שמירת נתונים

לקוחות Google SecOps Enterprise Plus שמשתמשים ב-BigQuery בניהול Google, חלים עליהם הגדרות השמירה הבאות:

  • לקוחות קיימים של Google SecOps Enterprise Plus (במסלול הוצאה משימוש):

    • טבלאות ioc_matches ו-rule_detections: לא מוגדרת מגבלת שמירה, בגלל נפח נמוך.
    • ‫entity_graph, ‏ udm_events_aggregates וטבלאות מחיצות אחרות, למעט הטבלה events: 180 ימים.
    • טבלה events (אירועי UDM): הנתונים נשמרים בהתאם לחוזה Google SecOps שלכם, או למשך ברירת המחדל של 366 ימים אם לא צוין אחרת בחוזה.

  • לקוחות חדשים: משך השמירה כפוף להסכם Google SecOps (בדומה לתכונה BigQuery Export Advanced).

המאמרים הבאים

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.