ייצוא לפרויקט ב-BigQuery שמנוהל על ידי Google

נתמך ב:

‫Google SecOps מספק אגם נתונים מנוהל של טלמטריה מנורמלת ומועשרת במודיעין איומי סייבר, על ידי ייצוא נתונים ל-BigQuery. כך תוכלו:

  • הפעלת שאילתות אד-הוק ישירות ב-BigQuery.
  • אתם יכולים להשתמש בכלים שלכם לבינה עסקית (BI), כמו Looker או Microsoft Power BI, כדי ליצור לוחות בקרה, דוחות וניתוחים.
  • איחוד נתונים של Google SecOps עם מערכי נתונים של צד שלישי.
  • להריץ ניתוחים באמצעות כלים של מדע הנתונים או למידת מכונה.
  • הפעלת דוחות באמצעות מרכזי בקרה מוגדרים מראש ומרכזי בקרה בהתאמה אישית.

‫Google SecOps מייצא את קטגוריות הנתונים הבאות ל-BigQuery:

  • רשומות של אירועי UDM: רשומות של UDM שנוצרו מנתוני יומן שהלקוחות העבירו. הרשומות האלה מועשרות במידע על כינויים.
  • התאמות לכללים (זיהויים): מקרים שבהם כלל תואם לאירוע אחד או יותר.
  • התאמות של IoC: ארטיפקטים (למשל דומיינים, כתובות IP) מאירועים שתואמים לפידים של אינדיקטורים לפריצה (IoC). ההתאמות האלה כוללות התאמות מפידים גלובליים ומפידים ספציפיים ללקוחות.
  • מדדי הטמעה: כוללים נתונים סטטיסטיים, כמו מספר שורות היומן שהוטמעו, מספר האירועים שנוצרו מיומנים, מספר שגיאות היומן שמציינות שלא ניתן לנתח את היומנים והמצב של מעבירי היומנים של Google SecOps. מידע נוסף זמין במאמר סכימת BigQuery של מדדי הטמעה.
  • גרף ישויות ויחסי ישויות: מאחסן את התיאור של ישויות ואת הקשרים שלהן עם ישויות אחרות.

סקירה כללית של הטבלאות

‫Google SecOps יוצר את מערך הנתונים datalake ב-BigQuery ואת הטבלאות הבאות:

  • ‫entity_enum_value_to_name_mapping: עבור סוגים ממוספרים בטבלה entity_graph, ממפה את הערכים המספריים לערכי המחרוזות.
  • ‫entity_graph: מאחסן נתונים על ישויות UDM.
  • ‫events: מאחסן נתונים על אירועי UDM.
  • ‫ingestion_metrics: מאחסן נתונים סטטיסטיים שקשורים להטמעה ולנרמול של נתונים ממקורות הטמעה ספציפיים, כמו מעבירי נתונים של Google SecOps, פידים ו-Ingestion API.
  • ‫ioc_matches: חנויות שבהן נמצאו התאמות של IOC לאירועים ב-UDM.
  • ‫job_metadata: טבלה פנימית שמשמשת למעקב אחרי ייצוא הנתונים ל-BigQuery.
  • ‫rule_detections: מאחסן את הזיהויים שמוחזרים מהרצת כללים ב-Google SecOps. הטבלה הזו כוללת רק זיהויים מכללים שהיו פעילים (לדוגמה, הופעלו ולא נמחקו) בזמן שהופעל תהליך הייצוא. הטבלה לא תכלול זיהויים מכללים שהושבתו או נמחקו לפני הפעלת עבודת הייצוא, גם אם זמן הזיהוי חל בטווח השאילתה.
  • ‫rulesets: מאחסן מידע על זיהויים שנאספו ב-Google SecOps, כולל הקטגוריה שאליה שייך כל כלל, אם הוא מופעל והסטטוס הנוכחי של ההתראות.
  • ‫udm_enum_value_to_name_mapping: עבור סוגים ממוספרים בטבלת האירועים, ממפה את הערכים המספריים לערכי המחרוזת.
  • ‫udm_events_aggregates: מאחסנת נתונים מצטברים שמסוכמים לפי שעה של אירועים מנורמלים. הטבלה הזו מתעדכנת על בסיס המאמץ הטוב ביותר. יכול להיות שהנתונים של כל שעה לא יהיו זמינים באופן מיידי, וייתכנו עיכובים באכלוס הנתונים.

עדכניות הנתונים ולוח הזמנים של הייצוא

הנתונים בטבלאות BigQuery מתעדכנים במרווחי זמן שונים. ההבנה של ההגבלות האלה יכולה לעזור לכם להבין מה צפוי מבחינת זמינות הנתונים:

  • אירועים ב-UDM (טבלה events): בדרך כלל מתעדכנים בתדירות גבוהה, והנתונים זמינים בדרך כלל תוך שעתיים בערך מההטמעה.
  • ייצוא כמיטב היכולת: מערכי נתונים רבים אחרים מיוצאים על בסיס כמיטב היכולת. זה כולל, בין היתר:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

בטבלאות שמיוצאות על בסיס מאמץ מרבי, העדכונים מתבצעים באופן קבוע, אבל אין התחייבות לגבי זמן האחזור או התזמון. יכולים להיות עיכובים, ובצבירות שעתיות כמו udm_events_aggregates, יכול להיות שהנתונים של כל שעה לא יהיו זמינים מיד בסוף השעה. בדרך כלל הנתונים מתעדכנים תוך יום.

גישה לנתונים ב-BigQuery

אפשר להריץ שאילתות ישירות ב-BigQuery או לקשר ל-BigQuery כלי בינה עסקית משלכם, כמו Looker או Microsoft Power BI.

כדי להפעיל גישה למופע BigQuery, משתמשים ב-Google SecOps BigQuery Access API. אפשר לספק כתובת אימייל של משתמש או של קבוצה שבבעלותכם. אם מגדירים גישה לקבוצה, אפשר להשתמש בקבוצה כדי לנהל את הגישה של חברי הצוות למופע BigQuery.

כדי לחבר את Looker או כלי אחר לבינה עסקית ל-BigQuery, צריך לפנות לנציג Google SecOps כדי לקבל פרטי כניסה לחשבון שירות שיאפשרו לכם לחבר אפליקציה למערך הנתונים של Google SecOps BigQuery. לחשבון השירות יהיו התפקידים BigQuery Data Viewer (צפייה בנתוני BigQuery) (roles/bigquery.dataViewer) ו-BigQuery Job Viewer (צפייה במשימות BigQuery) (roles/bigquery.jobUser) ב-IAM.

שמירת נתונים

לקוחות Google SecOps Enterprise Plus שמשתמשים ב-BigQuery בניהול Google, חלים הגדרות השמירה הבאות:

  • לקוחות קיימים של Google SecOps Enterprise Plus (במסלול הוצאה משימוש):

    • טבלאות ioc_matches ו-rule_detections: לא מוגדרת מגבלת שמירה, בגלל נפח נמוך.
    • ‫entity_graph, ‏ udm_events_aggregates וטבלאות מחיצות אחרות, למעט הטבלה events: 180 ימים.
    • טבלה events (אירועי UDM): הנתונים נשמרים בהתאם לחוזה Google SecOps שלכם, או למשך ברירת המחדל של 366 ימים אם לא צוין אחרת בחוזה.

  • לקוחות חדשים: משך השמירה כפוף לחוזה Google SecOps (בהתאם לתכונה Advanced BigQuery Export).

המאמרים הבאים

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.