ייצוא של יומנים גולמיים לקטגוריה של Google Cloud Storage בניהול עצמי
הכלי לייצוא נתונים API מאפשר לייצא כמויות גדולות של נתוני אבטחה מ-Google Security Operations לקטגוריה של Cloud Storage שבשליטתכם. היכולת הזו תומכת בשמירת נתונים קריטיים לטווח ארוך, בניתוח היסטורי של זיהוי פלילי ובדרישות תאימות מחמירות (כמו SOX ו-GDPR).
למידע מפורט על מאמרי העזרה של ה-API, קראו את המאמר הכלי לייצוא נתונים API (משופר).
Data Export API מספק פתרון אמין וניתן להתאמה לייצוא נתונים בנקודת זמן מסוימת, ומטפל בבקשות של עד 100TB.
כצינור עיבוד נתונים מנוהל, הוא מציע תכונות חיוניות ברמה שמתאימה לארגונים, כולל:
- ניסיונות חוזרים אוטומטיים במקרה של שגיאות זמניות
- מעקב מקיף אחרי סטטוס המשימות
- נתיב ביקורת מלא לכל משימת ייצוא
ה-API מחלק באופן לוגי את הנתונים המיוצאים לפי תאריך ושעה בתוך הקטגוריה של Google Cloud Storage.
התכונה הזו מאפשרת לכם ליצור תהליכי עבודה להעברת נתונים בקנה מידה גדול. כדי לספק יציבות וביצועים, Google SecOps מנהלת את המורכבות של תהליך הייצוא.
יתרונות מרכזיים
הכלי לייצוא נתונים API מספק פתרון גמיש וניתן לביקורת לניהול מחזור החיים של נתוני האבטחה, עם היתרונות העיקריים הבאים:
- אמינות: השירות מטפל בהעברות נתונים בקנה מידה גדול. המערכת משתמשת באסטרטגיית השהיה מעריכית לפני ניסיון חוזר (exponential backoff) כדי לנסות שוב באופן אוטומטי משימות ייצוא שנתקלות בבעיות זמניות (לדוגמה, בעיות זמניות ברשת), וכך הופכת אותה לעמידה. אם משימת הייצוא נכשלת בגלל שגיאה זמנית, המערכת מנסה שוב באופן אוטומטי כמה פעמים. אם המשימה נכשלת באופן סופי אחרי כל ניסיונות ההפעלה מחדש, המערכת מעדכנת את הסטטוס שלה ל-
FINISHED_FAILURE, והתגובה מה-API למשימה הזו מכילה הודעת שגיאה מפורטת שמסבירה את הסיבה. יכולת ביקורת מקיפה: כדי לעמוד בתקני תאימות ואבטחה מחמירים, המערכת מתעדת כל פעולה שקשורה למשימת ייצוא בנתיב ביקורת שלא ניתן לשינוי. נתיב הביקורת כולל את היצירה, ההתחלה, ההצלחה או הכישלון של כל משימה, וגם את המשתמש שהתחיל את הפעולה, חותמת זמן והפרמטרים של המשימה.
אופטימיזציה לביצועים ולגודל: ה-API משתמש במערכת ניהול משימות חזקה. המערכת כוללת תור ותעדוף כדי לספק יציבות לפלטפורמה ולמנוע מצב שבו דייר אחד משתלט על המשאבים.
תקינות נתונים ונגישות משופרות: המערכת מארגנת את הנתונים באופן אוטומטי במבנה ספרייה לוגי בקטגוריה של Google Cloud Storage, וכך עוזרת לכם לאתר חלונות זמן ספציפיים ולבצע בהם שאילתות לצורך ניתוח היסטורי.
אבטחה: ה-API תוכנן כך שיהיה תואם באופן מלא למפתחות הצפנה בניהול הלקוח (CMEK) (אבטחה במודל של אפס אמון) ולבקרת גישה מבוססת-תפקידים (RBAC) של נתונים (גישה עם הרשאות מינימליות). כדי למנוע חילוץ נתונים לא מורשה, משימות הייצוא מקבלות בירושה את היקף הרשאות הגישה לנתונים של המשתמש שמפעיל את הבקשה. צינור עיבוד הנתונים לייצוא משולב באופן מלא גם עם Cloud Key Management Service, והנתונים נשארים מוצפנים במצב מנוחה בקטגוריה של Google Cloud Storage באמצעות המפתחות שלכם.
מושגים ומונחים מרכזיים
- משימת ייצוא: פעולה אסינכרונית אחת לייצוא נתוני יומן בטווח זמן ספציפי לקטגוריה של Google Cloud Storage. המערכת עוקבת אחרי כל משימה באמצעות
dataExportIdייחודי. - Job status: המצב הנוכחי של משימת הייצוא במחזור החיים שלה (לדוגמה,
IN_QUEUE,PROCESSING,FINISHED_SUCCESS). - קטגוריה של Google Cloud Storage: קטגוריה של Google Cloud Storage בבעלות המשתמש, שמשמשת כיעד לייצוא הנתונים.
- סוגי יומנים: הקטגוריות הספציפיות של יומנים שאפשר לייצא (לדוגמה,
NIX_SYSTEM,WINDOWS_DNS,CB_EDR). לפרטים נוספים, ראו את רשימת כל סוגי היומנים הנתמכים.
הסבר על מבנה הנתונים שמייצאים
כשהמשימה מסתיימת בהצלחה, המערכת כותבת את הנתונים בקטגוריה של Google Cloud Storage. הוא משתמש במבנה ספריות ספציפי ומחולק למחיצות כדי לפשט את הגישה לנתונים ואת השאילתות.
מבנה הנתיב של הספרייה: gs://GCS_BUCKET_NAME/EXPORT_JOB_NAME/LOGTYPE/EVENT_TIME_BUCKET/EPOCH_EXECUTION_TIME/logdata-SHARD_INDEX.csv
כאשר:
- GCS_BUCKET_NAME: השם של קטגוריה של Cloud Storage ב-Google Cloud Storage.
- EXPORT_JOB_NAME: מתייחס למזהה הייחודי האוניברסלי (UUID) של משימת הייצוא (בלי מקפים בנתיב האובייקט).
dataExportId - LOGTYPE: השם של סוג היומן של הנתונים שיוצאו (לדוגמה,
GCP_DNSאוWINDOWS_DNS). - EVENT_TIME_BUCKET: מתייחס לקבוצת השעות של חותמות הזמן של האירועים ביומנים שיוצאו, מעוגלות כלפי מטה לתחילת השעה לפי שעון UTC (
YYYY/MM/DD/HH/00/00). לדוגמה,2025/08/25/01/00/00מכיל יומנים עם חותמות זמן של אירועים בין01:00:00 UTCל-01:59:59 UTCב-25 באוגוסט 2025. - EPOCH_EXECUTION_TIME: מתייחס לחותמת הזמן של ראשית זמן יוניקס (Unix epoch) באורך 20 ספרות עם ריפוד באפסים, במיקרו-שניות, שמציינת מתי התחילה ההרצה של משימת הייצוא (לדוגמה,
00001756083600000000). logdata-SHARD_INDEX.csv: מתייחס לקבצים המפוצלים עם אינדקס 0 שמכילים יומנים גולמיים (לדוגמה,logdata-0.csvו-logdata-1.csv). כל קובץ מפוצל מוגבל לגודל של כ-100MB.
נתיב לדוגמה של אובייקט שיוצא:
gs://my-archive-bucket/b4a3c2d1e8f76a5b4c3d2e1f0a9b8c7d/GCP_DNS/2025/08/25/01/00/00/00001756083600000000/logdata-0.csv
מניפסט של השלמת הייצוא (exported_paths.txt):
כשמשימת ייצוא מסתיימת בסטטוס FINISHED_SUCCESS ונכתב לפחות קובץ יומן אחד, הצינור גם כותב קובץ מניפסט ב-gs://GCS_BUCKET_NAME/EXPORT_JOB_NAME/exported_paths.txt (אם אין יומנים שתואמים למסנני הייצוא או לטווח תאריכים, לא נכתב קובץ מניפסט ו-dataExportStatus.exportedGlobPatterns ריק). כל שורה ב-exported_paths.txt מפרטת תבנית glob באמצעות הקידומת /bigstore/ (/bigstore/GCS_BUCKET_NAME/EXPORT_JOB_NAME/LOGTYPE/EVENT_TIME_BUCKET/EPOCH_EXECUTION_TIME/*, שממופה ל-gs://GCS_BUCKET_NAME/.../*) לספריית מחיצות לפי שעה שנכתבה על ידי המשימה. משימות אוטומציה או דחיסה במורד הזרם יכולות לקרוא את המניפסט הזה כדי למנות את כל המחיצות שיוצאו בלי לרשום את כל הקטגוריה.
ביצועים ומגבלות
כדי להבטיח את יציבות הפלטפורמה והקצאת משאבים הוגנת, לשירות יש את המגבלות הספציפיות הבאות:
- נפח הנתונים המקסימלי לכל משימה: בכל משימת ייצוא אפשר לבקש עד 100TB של נתונים. אם יש לכם קבוצות נתונים גדולות, Google ממליצה לפצל את הייצוא לכמה משימות עם טווחי תאריכים קצרים יותר.
- משימות בו-זמניות: כל דייר של לקוח יכול להריץ או להוסיף לתור עד שלוש משימות ייצוא בו-זמנית. המערכת דוחה כל בקשה ליצירת משימה חדשה שחורגת מהמגבלה הזו.
- זמני השלמת המשימה: נפח הנתונים שמייצאים קובע את זמני השלמת המשימה. משימה אחת יכולה להימשך עד 18 שעות.
- פורמט הייצוא והיקף הנתונים: ה-API תומך בייצוא בכמות גדולה בנקודת זמן מסוימת, עם המגבלות והתכונות הבאות:
- יומנים גולמיים בלבד: אפשר לייצא רק יומנים גולמיים (לא יומני UDM, אירועי UDM או זיהויים). במאמר ייצוא לפרויקט בניהול עצמי ב-BigQuery מוסבר איך לייצא נתוני UDM.
- פורמט קובץ ודחיסת נתונים: ה-API מייצא נתונים כמחרוזות יומן גולמיות לא דחוסות, המופרדות באמצעות תווי newline, בתוך קבצים בשם
logdata-SHARD_INDEX.csv(בגודל משוער של 100MB לכל פיסת מידע). למרות סיומת הקובץ CSV, הקבצים לא בפורמט של עמודות שמופרדות בפסיקים: כל רשומה של יומן גולמי (לדוגמה, אובייקט JSON גולמי, שורת syslog או רשומת CEF) נכתבת מילה במילה, ואחריה תו newline (\n) בלי תווי בריחה (escape) של תווי newline מוטמעים. לכן, יומנים גולמיים עם כמה שורות (כמו מטען ייעודי (payload) של XML או דוחות קריסה) יכולים להתפרס על פני כמה שורות בקובץ של מקטע. אי אפשר לשנות את פורמט קובץ הפלט באמצעות ה-API. כדי לאחסן ארכיונים בפורמטים דחוסים של עמודות כמו Apache Parquet, צריך להריץ שלב דחיסה במורד הזרם אחרי שמשימת הייצוא מגיעה ל-FINISHED_SUCCESS.
דרישות מוקדמות וארכיטקטורה
בקטע הזה מתוארת ארכיטקטורת המערכת והדרישות לשימוש בכלי לייצוא נתונים, ומפורטת ארכיטקטורת המערכת. השתמשו במידע הזה כדי לוודא שהסביבה שלכם מוגדרת בצורה נכונה.
לפני שמשתמשים בכלי לייצוא נתונים API, צריך לבצע את השלבים הבאים כדי להגדיר את היעד ב-Google Cloud Storage ולתת את ההרשאות הנדרשות:
נותנים הרשאות למשתמש. כדי להשתמש ב-API של הכלי לייצוא נתונים, אתם צריכים את ההרשאות הבאות בפרויקט BYOP Google Cloud שמקושר לדייר שלכם ב-Google SecOps:
- chronicle.dataExports.fetchServiceAccountForDataExport
- chronicle.dataExports.create
- chronicle.dataExports.cancel
- chronicle.dataExports.get
- chronicle.dataExports.list
ההרשאות האלה הן חלק מתפקידי ה-IAM הבאים שמוגדרים מראש:
- Chronicle API Admin: הרשאות מלאות ליצור, לעדכן, לבטל ולראות משימות ייצוא באמצעות ה-API. התפקיד הזה מעניק גישה גלובלית.
- צפייה ב-Chronicle API: הרשאת קריאה בלבד לצפייה בהגדרות ובהיסטוריה של המשימות באמצעות ה-API. בלי התפקיד
restrictedDataAccess, משתמש עם התפקיד הזה יכול לראות את כל הנתונים (ראו את השלב + Add Another Role והוסיפו תנאי).
החלת היקפי RBAC של נתונים על משתמש. כדי להגביל משתמש להיקפי גישה ספציפיים לנתונים:
- מוודאים שהיקפי ההרשאות של RBAC שרוצים להחיל כבר נוצרו בקטע הגדרות > ניהול הרשאות גישה > גישה לנתונים > היקפי הרשאות. שימו לב לשם המלא של כל היקף הרשאות שאתם מתכוונים להקצות למשתמש.
יצירת תפקיד בהתאמה אישית בניהול זהויות והרשאות גישה (IAM) לניהול ייצוא נתונים. תפקידים מוגדרים מראש עלולים להעניק גישה רחבה מדי, או לא לכלול את השילוב הספציפי של ההרשאות שאתם צריכים. לכן, כדי ליצור תפקיד בהתאמה אישית שמיועד לניהול של ייצוא נתונים בהקשר מוגדר, בצעו את הפעולות הבאות:
- במסוף Google Cloud , נכנסים לדף IAM & Admin > Roles.
- לוחצים על + Create Role.
- מזינים שם (לדוגמה,
SecOps Scoped Data Export User). - מזינים מזהה (לדוגמה,
secopsScopedDataExportUser). - לוחצים על + הוספת הרשאות.
- מסננים לפי הרשאות של Chronicle ומוסיפים את ההרשאות הרלוונטיות שמפורטות בשלב הראשון (מתן הרשאות למשתמש ה-API).
- לוחצים על יצירה.
נותנים למשתמש תפקידים ב-IAM. בדף IAM, מבצעים את הפעולות הבאות כדי להקצות את התפקידים הנדרשים למשתמש:
- נכנסים לדף IAM & Admin > IAM.
- לוחצים על + הענקת גישה.
- בשדה New principals, מזינים את כתובת האימייל של המשתמש.
כדי להקצות תפקידים:
- מוסיפים את התפקיד בהתאמה אישית שיצרתם (לדוגמה,
SecOps Scoped Data Export User). - לוחצים על + Add Another Role ומוסיפים את התפקיד Chronicle API Restricted Data Access (
restrictedDataAccess). התפקיד הזה חיוני כדי לסמן את המשתמש ככפוף להיקפי נתונים.
- מוסיפים את התפקיד בהתאמה אישית שיצרתם (לדוגמה,
מוסיפים תנאי IAM לקישור התפקיד
Chronicle API Restricted Data Access. כדי לקשר את המשתמש להיקפי נתונים ספציפיים:- לוחצים על הוספת תנאי IAM.
- משתמשים בכלי להגדרת תנאים או בעורך התנאים כדי להגדיר את היקפי ההרשאות המותרים, ומשתמשים בשם היקף ההרשאות שנוצר בשלב הראשון בתור שם המשאב. לדוגמה, כדי להשתמש בהיקף בשם
scope_test, מגדירים את התנאיresource.name.endsWith("/dataAccessScopes/scope_test").
מידע נוסף על האופן שבו RBAC של נתונים מיושם ב-API של הכלי לייצוא נתונים זמין במאמר איך RBAC של נתונים חל על API של הכלי לייצוא נתונים.
יוצרים קטגוריה של Google Cloud Storage. בפרויקט ב- Google Cloud, יוצרים קטגוריה חדשה ב-Google Cloud Storage (היעד של הנתונים שמייצאים) באותו אזור של הדייר ב-Google SecOps. להגדיר אותו כפרטי כדי למנוע גישה לא מורשית. כדי להעביר את הנתונים לארכיון לטווח ארוך, מגדירים את הקטגוריה עם סוג האחסון שמוגדר כברירת מחדל ב-
STANDARDלכתיבה ואימות של הייצוא הראשוני (או דחיסת Parquet אופציונלית בהמשך), ומשתמשים בניהול מחזור חיים של אובייקטים (כלליSetStorageClass) כדי להעביר אובייקטים לאחסון ב-COLDLINEאו ב-ARCHIVE. פרטים נוספים זמינים במאמר יצירת קטגוריה.מתן הרשאות לחשבון השירות. כדי להקצות לחשבון השירות של Google SecOps, שמקושר לדייר של Google SecOps, את תפקידי ה-IAM שנדרשים כדי לכתוב נתונים לקטגוריה:
שולחים קריאה לנקודת הקצה ל-API של
FetchServiceAccountForDataExportכדי לזהות את חשבון השירות הייחודי של המכונה של Google SecOps. ה-API מחזיר את כתובת האימייל של חשבון השירות.דוגמה לבקשה:
{ "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee" }דוגמה לתגובה:
{ "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com" }נותנים לישות המורשית של חשבון השירות של Google SecOps את תפקידי ה-IAM הבאים בקטגוריה של Cloud Storage ביעד ב-Google Cloud Storage, כדי ששירות Google SecOps יוכל לכתוב קובצי נתונים שיוצאו לקטגוריה של Cloud Storage ב-Google Cloud Storage:
Storage object administrator (roles/storage.objectAdmin)Legacy bucket reader (roles/storage.legacyBucketReader)
פרטים נוספים זמינים במאמר מתן גישה לחשבון השירות של Google SecOps.
משלימים את תהליך האימות. ה-API לייצוא נתונים מאמת את הקריאות שלכם. כדי להגדיר את האימות הזה, פועלים לפי ההוראות בקטעים הבאים:
תרחישי שימוש עיקריים ותהליך עבודה בסיסי
Data Export API מספק חבילה של נקודות קצה ליצירת משימות של ייצוא נתונים ולניהול כל מחזור החיים של ייצוא נתונים בכמות גדולה. אתם מבצעים את כל האינטראקציות באמצעות קריאות ל-API.
בתרחישים לדוגמה הבאים מוסבר איך ליצור, לעקוב ולנהל משימות של ייצוא נתונים.
יצירת משימה חדשה לייצוא נתונים
המערכת שומרת את המפרטים של משימות ייצוא הנתונים במופע של Google SecOps במשאב ההורה. המכונה הזו היא המקור של נתוני היומן למשימת הייצוא.
במאמר FetchServiceAccountForDataExports מוסבר איך לזהות את חשבון השירות הייחודי של המכונה של Google SecOps.
כדי להתחיל ייצוא חדש, שולחים בקשת
POSTלנקודת הקצה (endpoint) שלdataExports.create. פרטים נוספים זמינים במאמר נקודת הקצהCreateDataExport.
מעקב אחרי הסטטוס של משימת ייצוא הנתונים
אתם יכולים לראות את הפרטים והסטטוס של משימת ייצוא נתונים ספציפית, או להגדיר מסנן כדי לראות סוגים מסוימים של משימות.
כדי ללמוד כיצד לפרט סוגים מסוימים של משימות ייצוא נתונים באמצעות מסנן, ראה ListDataExport.
ביטול משימות בתור
אפשר לבטל משימה כשהסטטוס שלה הוא IN_QUEUE.
כדי ללמוד איך לבטל משימה בתור, ראו CancelDataExport.
איך בקרת גישה מבוססת-תפקידים (RBAC) חלה על הכלי לייצוא נתונים API
משימות הייצוא מקבלות בירושה את היקף ה-RBAC של הנתונים של המשתמשים שיוצרים משימת ייצוא, וכך נמנע חילוץ נתונים לא מורשה.
אם תנסו לייצא נתונים שחורגים מהיקף הגישה שלכם לנתונים, ה-API יחריג באופן אוטומטי את הנתונים האלה בזמן ביצוע משימת הייצוא. הערך של השדה dataRbacFiltered במטא-נתונים של משימות שהושלמו (כלומר, משימות בסטטוס FINISHED_SUCCESS) מציין אם נתונים הוחרגו. אם הערך של dataRbacFiltered הוא true, חלק מהנתונים שנבחרו למשימת הייצוא או כולם הוחרגו כי הם לא נכללו בהיקפי ה-RBAC של הנתונים שחלים על יוצר המשימה. אם הערך של dataRbacFiltered הוא false, משימת הייצוא לא הושפעה מהגבלות ההיקף של בקרת הגישה מבוססת התפקידים (RBAC) של הנתונים, וכל הנתונים שנכללו כחלק מהמשימה יוצאו בהצלחה.
ה-API מחיל את היקפי ה-RBAC של הנתונים שרלוונטיים ליוצר בזמן יצירת המשימה. שינויים בהיקפי ה-RBAC של הנתונים לא חלים רטרואקטיבית על משימות שכבר נוצרו.
מידע נוסף על RBAC של נתונים זמין במאמר סקירה כללית של RBAC של נתונים.
פתרון בעיות נפוצות
ה-API מספק הודעות שגיאה מפורטות שעוזרות לאבחן בעיות.
| קוד קנוני | הודעת השגיאה |
|---|---|
INVALID_ARGUMENT |
INVALID_REQUEST: Invalid request parameter PARAMETER_1, PARAMETER_2, ... PARAMETER_N. Please fix the request parameters and try again. |
PERMISSION_DENIED |
INSUFFICIENT_PERMISSIONS: Unable to validate request with the current CMEK key. Please fix the CMEK key and try again |
NOT_FOUND |
BUCKET_NOT_FOUND: The destination Google Cloud Storage bucket BUCKET_NAME does not exist. Please create the destination Google Cloud Storage bucket and try again. |
NOT_FOUND |
REQUEST_NOT_FOUND: The dataExportId:DATA_EXPORT_ID does not exist. Please add a valid dataExportId and try again. |
FAILED_PRECONDITION |
BUCKET_INVALID_REGION: The Google Cloud Storage bucket BUCKET_ID's region:REGION_1 is not the same region as the SecOps tenant region:REGION_2. Please create the Google Cloud Storage bucket in the same region as SecOps tenant and try again. |
FAILED_PRECONDITION |
INSUFFICIENT_PERMISSIONS: The Service Account P4SA does not have storage.objects.create, storage.objects.get and storage.buckets.get permissions on the destination Google Cloud Storage bucket BUCKET_NAME. Please provide the required access to the Service Account and try again. |
FAILED_PRECONDITION |
INVALID_CANCELLATION: The request status is in the STATUS stage and can't be cancelled. You can only cancel the request if the status is in the IN_QUEUE stage. |
RESOURCE_EXHAUSTED |
CONCURRENT_REQUEST_LIMIT_EXCEEDED: Maximum concurrent requests limit LIMIT reached for the request size SIZE_LIMIT. Please wait for the existing requests to complete and try again. |
RESOURCE_EXHAUSTED |
REQUEST_SIZE_LIMIT_EXCEEDED: The estimated export volume: ESTIMATED_VOLUME for the request is greater than maximum allowed export volume: ALLOWED_VOLUME per request. Please try again with a request within the allowed export volume limit. |
INTERNAL |
INTERNAL_ERROR: An Internal error occurred. Please try again. |
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.