עבודה עם ממשק המשתמש של הפידים

נתמך ב:

במאמר הזה מוסבר איך ליצור פידים, לפתור בעיות בפידים ולנהל אותם בממשק המשתמש של המרכז לניהול פידים, כולל הוראות לשינוי, להפעלה ולמחיקה של פידים.

לפני שמתחילים

לפני שמגדירים פיד נתונים ב-Google Security Operations, צריך לוודא שמתקיימים תנאים מוקדמים ספציפיים. כדי למצוא את הדרישות של הפיד, אפשר לעיין במאמר הגדרות לפי סוג המקור ולחפש את מקור הנתונים הספציפי שלכם.

פורמטים נתמכים של דחיסה וגדלים נתמכים של קבצים

פורמטים נתמכים של דחיסה להעלאת פידים כוללים ‎ .gz,‏ ‎.tar.gz,‏ ‎.tar ו-solr.gz. בטבלה הבאה מפורטים הגדלים השונים של קבצים שנתמכים בהזנת טרנספורמציה ב-Google SecOps:

פעולה סוג קלט גודל מומלץ משך הזמן הצפוי גודל מקסימלי
מודלים של נתונים CSV פחות מ-5GB ‫< 7 דקות ‫10GB
מודלים של נתונים CSV פחות מ-5GB כ-30 דקות ‫10GB
מודלים של נתונים CSV TBD TBD 2 GB
מודלים של נתונים XML / ‏ JSON פחות מ-1GB ‫< 10 דקות 2 GB
מודלים של נתונים XLS / XLSX פחות מ-50MB ~דקה אחת 50MB
מיזוג קבצים הכול פחות מ-1GB משתנה בהתאם למספר הקבצים 100GB
פריסת קבצים Non-ZIP פחות מ-5GB משתנה בהתאם למספר הקבצים ‫10GB (לא דחוס)
פריסת קבצים מיקוד - משתנה בהתאם למספר הקבצים ‫4GB (לא דחוס)

מגבלות על שורות ביומן ותוחמים

כשמבצעים המרה של יומנים מבוססי-טקסט (JSON,‏ CSV או Syslog), חשוב לוודא שהנתונים עומדים במגבלות ההמרה הספציפיות האלה:

  • גודל השורה המקסימלי: גודל של שורה אחת ביומן לא יכול לחרוג מ-4MB. אם שורה אחת חורגת מהמגבלה הזו, הפיד ייכשל עם השגיאה MaxLogLineSize4MBExceeded.
  • תווי הפרדה נתמכים: יש תמיכה גם בתווים של שורה חדשה (\n) וגם בתווים של החזרת כרכרה + שורה חדשה (\r\n).

ההשפעה של שינוי פרויקט Cloud המקושר על פידים של נתונים

אם אתם מעדכנים את Google Cloud הפרויקט שמשויך למופע של Google SecOps, כל הפידים שמקבלים נתונים באמצעות המחברים הבאים יפסיקו לפעול, ותצטרכו ליצור אותם מחדש באופן ידני:

  • AMAZON_S3_V2
  • AMAZON_SQS_V2
  • GOOGLE_CLOUD_STORAGE_V2
  • AZURE_BLOBSTORE_V2
  • GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN

כל שאר הפידים שלא משתמשים במחברים האלה ימשיכו להיקלט ללא הפרעה. הלקוחות לא צריכים לבצע שום פעולה.

מה יקרה במהלך ההעברה

בפידים שיושפעו מהשינויים, יחולו השינויים הבאים:

  • סטטוס הפיד: הפידים שנוצרו לפני המיגרציה יפסיקו מיד לשלוף נתונים בזמן אמת ויהפכו לקריאה בלבד.
  • נתונים קיימים: כל הנתונים שכבר הועברו אל Google SecOps לפני ההעברה ייקלטו באופן אוטומטי, ולא יאבדו נתונים.
  • הודעות שגיאה: אם תנסו לערוך או למחוק פיד ישן, תוצג לכם ההודעה: This feed is read-only because this SecOps has now moved to a new Google Cloud Project (BYOP). To continue ingesting data from this source, please create a new feed.

פעולות נדרשות ללקוחות

כדי להבטיח שהנתונים ימשיכו להיקלט, צריך ליצור מחדש את הפידים בסביבה החדשה באופן ידני. כדי לצמצם את הסיכוי לשיבושים, כדאי לפעול לפי השלבים הבאים:

  1. יצירה מחדש של פידים: צריך ליצור פידים חדשים במקום הפידים שהיו לפני ההעברה.
  2. הגדרת הערך Max File Age: כשמגדירים את הפידים החדשים, צריך להגדיר את הערך Max File Age (הגיל המקסימלי של הקובץ) לפרק זמן של שעתיים לפני שהתחיל העדכון של BYOP. הזמן הזה מאפשר מעבר חלק.

  3. ניהול נתונים כפולים: בהתאם לגיל המקסימלי של הקובץ שתבחרו, יכול להיות שתיתקלו בהעברה של נתונים כפולים. פרטים טכניים על האופן שבו Google SecOps מסנן את היומנים המיותרים האלה זמינים במאמר מניעת ביטול כפילויות.

  4. תיעוד ומחיקה של פידים קיימים (לפני ההעברה): לפני שמתחילים בהעברת BYOP, צריך לתעד את הגדרות התצורה של כל הפידים הקיימים שמשתמשים במחברים המושפעים (לדוגמה, Amazon S3 V2), ואז למחוק את הפידים. אם לא מוחקים פידים שנוצרו לפני ההעברה, הם הופכים לבלתי ניתנים לניהול ונשארים בממשק האינטרנט של Google SecOps כהגדרות יתומות.

דרכים להגדרת פידים

לקוחות Google SecOps יכולים להגדיר פיד בפלטפורמה בשתי דרכים. משתמשים בשיטה שהכי מתאימה לסביבה שלכם:

  • הגדרות SIEM > פידים (סטנדרטי)
  • ‫Content Hub > Content Packs (פרימיום)

הגדרת הפידים

בקטע הזה מוסבר איך בדרך כלל מגדירים את הפידים, החל מתהליך ההגדרה הרגיל. פידים של נתונים שמופיעים בדף פידים כוללים את כל הפידים ש-Google הגדירה לחשבון שלכם, כולל הפידים שהגדרתם.

הוספת פיד

כדי להוסיף פיד לחשבון Google SecOps, פועלים לפי השלבים הבאים:

  1. בתפריט Google SecOps, בוחרים באפשרות SIEM Settings (הגדרות SIEM) > Feeds (פידים).

  2. לוחצים על הוספת פיד חדש.

  3. בדף הבא, לוחצים על הגדרת פיד יחיד. הערה: השלב הזה לא רלוונטי ללקוחות שמשתמשים בפלטפורמה העצמאית של Google SecOps SIEM.

  4. מוסיפים שם לזיהוי הפיד.

  5. ברשימה סוג המקור, בוחרים את סוג המקור לייבוא נתונים אל Google SecOps. אפשר לבחור מבין סוגי מקורות הפיד הבאים:

    • Amazon Data Firehose
    • ‫Amazon S3 (הוצא משימוש)
    • ‫Amazon S3 (V2)
    • ‫Amazon SQS (הוצא משימוש)
    • ‫Amazon SQS (V2)
    • ‫Azure Blob Storage (הוצא משימוש)
    • ‫Azure Blob Storage (V2)
    • ‫Google Cloud Pub/Sub
    • Cloud Storage (הוצא משימוש)
    • Cloud Storage (V2)
    • Cloud Storage Event Driven
    • Third party API
    • Webhook

    חשוב לדעת:

    • כשמשתמשים בפידים של Amazon S3 (הוצא משימוש), Amazon SQS (הוצא משימוש), Azure Blob Storage (הוצא משימוש) ו- Google Cloud Cloud Storage (הוצא משימוש), צריך לוודא שיש נתיב תקף לספרייה.
    • כשמשתמשים ב-Amazon SQS (הוצא משימוש) או ב-Amazon SQS (גרסה 2), צריך להעניק ל-Google SecOps הרשאות מפורשות למחיקת הודעות מתור Amazon SQS.
    • כשמשתמשים בפידים של Amazon SQS (הוצא משימוש), חשוב לוודא שרק פיד אחד צורך הודעות מהתור. הודעות שנקראו על ידי אפליקציה או פיד אחרים לא נכללות בפיד הנוכחי.
    • השימוש ב-Amazon SQS (הוצא משימוש) כסוג של מקור פיד נתמך רק עבור יומנים בקטגוריות של Amazon S3.

  6. ברשימה Log type, בוחרים את סוג היומן שמתאים ליומנים שרוצים להטמיע. היומנים הזמינים משתנים בהתאם לסוג המקור שבחרתם קודם.

    אם בוחרים באפשרות Cloud Storage כסוג המקור, משתמשים באפשרות קבלת חשבון שירות כדי לקבל חשבון שירות ייחודי. דוגמה להגדרת פיד ב-Google Cloud Storage

  7. לוחצים על הבא.

  8. מציינים את הפרמטרים הנדרשים בכרטיסייה פרמטרים של קלט. האפשרויות שמוצגות כאן משתנות בהתאם למקור ולסוג היומן שנבחרו בכרטיסייה הגדרת מאפיינים. כדי לקבל מידע נוסף על מה שצריך לספק, מעבירים את הסמן מעל סמל השאלה של כל שדה.

  9. אופציונלי: אפשר לציין מרחב שמות בכרטיסייה הגדרת מאפיינים. מידע נוסף על מרחבי שמות זמין במאמר עבודה עם מרחבי שמות של נכסים.

  10. לוחצים על הבא.

  11. בודקים את הגדרת הפיד החדשה בכרטיסייה Finalize.

  12. לוחצים על שליחה. ‫Google SecOps משלים בדיקת אימות של הפיד החדש. אם הפיד עובר את הבדיקה, נוצר שם בשביל הפיד, הוא נשלח ל-Google SecOps ו-Google SecOps מתחיל לנסות לאחזר נתונים.

    השלמת בקשת הפיד

הגדרת כמה פידים למשפחת מוצרים (ללקוחות Google SecOps בלבד)

אפשר להגדיר כמה פידים לכל משפחת מוצרים, על סמך סוג היומן.

  • סוגי יומנים בסיסיים: מסומנים כמומלצים. מומלץ להשתמש בסוגי היומנים האלה כדי להפעיל את הפונקציונליות הבסיסית של הפלטפורמה.
  • סוגי יומנים משלימים: מסומנים כאופציונליים. סוגי היומנים האלה מספקים הקשר נוסף.

כדי לפשט את ההגדרה, הפלטפורמה מספקת הוראות הגדרה ספציפיות ופרמטרים מוגדרים מראש לכל הגדרה. לדוגמה, ב-CrowdStrike Falcon, אפשר ליצור כמה פידים ייחודיים גם בסוגי היומנים מומלצים וגם בסוגי היומנים אופציונליים, כדי לוודא שיש כיסוי נתונים מקיף מספיק.

הגדרת הפיד ל-CrowdStrike EDR

כדי להגדיר פיד של יומנים עבור CrowdStrike EDR, פועלים לפי השלבים הבאים.

  1. בקטע הגדרות > פידים, לוחצים על הוספת פיד חדש.
    1. לוחצים על המוצר CrowdStrike Falcon:.
    2. בוחרים את סוג היומן CrowdStrike EDR.
  2. לחלופין, מתוך Content Hub > Content Packs (מרכז התוכן > חבילות תוכן), לוחצים על המוצר CrowdStrike Falcon:
    1. לוחצים על Get Started.
    2. בוחרים את סוג היומן CrowdStrike EDR.

  3. מציינים ערכים בשדות הבאים:

    שדה תיאור
    Source Type ‫Amazon SQS
    Region האזור ב-AWS S3 שמשויך ל-URI.
    Queue Name השם של תור ה-SQS שממנו רוצים לקרוא.
    Account Number מספר החשבון ב-SQS.
    Source Deletion Option מציין אם למחוק קבצים וספריות אחרי ההעברה.
    Queue Access Key ID מפתח גישה אלפאנומרי לחשבון באורך 20 תווים, כמו AKIAOSFOODNN7EXAMPLE.
    Queue Secret Access Key מפתח סודי לגישה לחשבון באורך 40 תווים אלפאנומריים, לדוגמה, wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY.

  4. אופציונלי: מגדירים את הפרמטרים הבאים:

    • שם הפיד: שם ייחודי שמוזן מראש עבור הפיד.
    • מרחב שמות של נכס: מרחב השמות שמשויך לפיד.
    • תוויות להוספה: תוויות שמוחלות על האירועים מהפיד הזה.

  5. לוחצים על יצירת פיד.

אפשר לחזור על התהליך הזה כדי ליצור עדכונים נוספים לאותו סוג יומן. אפשר גם להגדיר פידים לסוגים אחרים של יומנים שזמינים ישירות מהדף הזה. בסיום, עוברים לדף ניהול פידים כדי לראות סיכום מפורט של כל סוגי היומנים שהוגדרו.

יצירת רשימה של כתובות IP מותרות

מפעילים את רשימת ההיתרים ומוסיפים את טווח כתובות ה-IP של Google לכל סוגי היומנים שמקבלים נתונים מממשקי API של צד שלישי.

מחיקת קובצי מקור

אפשרות המחיקה של המקור מאפשרת לכם למחוק אובייקטים של מקור הפיד (קבצים ותיקיות) מהאחסון, אחרי העברה מוצלחת. האפשרות הזו זמינה רק לסוגים נבחרים של מקורות פיד, כולל Cloud Storage. סוגי המקורות האלה כוללים את השדה SOURCE DELETION OPTION בתהליכי העבודה Add new ו-Edit feed.

אפשרויות למחיקת מקורות

  • בשדה SOURCE DELETION OPTION (אפשרות למחיקת מקור) מוצגות האפשרויות הבאות לגבי סוגי מקורות נתונים נתמכים, כולל Cloud Storage:

    • לא למחוק קבצים אף פעם
    • מחיקת קבצים שהועברו וספריות ריקות
    • מחיקת קבצים שהועברו

  • ‫Microsoft Azure Blob Storage‏ (AZURE_BLOBSTORE) לא תומך במחיקה של קובצי מקור. בשדה SOURCE DELETION OPTION (אפשרות מחיקת המקור), בוחרים רק באפשרות Never delete files (לא למחוק קבצים לעולם).

  • במקורות הפידים הבאים ("feedSourceType"): GOOGLE_CLOUD_STORAGE_V2, GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN, AMAZON_S3_V2, AMAZON_SQS_V2 ו-AZURE_BLOBSTORE_V2, בשדה SOURCE DELETION OPTION יש שתי אפשרויות:

    • אף פעם: הקבצים לא נמחקים אחרי ההעברה.
    • ‫ON_SUCCESS: מחיקה של כל הקבצים והספריות הריקות אחרי ההעברה.

הגדרות והרשאות ספציפיות למקור

סוגים שונים של מקורות דורשים הגדרות ספציפיות של אימות ורשת כדי לתקשר עם Google SecOps. בקטע הזה מוסבר איך מגדירים הרשאות ומקימים חשבונות שירות. ההגדרה שמתוארת כאן מתמקדת בהטמעה של Cloud Storage (מבוססת-משיכה), הטמעה של כמה עננים (משיכה בין עננים) והטמעה מבוססת-דחיפה (API או בזמן אמת).

דוגמה להגדרת פיד של Google Cloud Storage

  1. בתפריט Google SecOps, בוחרים באפשרות הגדרות ואז לוחצים על פידים.
  2. לוחצים על הוספת פיד חדש.
  3. בדף הבא, לוחצים על הגדרת פיד יחיד. השלב הזה לא רלוונטי אם אתם משתמשים בפלטפורמת Google SecOps SIEM עצמאית.
  4. בוחרים באפשרות Cloud Storage v2 בשדה Source Type.
  5. בוחרים את סוג היומן. לדוגמה, כדי ליצור פיד ליומני ביקורת של Google Kubernetes Engine, בוחרים באפשרות Google Kubernetes Engine audit logs (יומני ביקורת של Google Kubernetes Engine) בתור Log Type (סוג יומן).
  6. לוחצים על טעינת חשבון שירות. ‫Google SecOps מספק חשבון שירות ייחודי שמשמש להזנת נתונים ל-Google SecOps.
  7. אופציונלי: מגדירים את חשבון השירות. מידע נוסף מופיע במאמר בנושא הענקת גישה לחשבון השירות של Google SecOps.
  8. לוחצים על הבא.

  9. בהתאם להגדרות של Cloud Storage שיצרתם, מציינים ערכים בשדות הבאים:

    • URI של קטגוריית אחסון

    • אפשרות למחיקת מקור

    מידע נוסף על הגדרת קטגוריות ב-Cloud Storage זמין במאמר יצירת קטגוריות.

  10. לוחצים על הבא ואז על שליחה.

מתן גישה לחשבון השירות של Google SecOps

  1. במסוף Google Cloud , נכנסים לדף Buckets של Cloud Storage.

    כניסה לדף Buckets

  2. מעניקים לחשבון השירות גישה לאובייקטים הרלוונטיים ב-Cloud Storage.

    • כדי לתת הרשאת קריאה לקובץ ספציפי:

      1. בוחרים את הקובץ ולוחצים על גישת עריכה.
      2. לוחצים על Add principal.
      3. בשדה New principals, מזינים את השם של חשבון השירות של Google SecOps.
      4. מקצים תפקיד שמכיל את הרשאת הקריאה לחשבון השירות של Google SecOps. לדוגמה, צפייה באובייקט אחסון (roles/storage.objectViewer). אפשר לעשות את זה רק אם לא הפעלתם גישה אחידה ברמת הקטגוריה.
      5. לוחצים על Save.

    • כדי להעניק הרשאת קריאה למספר קבצים, מעניקים גישה ברמת הקטגוריה באופן הבא:

      • עבור "feedSourceType": "GOOGLE_CLOUD_STORAGE":

        1. מוסיפים את חשבון השירות של Google SecOps כחשבון ראשי לדלי האחסון ומקצים לו את תפקיד ה-IAM‏ Storage Object Viewer (roles/storage.objectViewer).
        2. אם מגדירים את הפיד למחיקת קובצי מקור, צריך להוסיף את חשבון השירות של Google SecOps כחשבון משתמש ב-Bucket ולהעניק לו את תפקיד ה-IAM‏ Storage Object Admin‏ (roles/storage.objectAdmin).

      • ל-"feedSourceType": "GOOGLE_CLOUD_STORAGE_V2", מקצים את התפקידים הבאים:

        1. הקצאת התפקיד הבא:

          • צפייה באובייקטים באחסון (roles/storage.objectViewer) אם ההעברה היא לקטגוריה אחרת של Cloud Storage.

        2. נותנים אחד מהתפקידים הבאים, בהתאם לאפשרות שבוחרים באפשרות מחיקת המקור. אם בוחרים באפשרות On Success, צריך להעניק את התפקיד Storage Legacy Bucket Writer. אם בוחרים באפשרות לעולם לא, צריך להקצות את התפקיד קריאה בקטגוריה באחסון מדור קודם:

          • ‫Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter) אם נדרשת הרשאת מחיקת אובייקטים.
          • ‫Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) אם לא נדרשת הרשאת מחיקת אובייקטים.

      • עבור "feedSourceType": "GOOGLE_CLOUD_STORAGE_EVENT_DRIVEN":

        1. נותנים את אחד מהתפקידים הבאים:

          • צפייה באובייקטים באחסון (roles/storage.objectViewer) אם ההעברה היא לקטגוריה אחרת של Cloud Storage.
          • ‫Storage Object Creator (roles/storage.objectCreator) אם ההעברה היא למערכת קבצים.

        2. נותנים את אחד מהתפקידים הבאים:

          • ‫Storage Legacy Bucket Writer (roles/storage.legacyBucketWriter) אם נדרשת הרשאת מחיקת אובייקטים.
          • ‫Storage Legacy Bucket Reader (roles/storage.legacyBucketReader) אם לא נדרשת הרשאת מחיקת אובייקטים.

הפעלת גישת STS ל-Amazon S3 ול-Azure Storage

ה-STS משמש להעברת נתונים מ-Amazon S3 וממאגרי blob ב-Azure Storage אל Google SecOps באמצעות הפידים הבאים של Google Cloud Storage:

  • ‫Amazon S3 (V2)
  • ‫Amazon SQS (V2)
  • ‫Azure Blob Storage (V2)

‫STS שולח בקשות להעברת נתונים לשירותי האחסון של Amazon S3 ו-Azure מתוך קבוצה של טווחי כתובות IP מוגדרים של STS. טווחי כתובות ה-IP של STS מפורסמים בקובץ ה-JSON הבא: טווחי כתובות IP

כדי להשתמש בסוגי המקורות של פידים של STS, יכול להיות שתצטרכו לשנות את ההגבלות על גישה לכתובות IP כדי לאפשר ל-STS לגשת לשירותי האחסון שלכם ב-Amazon S3 וב-Azure:

  1. שולפים את טווחי כתובות ה-IP העדכניים מקובץ ה-JSON.

    מומלץ לקרוא נתונים מקובץ ה-JSON הזה לפחות פעם בשבוע כדי לשמור על עדכניות של הגדרות האבטחה. כשמוסיפים טווח חדש לקובץ, המערכת ממתינה לפחות 7 ימים לפני שהיא משתמשת בטווח הזה לבקשות מ-STS.

    במאמר כתובות IP לדומיינים שמוגדרים כברירת מחדל מופיע סקריפט Python לדוגמה שמחלץ טווחי כתובות IP מקובץ JSON.

  2. משווים את טווח כתובות ה-IP הנוכחי creationTime לטווח כתובות ה-IP creationTime שנקרא מקובץ ה-JSON הקודם. אם יש הבדלים, צריך לעדכן את ההגבלות על גישה ל-IP במאגרי blob ב-Amazon S3 וב-Azure Storage.

    • ב-Amazon S3

      כדי לעדכן את ההגבלות על גישה לכתובות IP ב-blobstore של Amazon S3:

      אם בפרויקט AWS שלכם מוגדרות הגבלות על כתובות IP לגישה לאחסון, אתם צריכים להוסיף את טווחי כתובות ה-IP שמשמשים את העובדים של STS לרשימת כתובות ה-IP המותרות.

      כדי להוסיף את הטווחים האלה ככתובות IP מותרות, משתמשים בשדה Condition ב-bucket policy, כמו שמתואר במסמכי AWS S3 בנושא ניהול גישה על סמך כתובות IP ספציפיות.

    • ב-Azure Storage

      כדי לעדכן את ההגבלות על גישה לכתובות IP ב-blobstore של Azure Storage:

      אם אתם מגבילים את הגישה למשאבי Azure באמצעות חומת אש של Azure Storage, אתם צריכים להוסיף את טווחי כתובות ה-IP שמשמשים את העובדים של STS לרשימת כתובות ה-IP המותרות.

      כדי להוסיף את טווחי כתובות ה-IP האלה ככתובות IP מותרות, פועלים לפי ההוראות במאמר הגדרת חומות אש ורשתות וירטואליות ב-Azure Storage.

הגדרת פיד בדחיפה של Pub/Sub

כדי להגדיר פיד מסוג Pub/Sub push:

  1. יוצרים פיד מסוג Pub/Sub push.
  2. מציינים את כתובת ה-URL של נקודת הקצה במינוי Pub/Sub.

יצירת פיד מסוג Pub/Sub push

  1. בתפריט של Google SecOps, בוחרים באפשרות הגדרות ואז לוחצים על פידים.
  2. לוחצים על הוספת חדש.
  3. בשדה שם הפיד, מזינים שם לפיד.
  4. ברשימה Source type, בוחרים באפשרות Google Cloud Pub/Sub Push.
  5. בוחרים את סוג היומן. לדוגמה, כדי ליצור פיד עבור Open Cybersecurity Schema Framework (מסגרת סכימה פתוחה לאבטחת סייבר), בוחרים באפשרות Open Cybersecurity Schema Framework (OCSF) בתור סוג היומן.
  6. לוחצים על הבא.
  7. אופציונלי: מציינים ערכים לפרמטרים הבאים של הקלט:
    • תו מפריד לפיצול: התו המפריד שמשמש להפרדה בין שורות ביומן. אפשר להשתמש רק ב-\n.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
  8. לוחצים על הבא.
  9. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
  10. בכרטיסייה Details (פרטים), מעתיקים את כתובת ה-URL של נקודת הקצה של הפיד מהשדה Endpoint Information (פרטי נקודת הקצה). צריך את כתובת ה-URL של נקודת הקצה הזו כדי ליצור מינוי דחיפה ב-Pub/Sub.
  11. אופציונלי: לוחצים על המתג הפיד מופעל כדי להשבית את הפיד. הפיד מופעל כברירת מחדל.
  12. לוחצים על סיום.

מציינים את כתובת ה-URL של נקודת הקצה

אחרי שיוצרים פיד מסוג push ב-Pub/Sub, מציינים את כתובת ה-URL של נקודת הקצה באופן הבא: ב-Pub/Sub, יוצרים מינוי דחיפה ומציינים את נקודת הקצה של HTTPS. בוחרים באפשרות הפעלת אימות וחשבון שירות.

  1. יוצרים מינוי דחיפה ב-Pub/Sub. מידע נוסף על יצירת מינוי דחיפה זמין במאמר יצירת מינויי דחיפה.
  2. מציינים את כתובת ה-URL של נקודת הקצה, שזמינה בפיד הדחיפה של Google Cloud Pub/Sub.
  3. בוחרים באפשרות Enable authentication ובוחרים חשבון שירות.

הגדרה של פיד Amazon Data Firehose

כדי להגדיר פיד של Amazon Data Firehose:

  1. יוצרים פיד Amazon Data Firehose ומעתיקים את כתובת ה-URL של נקודת הקצה ואת המפתח הסודי.
  2. יוצרים מפתח API כדי לבצע אימות ל-Google SecOps. אפשר גם לעשות שימוש חוזר במפתח API קיים כדי לבצע אימות ל-Google SecOps.
  3. מציינים את כתובת ה-URL של נקודת הקצה ב-Amazon Data Firehose.

יצירת פיד Amazon Data Firehose

  1. בתפריט של Google SecOps, בוחרים באפשרות הגדרות ואז לוחצים על פידים.
  2. לוחצים על הוספת חדש.
  3. בשדה שם הפיד, מזינים שם לפיד.
  4. ברשימה סוג המקור, בוחרים באפשרות Amazon Data Firehose.
  5. בוחרים את סוג היומן. לדוגמה, כדי ליצור פיד עבור Open Cybersecurity Schema Framework (מסגרת סכימה פתוחה לאבטחת סייבר), בוחרים באפשרות Open Cybersecurity Schema Framework (OCSF) בתור סוג היומן.
  6. לוחצים על הבא.
  7. אופציונלי: מציינים ערכים לפרמטרים הבאים של הקלט:
    • תו מפריד לפיצול: התו המפריד שמשמש להפרדה בין שורות ביומן. אפשר להשתמש רק ב-\n.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
  8. לוחצים על הבא.
  9. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
  10. לוחצים על יצירת מפתח סודי כדי ליצור מפתח סודי לאימות הפיד הזה.
  11. חשוב להעתיק ולשמור את המפתח הסודי כי לא תהיה לך אפשרות לראות אותו שוב. אפשר ליצור מחדש מפתח סודי חדש, אבל יצירה מחדש של המפתח הסודי מבטלת את המפתח הסודי הקודם.
  12. בכרטיסייה פרטים, מעתיקים את כתובת ה-URL של נקודת הקצה של הפיד מהשדה פרטי נקודת הקצה. תצטרכו את כתובת ה-URL של נקודת הקצה הזו כשתציינו את הגדרות היעד של זרם ההעברה ב-Amazon Data Firehose.
  13. אופציונלי: לוחצים על המתג הפיד מופעל כדי להשבית את הפיד. הפיד מופעל כברירת מחדל.
  14. לוחצים על סיום.

יצירת מפתח API לשימוש בפיד Amazon Data Firehose

כדי ליצור מפתח API לשימוש בפיד Amazon Data Firehose:

  1. עוברים לדף Credentials במסוף Google Cloud .
  2. לוחצים על Create credentials ובוחרים באפשרות API key.
  3. להגביל את הגישה של מפתח ה-API ל-Chronicle API.

מציינים את כתובת ה-URL של נקודת הקצה

ב-Amazon Data Firehose, מציינים את נקודת הקצה מסוג HTTPS ואת מפתח הגישה, באופן הבא:

  1. מוסיפים את מפתח ה-API לכתובת ה-URL של נקודת הקצה של הפיד ומציינים את כתובת ה-URL הזו ככתובת ה-URL של נקודת הקצה של ה-HTTP בפורמט הבא:

      ENDPOINT_URL?key=API_KEY

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ENDPOINT_URL: כתובת ה-URL של נקודת הקצה של הפיד.
    • ‫API_KEY: מפתח ה-API לאימות ב-Google SecOps.

  2. במקום מפתח הגישה, מציינים את המפתח הסודי שקיבלתם כשנוצר פיד Amazon Data Firehose.

הגדרת פיד webhook ב-HTTPS

לפני שמתחילים:

  • מוודאים שהוגדר פרויקטGoogle Cloud ל-Google SecOps וש-Chronicle API מופעל בפרויקט.

  • קישור של מכונת Google SecOps אל Google Cloud שירותים.

כדי להגדיר פיד webhook של HTTPS:

  1. יוצרים פיד של תגובה לפעולה מאתר אחר (webhook) מסוג HTTPS ומעתיקים את כתובת ה-URL של נקודת הקצה ואת המפתח הסודי.
  2. יוצרים מפתח API שמוגדר עם כתובת ה-URL של נקודת הקצה. אפשר גם לעשות שימוש חוזר במפתח ה-API הקיים כדי לבצע אימות ל-Google SecOps.
  3. מציינים את כתובת ה-URL של נקודת הקצה באפליקציה.

שליחת כמה אירועים בבקשת webhook אחת

בדוגמת הקוד הבאה אפשר לראות איך מעצבים גוף של בקשה יחידה עם כמה אובייקטים של JSON שמופרדים באמצעות שורות חדשות אחרי הפריט curl --location:

--header 'Content-Type: application/json' \
--header 'X-goog-api-key: API_KEY' \
--header 'X-Webhook-Access-Key: SECRET' \
--data '{"principal": {"asset_id": "asset 123"}, "metadata": {"event_type": "GENERIC_EVENT", "product_name": "Product Acme"}}
{"principal": {"asset_id": "asset 123"}, "metadata": {"event_type": "GENERIC_EVENT", "product_name": "Product Acme"}}'

יצירת פיד webhook ב-HTTPS

  1. בתפריט של Google SecOps, בוחרים באפשרות הגדרות ואז לוחצים על פידים.
  2. לוחצים על הוספת חדש.
  3. בשדה שם הפיד, מזינים שם לפיד.
  4. ברשימה סוג המקור, בוחרים באפשרות Webhook.
  5. בוחרים את סוג היומן. לדוגמה, כדי ליצור פיד עבור Open Cybersecurity Schema Framework (מסגרת סכימה פתוחה לאבטחת סייבר), בוחרים באפשרות Open Cybersecurity Schema Framework (OCSF) בתור סוג היומן.
  6. לוחצים על הבא.
  7. אופציונלי: מציינים ערכים לפרמטרים הבאים של הקלט:
    • תו מפריד לפיצול: התו המפריד שמשמש להפרדה בין שורות ביומן. אפשר להשתמש רק ב-\n.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
  8. לוחצים על הבא.
  9. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
  10. לוחצים על יצירת מפתח סודי כדי ליצור מפתח סודי לאימות הפיד הזה.
  11. חשוב להעתיק ולשמור את המפתח הסודי כי לא תהיה לך אפשרות לראות אותו שוב. אפשר ליצור מחדש מפתח סודי חדש, אבל יצירה מחדש של המפתח הסודי מבטלת את המפתח הסודי הקודם.
  12. בכרטיסייה Details (פרטים), מעתיקים את כתובת ה-URL של נקודת הקצה של הפיד מהשדה Endpoint Information (פרטי נקודת הקצה). צריך לציין את כתובת ה-URL של נקודת הקצה הזו באפליקציית הלקוח.
  13. אופציונלי: לוחצים על המתג הפיד מופעל כדי להשבית את הפיד. הפיד מופעל כברירת מחדל.
  14. לוחצים על סיום.

יצירת מפתח API ל-Webhook Feed

  1. עוברים לדף Credentials במסוף Google Cloud .
  2. לוחצים על Create credentials ואז על API key.
  3. להגביל את הגישה של מפתח ה-API ל-Chronicle API.

מציינים את כתובת ה-URL של נקודת הקצה

  1. באפליקציית הלקוח, מציינים את נקודת הקצה מסוג HTTPS, שזמינה בפיד של ה-webhook.

  2. כדי להפעיל אימות, צריך לציין את מפתח ה-API ואת המפתח הסודי כחלק מהכותרת המותאמת אישית בפורמט הבא:

    X-goog-api-key = API_KEY

    X-Webhook-Access-Key = SECRET

    מומלץ לציין את מפתח ה-API ככותרת במקום לציין אותו בכתובת ה-URL. אם לקוח ה-webhook שלכם לא תומך בכותרות בהתאמה אישית, אתם יכולים לציין את מפתח ה-API ואת המפתח הסודי באמצעות פרמטרים של שאילתה בפורמט הבא:

      ENDPOINT_URL?key=API_KEY&secret=SECRET

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ENDPOINT_URL: כתובת ה-URL של נקודת הקצה של הפיד.
    • ‫API_KEY: מפתח ה-API לאימות ב-Google SecOps.
    • ‫SECRET: המפתח הסודי שיצרתם כדי לאמת את הפיד.

ניהול פידים

אחרי שמגדירים את פידי הנתונים, אפשר להשתמש בכלי הניהול כדי לעקוב אחרי תקינות ההטמעה, לשנות פרמטרים קיימים ולנהל את מחזור החיים של הפיד. בקטע הזה מוסבר איך לפרש את סטטוסי הפידים ולבצע משימות תחזוקה חיוניות כדי להבטיח שהנתונים יהיו גלויים באופן רציף.

בדף פידים יש כמה כלים שיעזרו לכם להתמצא ברשימת הפידים שהגדרתם ולארגן אותה:

  • חיפוש: משתמשים בסרגל החיפוש כדי למצוא פיד לפי שם הפיד, מזהה הפיד או סוג המקור.

  • מסנן: לוחצים על סמל המסנן כדי לצמצם את הרשימה לפי מאפייני פיד ספציפיים.

  • הורדת קובץ CSV: לוחצים על הורדה כקובץ CSV כדי לייצא את רשימת הפידים הנוכחית לקובץ CSV.

  • עימוד: אפשר להשתמש בפקדי העימוד כדי:

    • משנים את מספר השורות בכל דף.

    • כדי לעבור בין הדפים של הפידים, משתמשים בכרטיסיות של הדפים ובחיצים.

  • הזמן האחרון שבו בוצע רענון: חותמת הזמן מראה מתי רשימת הפידים עודכנה לאחרונה.

צפייה בפידים שהוגדרו

בדף פידים מוצגים כל הפידים שהגדרתם.

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים). בדף הראשי מוצגים כל הפידים שהגדרתם.
  2. מעבירים את הסמן מעל כל שורה כדי להציג את התפריט more_vert אפשרויות נוספות.
  3. בתפריט, אפשר לראות את פרטי הפיד, לערוך, להשבית או למחוק את הפיד.

מעקב אחר סטטוס הפיד

אפשר לעקוב אחרי הסטטוס של הפיד בדף פידים הראשוני, שבו הפידים יכולים לקבל את הסטטוסים הבאים:

  • פעיל: הפיד מוגדר ומוכן להעברת נתונים לחשבון Google SecOps.
  • InProgress: מערכת Google SecOps מנסה לשלוף נתונים מהצד השלישי שהוגדר.
  • הושלם: הפיד הזה אחזר את הנתונים בהצלחה.
  • הועבר לארכיון: הפיד מושבת.

  • נכשל: לא ניתן לאחזר נתונים מהפיד. סביר להניח שהסיבה לכך היא בעיה בהגדרות. לוחצים על השאלה כדי להציג את שגיאת ההגדרה. אחרי שמתקנים את השגיאה ושולחים מחדש את הפיד, חוזרים לדף פידים כדי לבדוק אם הפיד פועל עכשיו.

עריכה של פידים קיימים

בדף פידים, אפשר לערוך פיד קיים באופן הבא:

  1. מעבירים את מצביע העכבר מעל פיד קיים ולוחצים על more_vert בעמודה השמאלית.

  2. לוחצים על עריכת הפיד. מעכשיו אפשר לשנות את פרמטרי הקלט של הפיד ולשלוח אותו מחדש ל-Google SecOps, שינסה להשתמש בפיד המעודכן.

הפעלה והשבתה של פידים

בעמודה סטטוס, פידים מופעלים מסומנים בתוויות פעיל, בתהליך, הושלם או נכשל. שדות מושבתים מסומנים בתווית הועבר לארכיון. תיאור מופיע במאמר בנושא סטטוס הפיד.

בדף פידים אפשר להפעיל או להשבית כל אחד מהפידים הקיימים:

  1. מעבירים את מצביע העכבר מעל פיד קיים ולוחצים על more_vert בעמודה השמאלית.

  2. אופציונלי: לוחצים על המתג הפיד מופעל כדי להשבית את הפיד.

  3. אופציונלי: לוחצים על המתג השבתת הפיד כדי להשבית את הפיד. הפיד מסומן עכשיו בתווית הועבר לארכיון.

מחיקת פידים

בדף פידים אפשר גם למחוק פיד קיים:

  1. מעבירים את מצביע העכבר מעל פיד קיים ולוחצים על more_vert בעמודה השמאלית.

  2. לוחצים על מחיקת פיד. נפתח החלון DELETE FEED (מחיקת פיד). כדי למחוק את הפיד באופן סופי, לוחצים על כן, למחוק.

שליטה בקצב ההטמעה

כשקצב הטמעת הנתונים בדייר מגיע לסף מסוים, Google Security Operations מגביל את קצב הטמעת הנתונים של פידים חדשים של נתונים כדי למנוע ממקור עם קצב הטמעת נתונים גבוה להשפיע על קצב הטמעת הנתונים של מקור נתונים אחר. במקרה כזה, יש עיכוב אבל לא מתרחש אובדן נתונים. הסף נקבע לפי נפח ההטמעה והיסטוריית השימוש של הדייר.

כדי לבקש להגדיל את מגבלת הקצב, אפשר לפנות אל Cloud Customer Care.

פתרון בעיות בפידים שההעלאה שלהם נכשלה

בדף פידים אפשר לראות פרטים כמו סוג המקור, סוג היומן, מזהה הפיד והסטטוס של הפידים הקיימים, באופן הבא:

  1. מעבירים את מצביע העכבר מעל פיד קיים ולוחצים על more_vert בעמודה השמאלית.

  2. לוחצים על הצגת הפיד. מופיעה תיבת דו-שיח עם פרטי הפיד. אם הפיד נכשל, אפשר לראות את פרטי השגיאה בקטע פרטים > סטטוס.

אם הפיד נכשל, הפרטים כוללים את סיבת השגיאה ושלבים לתיקון שלה.

בטבלה שגיאות במקורות ובקליטה מפורטות הודעות שגיאה שיכולות להופיע כשעובדים עם פידים של נתונים.

כדי לנתח את הפעילות בפיד ולפתור בעיות, אפשר לעיין ביומנים ב-Cloud Logging. אפשר לעיין במאמר בנושא ניתוח פעילות הפיד באמצעות Cloud Logging.

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.