איסוף יומנים של Proofpoint Web Browser Isolation

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומנים של Proofpoint Web Browser Isolation ב-Google Security Operations באמצעות Google Cloud Storage V2.

‫Proofpoint Web Browser Isolation הוא שירות לבידוד דפדפנים מרחוק שמגן על המשתמשים מפני איומים באינטרנט. השירות מעבד תוכן מהאינטרנט בסביבת ענן מאובטחת, וכך מונע מקוד זדוני להגיע לנקודת הקצה. הוא מספק יומני פעילות גלישה דרך Proofpoint TAP SIEM API. המנתח מחלץ שדות מנתוני אירועי הבידוד וממפה אותם למודל הנתונים המאוחד (UDM), ומתעד סיווגי כתובות URL, פעולות של משתמשים, נטיות אבטחה ומטא-נתונים של סשנים של גלישה.

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • פרויקט ב-GCP שבו מופעל Cloud Storage API
  • הרשאות ליצירה ולניהול של קטגוריות ב-GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות של GCS
  • הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
  • גישה מיוחדת ל-Proofpoint עם פרטי הכניסה של TAP SIEM API (מזהה השירות ו-API Secret)

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים למסוף Google Cloud.
  2. בוחרים את הפרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, proofpoint-wbi-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1)
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
    בקרת גישה אחידה (מומלץ)
    כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים
  6. לוחצים על יצירה.

איסוף פרטי הכניסה ל-Proofpoint TAP SIEM API

קבלת פרטי כניסה ל-API

  1. נכנסים למרכז הבקרה של Proofpoint TAP.
  2. עוברים אל הגדרות > אפליקציות מחוברות.
  3. לוחצים על יצירת פרטי כניסה חדשים (או משתמשים בפרטי כניסה קיימים ל-SIEM API).
  4. מעתיקים את פרטי הכניסה הבאים ושומרים אותם במקום מאובטח:

    • ‫Service Principal: מעתיקים את הערך הזה
    • ‫API Secret: מעתיקים את הערך הזה

אימות ההרשאות

כדי לוודא שלפרטי הכניסה ל-API יש את ההרשאות הנדרשות:

  1. נכנסים למרכז הבקרה של Proofpoint TAP.
  2. עוברים אל הגדרות > אפליקציות מחוברות.
  3. מוודאים שפרטי הכניסה מופיעים ברשימה ושהסטטוס שלהם הוא Active.
  4. מוודאים שהגישה ל-SIEM API מופעלת בפרטי הכניסה.

בדיקת הגישה ל-API

  • לפני שממשיכים בתהליך השילוב, בודקים את פרטי הכניסה:

    # Replace with your actual credentials
    SERVICE_PRINCIPAL="<your-service-principal>"
    API_SECRET="<your-api-secret>"
    
    # Test TAP SIEM API access - fetch events from last hour
    curl -v -u "${SERVICE_PRINCIPAL}:${API_SECRET}" \
      "https://tap-api-v2.proofpoint.com/v2/siem/all?format=json&sinceSeconds=3600"
    

יצירת חשבון שירות לפונקציית Cloud Run

לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.

יצירת חשבון שירות

  1. במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
  2. לוחצים על Create Service Account.
  3. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים proofpoint-wbi-collector-sa
    • Service account description: מזינים Service account for Cloud Run function to collect Proofpoint Web Browser Isolation logs
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
    3. לוחצים על + הוספת תפקיד.
    4. מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
    5. לוחצים על + הוספת תפקיד.
    6. מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
  • Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
  • מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות

הענקת הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (לדוגמה, proofpoint-wbi-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה, proofpoint-wbi-collector-sa@PROJECT_ID.iam.gserviceaccount.com)
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יוצרים נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, נכנסים לדף Pub/Sub > Topics.
  2. לוחצים על Create topic.
  3. מזינים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים proofpoint-wbi-trigger
    • משאירים את שאר ההגדרות כברירת מחדל.
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה של Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר אירועי בידוד דפדפן מ-Proofpoint TAP SIEM API ולכתוב אותם ב-GCS.

  1. במסוף GCP, נכנסים ל-Cloud Run.
  2. לוחצים על Create service.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
  4. בקטע Configure, מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות proofpoint-wbi-collector
    אזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר.
  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא ב-Pub/Sub‏ (proofpoint-wbi-trigger).
    4. לוחצים על Save.
  6. בקטע אימות:

    1. לוחצים על דרישת אימות.
    2. בודקים את ניהול הזהויות והרשאות הגישה (IAM).
  7. גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.

  8. עוברים לכרטיסייה אבטחה:

    • Service account: בוחרים את חשבון השירות (proofpoint-wbi-collector-sa)
  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets.
    2. לוחצים על ‎+ Add variable לכל משתנה סביבה:
    שם משתנה ערך לדוגמה תיאור
    GCS_BUCKET proofpoint-wbi-logs שם הקטגוריה ב-GCS
    GCS_PREFIX wbi-logs קידומת לקובצי יומן
    STATE_KEY wbi-logs/state.json נתיב קובץ תמונת המצב
    SERVICE_PRINCIPAL your-service-principal Proofpoint TAP Service Principal
    API_SECRET your-api-secret ‫API Secret של Proofpoint TAP
    LOOKBACK_SECONDS 3600 תקופת מבט לאחור בשניות (ברירת מחדל: שעה)
  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • ‫Request timeout: מזינים 600 שניות (10 דקות)
  11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources:
      • זיכרון: בוחרים באפשרות ‎512 MiB או יותר
      • מעבד (CPU): בוחרים באפשרות 1
  12. בקטע Revision scaling:

    • Minimum number of instances: מזינים 0
    • Maximum number of instances: מזינים 100 (או משנים בהתאם לעומס הצפוי)
  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (דקה או שתיים).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

  1. בשדה Entry point, מזינים main.
  2. בעורך הקוד, יוצרים שני קבצים:

    • הקובץ הראשון – main.py:

      import functions_framework
      from google.cloud import storage
      import json
      import os
      import urllib3
      from datetime import datetime, timezone, timedelta
      import time
      import base64
      
      # Initialize HTTP client with timeouts
      http = urllib3.PoolManager(
        timeout=urllib3.Timeout(connect=5.0, read=60.0),
        retries=False,
      )
      
      # Initialize Storage client
      storage_client = storage.Client()
      
      # Environment variables
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wbi-logs')
      STATE_KEY = os.environ.get('STATE_KEY', 'wbi-logs/state.json')
      SERVICE_PRINCIPAL = os.environ.get('SERVICE_PRINCIPAL')
      API_SECRET = os.environ.get('API_SECRET')
      LOOKBACK_SECONDS = int(os.environ.get('LOOKBACK_SECONDS', '3600'))
      
      TAP_API_BASE = "https://tap-api-v2.proofpoint.com/v2/siem"
      
      def parse_datetime(value: str) -> datetime:
        """Parse ISO datetime string to datetime object."""
        if value.endswith("Z"):
          value = value[:-1] + "+00:00"
        return datetime.fromisoformat(value)
      
      @functions_framework.cloud_event
      def main(cloud_event):
        """
        Cloud Run function triggered by Pub/Sub to fetch Proofpoint
        Web Browser Isolation events via TAP SIEM API and write to GCS.
      
        Args:
          cloud_event: CloudEvent object containing Pub/Sub message
        """
      
        if not all([GCS_BUCKET, SERVICE_PRINCIPAL, API_SECRET]):
          print('Error: Missing required environment variables')
          return
      
        try:
          # Get GCS bucket
          bucket = storage_client.bucket(GCS_BUCKET)
      
          # Load state
          state = load_state(bucket, STATE_KEY)
      
          now = datetime.now(timezone.utc)
      
          # Determine since_seconds from state
          since_seconds = LOOKBACK_SECONDS
          if isinstance(state, dict) and state.get("last_event_time"):
            try:
              last_time = parse_datetime(state["last_event_time"])
              elapsed = (now - last_time).total_seconds()
              # Add 120 seconds overlap to catch delayed events
              since_seconds = int(elapsed) + 120
              # TAP API maximum is 1 hour (3600 seconds)
              since_seconds = min(since_seconds, 3600)
            except Exception as e:
              print(f"Warning: Could not parse last_event_time: {e}")
      
          print(f"Fetching events from last {since_seconds} seconds")
      
          # Build auth header (Basic auth)
          auth_string = f"{SERVICE_PRINCIPAL}:{API_SECRET}"
          auth_bytes = auth_string.encode('utf-8')
          auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')
      
          # Fetch all SIEM events
          records = fetch_siem_events(
            auth_b64=auth_b64,
            since_seconds=since_seconds,
          )
      
          if not records:
            print("No new events found.")
            save_state(bucket, STATE_KEY, now.isoformat())
            return
      
          # Write to GCS as NDJSON
          timestamp = now.strftime('%Y%m%d_%H%M%S')
          object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
          blob = bucket.blob(object_key)
      
          ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
          blob.upload_from_string(ndjson, content_type='application/x-ndjson')
      
          print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")
      
          # Update state
          save_state(bucket, STATE_KEY, now.isoformat())
      
          print(f"Successfully processed {len(records)} records")
      
        except Exception as e:
          print(f'Error processing logs: {str(e)}')
          raise
      
      def load_state(bucket, key):
        """Load state from GCS."""
        try:
          blob = bucket.blob(key)
          if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
        except Exception as e:
          print(f"Warning: Could not load state: {e}")
      
        return {}
      
      def save_state(bucket, key, last_event_time_iso: str):
        """Save the last event timestamp to GCS state file."""
        try:
          state = {'last_event_time': last_event_time_iso}
          blob = bucket.blob(key)
          blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
          )
          print(f"Saved state: last_event_time={last_event_time_iso}")
        except Exception as e:
          print(f"Warning: Could not save state: {e}")
      
      def fetch_siem_events(auth_b64: str, since_seconds: int):
        """
        Fetch events from the Proofpoint TAP SIEM API.
      
        The TAP SIEM API returns all event types (clicks, messages, isolation)
        in a single response. The sinceSeconds parameter controls the lookback window
        (maximum 3600 seconds / 1 hour).
      
        Args:
          auth_b64: Base64-encoded Service Principal:API Secret for Basic auth
          since_seconds: Fetch events from the last N seconds (max 3600)
      
        Returns:
          List of event records
        """
        headers = {
          'Authorization': f'Basic {auth_b64}',
          'Accept': 'application/json',
          'User-Agent': 'GoogleSecOps-ProofpointWBICollector/1.0',
        }
      
        url = f"{TAP_API_BASE}/all?format=json&sinceSeconds={since_seconds}"
        backoff = 1.0
        max_retries = 3
      
        for attempt in range(max_retries):
          try:
            response = http.request('GET', url, headers=headers)
      
            # Handle rate limiting with exponential backoff
            if response.status == 429:
              retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
              print(f"Rate limited (429). Retrying after {retry_after}s...")
              time.sleep(retry_after)
              backoff = min(backoff * 2, 30.0)
              continue
      
            if response.status != 200:
              print(f"HTTP Error: {response.status}")
              response_text = response.data.decode('utf-8')
              print(f"Response body: {response_text}")
              return []
      
            data = json.loads(response.data.decode('utf-8'))
      
            # TAP SIEM API returns events grouped by type
            all_events = []
      
            # Collect all event types
            for key in ['clicksPermitted', 'clicksBlocked', 'messagesDelivered', 'messagesBlocked']:
              events = data.get(key, [])
              if events:
                for event in events:
                  event['_tap_event_type'] = key
                all_events.extend(events)
                print(f"Retrieved {len(events)} {key} events")
      
            print(f"Total events retrieved: {len(all_events)}")
            return all_events
      
          except Exception as e:
            print(f"Error fetching SIEM events (attempt {attempt + 1}): {e}")
            if attempt < max_retries - 1:
              time.sleep(backoff)
              backoff = min(backoff * 2, 30.0)
      
        return []
      
    • הקובץ השני – requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. מחכים שהפריסה תסתיים (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את פונקציית Cloud Run.

  1. במסוף GCP, נכנסים ל-Cloud Scheduler.
  2. לוחצים על Create Job.
  3. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם proofpoint-wbi-collector-hourly
    אזור בוחרים את אותו אזור כמו של פונקציית Cloud Run.
    תדירות ‫0 * * * * (כל שעה, בשעה עגולה)
    אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC)
    סוג היעד Pub/Sub
    נושא בוחרים את נושא Pub/Sub (proofpoint-wbi-trigger)
    גוף ההודעה ‫{} (אובייקט JSON ריק)
  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:

תדירות ביטוי Cron תרחיש לדוגמה
כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
כל 15 דקות */15 * * * * נפח חיפושים בינוני
כל שעה 0 * * * * רגיל (מומלץ)

בדיקת השילוב

  1. במסוף Cloud Scheduler, מוצאים את המשימה.
  2. לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
  3. מחכים כמה שניות.
  4. נכנסים לדף Cloud Run > Services.
  5. לוחצים על שם הפונקציה (proofpoint-wbi-collector).
  6. לוחצים על הכרטיסייה Logs.
  7. מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:

    Fetching events from last 3600 seconds
    Retrieved X clicksPermitted events
    Retrieved X messagesDelivered events
    Total events retrieved: X
    Wrote X records to gs://proofpoint-wbi-logs/wbi-logs/logs_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  8. נכנסים לדף Cloud Storage > Buckets.

  9. לוחצים על שם הקטגוריה (proofpoint-wbi-logs).

  10. עוברים לתיקיית הקידומת (wbi-logs/).

  11. מוודאים שנוצר קובץ .ndjson חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

  • ‫HTTP 401: בודקים את מנהל השירות ואת API Secret במשתני הסביבה
  • HTTP 403: צריך לוודא שלפרטי הכניסה יש גישה ל-SIEM API ושהמינוי כולל אירועי בידוד דפדפן.
  • ‫HTTP 429: הגבלת קצב של יצירת בקשות – הפונקציה תנסה שוב באופן אוטומטי עם השהיה (backoff)
  • חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים

אחזור של חשבון השירות של Google SecOps

מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.

איך מקבלים את כתובת האימייל של חשבון השירות

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Proofpoint Web Browser Isolation Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Proofpoint Web Browser Isolation בתור סוג היומן.
  7. לוחצים על Get Service Account (קבלת חשבון שירות).
  8. תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  9. מעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.

  10. לוחצים על הבא.

  11. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

      gs://proofpoint-wbi-logs/wbi-logs/
      
      • מחליפים את:
        • ‫proofpoint-wbi-logs: השם של קטגוריית GCS.
        • ‫wbi-logs: נתיב אופציונלי לתיקייה או לתחילית שבהם נשמרים היומנים (משאירים ריק בשביל תיקיית הבסיס).
    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:

      • Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
      • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.

    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)

    • מרחב השמות של הנכס: מרחב השמות של הנכס

    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה

  12. לוחצים על הבא.

  13. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

מתן הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על שם הקטגוריה (לדוגמה, proofpoint-wbi-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
    • Assign roles: בוחרים באפשרות Storage Object Viewer.
  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
metadata.event_type סוג האירוע
קטגוריות metadata.product_event_type סוג אירוע ספציפי למוצר
parentPageURL metadata.url_back_to_product כתובת URL שמקשרת חזרה למוצר
אזור principal.location.country_or_region המדינה או האזור שבהם נמצא הגורם המורשה
תחום (zone) principal.location.name שם המיקום של הגורם הראשי
userId principal.user.product_object_id מזהה המשתמש הספציפי למוצר
userName principal.user.userid מזהה המשתמש
security_result security_result פרטי תוצאות האבטחה
מחיקה security_result.action פעולת האבטחה שבוצעה
מחיקה security_result.action_details פרטי פעולת האבטחה
סיווג security_result.detection_fields שדות שקשורים לזיהוי
url target.url כתובת ה-URL של משאב המטרה
metadata.product_name שם המוצר
metadata.vendor_name שם הספק

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.