איסוף יומנים של Proofpoint Web Browser Isolation

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומנים של Proofpoint Web Browser Isolation ב-Google Security Operations באמצעות Google Cloud Storage V2.

‫Proofpoint Web Browser Isolation הוא שירות בידוד דפדפן מרחוק שמגן על משתמשים מפני איומים באינטרנט על ידי עיבוד תוכן אינטרנט בסביבת ענן מאובטחת, ומונע מקוד זדוני להגיע לנקודת הקצה. הוא מספק יומנים של פעילות הגלישה דרך Proofpoint TAP SIEM API. הכלי לניתוח נתונים מחלץ שדות מנתוני אירועי הבידוד וממפה אותם למודל הנתונים המאוחד (UDM), ומתעד סיווגים של כתובות URL, פעולות משתמשים, מצבי אבטחה ומטא-נתונים של סשן גלישה.

לפני שמתחילים

חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:

  • מופע של Google SecOps
  • פרויקט ב-GCP עם Cloud Storage API מופעל
  • הרשאות ליצירה ולניהול של מאגרי GCS
  • הרשאות לניהול מדיניות IAM בקטגוריות GCS
  • הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
  • גישה עם הרשאות ל-Proofpoint באמצעות פרטי כניסה ל-TAP SIEM API (Service Principal ו-API Secret)

יצירת קטגוריה של Google Cloud Storage

  1. נכנסים אל מסוף Google Cloud.
  2. בוחרים פרויקט או יוצרים פרויקט חדש.
  3. בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
  4. לוחצים על Create bucket.

  5. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, proofpoint-wbi-logs)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1).
    סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות)
    בקרת גישה אחיד (מומלץ)
    כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים

  6. לוחצים על יצירה.

איסוף פרטי הכניסה ל-Proofpoint TAP SIEM API

קבלת פרטי כניסה ל-API

  1. נכנסים אל מרכז הבקרה של Proofpoint TAP.
  2. עוברים אל הגדרות > אפליקציות מקושרות.
  3. לוחצים על Create New Credential (או משתמשים בפרטי כניסה קיימים ל-SIEM API).

  4. מעתיקים את פרטי הכניסה הבאים ושומרים אותם באופן מאובטח:

    • Service Principal: מעתיקים את הערך הזה.
    • ‫API Secret: מעתיקים את הערך הזה

אימות ההרשאות

כדי לוודא שלפרטי הכניסה ל-API יש את ההרשאות הנדרשות:

  1. נכנסים ללוח הבקרה של Proofpoint TAP.
  2. עוברים אל הגדרות > אפליקציות מקושרות.
  3. מוודאים שהאישורים מופיעים ברשימה ושהסטטוס שלהם הוא Active.
  4. מוודאים שלפרטי הכניסה יש גישה ל-SIEM API.

בדיקת הגישה ל-API

  • לפני שממשיכים בשילוב, חשוב לבדוק את פרטי הכניסה:

    # Replace with your actual credentials
SERVICE_PRINCIPAL="<your-service-principal>"
API_SECRET="<your-api-secret>"

# Test TAP SIEM API access - fetch events from last hour
curl -v -u "${SERVICE_PRINCIPAL}:${API_SECRET}" \
  "https://tap-api-v2.proofpoint.com/v2/siem/all?format=json&sinceSeconds=3600"

יצירת חשבון שירות לפונקציית Cloud Run

פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריה של GCS והרשאה להפעלה על ידי Pub/Sub.

יצירת חשבון שירות

  1. במסוף GCP, עוברים אל IAM & Admin > Service Accounts.
  2. לוחצים על יצירת חשבון שירות.
  3. מספקים את פרטי ההגדרה הבאים:
    • שם חשבון השירות: מזינים proofpoint-wbi-collector-sa
    • תיאור חשבון השירות: מזינים Service account for Cloud Run function to collect Proofpoint Web Browser Isolation logs
  4. לוחצים על יצירה והמשך.
  5. בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
    1. לוחצים על בחירת תפקיד.
    2. מחפשים את Storage Object Admin ולוחצים עליו.
    3. לוחצים על + הוספת תפקיד נוסף.
    4. מחפשים את האפשרות Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליה.
    5. לוחצים על + הוספת תפקיד נוסף.
    6. מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
  6. לוחצים על Continue.
  7. לוחצים על סיום.

התפקידים האלה נדרשים כדי:

  • אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קבצי מצב
  • ‫Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
  • Cloud Functions Invoker: מאפשר הפעלה של פונקציות

מתן הרשאות IAM בקטגוריית GCS

נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, proofpoint-wbi-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון של חשבון השירות (לדוגמה, proofpoint-wbi-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
  6. לוחצים על Save.

יוצרים נושא Pub/Sub

יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.

  1. במסוף GCP, עוברים אל Pub/Sub > Topics.
  2. לוחצים על יצירת נושא.
  3. מספקים את פרטי ההגדרה הבאים:
    • מזהה הנושא: מזינים proofpoint-wbi-trigger
    • השארת ההגדרות האחרות כברירת מחדל
  4. לוחצים על יצירה.

יצירת פונקציית Cloud Run לאיסוף יומנים

הפונקציה Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר אירועי בידוד דפדפן מ-Proofpoint TAP SIEM API ולכתוב אותם ב-GCS.

  1. במסוף GCP, עוברים אל Cloud Run.
  2. לוחצים על יצירת שירות.
  3. בוחרים באפשרות Function (שימוש בעורך ישיר ליצירת פונקציה).

  4. בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם השירות proofpoint-wbi-collector
    אזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)
    זמן ריצה בוחרים באפשרות Python 3.12 ואילך.

  5. בקטע טריגר (אופציונלי):

    1. לוחצים על + הוספת טריגר.
    2. בוחרים באפשרות Cloud Pub/Sub.
    3. בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא ב-Pub/Sub ‏ (proofpoint-wbi-trigger).
    4. לוחצים על Save.

  6. בקטע Authentication:

    1. בוחרים באפשרות דרישת אימות.
    2. בודקים את ניהול זהויות והרשאות גישה (IAM).

  7. גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי תגים, רשתות, אבטחה).

  8. עוברים לכרטיסייה אבטחה:

    • חשבון שירות: בוחרים את חשבון השירות (proofpoint-wbi-collector-sa)

  9. עוברים לכרטיסייה מאגרי תגים:

    1. לוחצים על Variables & Secrets (משתנים וסודות).
    2. לוחצים על + הוספת משתנה לכל משתנה סביבתי:
    שם המשתנה ערך לדוגמה תיאור
    GCS_BUCKET proofpoint-wbi-logs שם קטגוריית GCS
    GCS_PREFIX wbi-logs קידומת לקובצי יומן
    STATE_KEY wbi-logs/state.json נתיב קובץ תמונת מצב
    SERVICE_PRINCIPAL your-service-principal ‫Proofpoint TAP Service Principal
    API_SECRET your-api-secret ‫API Secret של Proofpoint TAP
    LOOKBACK_SECONDS 3600 תקופת מבט לאחור בשניות (ברירת מחדל: שעה אחת)

  10. בקטע Variables & Secrets, גוללים למטה אל Requests:

    • זמן קצוב לתפוגת בקשה: מזינים 600 שניות (10 דקות)

  11. עוברים לכרטיסייה הגדרות:

    • בקטע Resources (מקורות מידע):
      • זיכרון: בוחרים באפשרות 512MiB או יותר
      • ‫CPU: בוחרים באפשרות 1

  12. בקטע שינוי קנה מידה של העריכה:

    • מספר מינימלי של מופעים: מזינים 0
    • מספר מקסימלי של מופעים: מזינים 100 (או משנים בהתאם לעומס הצפוי)

  13. לוחצים על יצירה.

  14. ממתינים ליצירת השירות (1-2 דקות).

  15. אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.

הוספת קוד פונקציה

  1. מזינים main בשדה Entry point.

  2. בעורך הקוד המוטבע, יוצרים שני קבצים:

    • הקובץ הראשון – main.py:

      import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone, timedelta
import time
import base64

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
  timeout=urllib3.Timeout(connect=5.0, read=60.0),
  retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'wbi-logs')
STATE_KEY = os.environ.get('STATE_KEY', 'wbi-logs/state.json')
SERVICE_PRINCIPAL = os.environ.get('SERVICE_PRINCIPAL')
API_SECRET = os.environ.get('API_SECRET')
LOOKBACK_SECONDS = int(os.environ.get('LOOKBACK_SECONDS', '3600'))

TAP_API_BASE = "https://tap-api-v2.proofpoint.com/v2/siem"

def parse_datetime(value: str) -> datetime:
  """Parse ISO datetime string to datetime object."""
  if value.endswith("Z"):
    value = value[:-1] + "+00:00"
  return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
  """
  Cloud Run function triggered by Pub/Sub to fetch Proofpoint
  Web Browser Isolation events via TAP SIEM API and write to GCS.

  Args:
    cloud_event: CloudEvent object containing Pub/Sub message
  """

  if not all([GCS_BUCKET, SERVICE_PRINCIPAL, API_SECRET]):
    print('Error: Missing required environment variables')
    return

  try:
    # Get GCS bucket
    bucket = storage_client.bucket(GCS_BUCKET)

    # Load state
    state = load_state(bucket, STATE_KEY)

    now = datetime.now(timezone.utc)

    # Determine since_seconds from state
    since_seconds = LOOKBACK_SECONDS
    if isinstance(state, dict) and state.get("last_event_time"):
      try:
        last_time = parse_datetime(state["last_event_time"])
        elapsed = (now - last_time).total_seconds()
        # Add 120 seconds overlap to catch delayed events
        since_seconds = int(elapsed) + 120
        # TAP API maximum is 1 hour (3600 seconds)
        since_seconds = min(since_seconds, 3600)
      except Exception as e:
        print(f"Warning: Could not parse last_event_time: {e}")

    print(f"Fetching events from last {since_seconds} seconds")

    # Build auth header (Basic auth)
    auth_string = f"{SERVICE_PRINCIPAL}:{API_SECRET}"
    auth_bytes = auth_string.encode('utf-8')
    auth_b64 = base64.b64encode(auth_bytes).decode('utf-8')

    # Fetch all SIEM events
    records = fetch_siem_events(
      auth_b64=auth_b64,
      since_seconds=since_seconds,
    )

    if not records:
      print("No new events found.")
      save_state(bucket, STATE_KEY, now.isoformat())
      return

    # Write to GCS as NDJSON
    timestamp = now.strftime('%Y%m%d_%H%M%S')
    object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson"
    blob = bucket.blob(object_key)

    ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in records]) + '\n'
    blob.upload_from_string(ndjson, content_type='application/x-ndjson')

    print(f"Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}")

    # Update state
    save_state(bucket, STATE_KEY, now.isoformat())

    print(f"Successfully processed {len(records)} records")

  except Exception as e:
    print(f'Error processing logs: {str(e)}')
    raise

def load_state(bucket, key):
  """Load state from GCS."""
  try:
    blob = bucket.blob(key)
    if blob.exists():
      state_data = blob.download_as_text()
      return json.loads(state_data)
  except Exception as e:
    print(f"Warning: Could not load state: {e}")

  return {}

def save_state(bucket, key, last_event_time_iso: str):
  """Save the last event timestamp to GCS state file."""
  try:
    state = {'last_event_time': last_event_time_iso}
    blob = bucket.blob(key)
    blob.upload_from_string(
      json.dumps(state, indent=2),
      content_type='application/json'
    )
    print(f"Saved state: last_event_time={last_event_time_iso}")
  except Exception as e:
    print(f"Warning: Could not save state: {e}")

def fetch_siem_events(auth_b64: str, since_seconds: int):
  """
  Fetch events from the Proofpoint TAP SIEM API.

  The TAP SIEM API returns all event types (clicks, messages, isolation)
  in a single response. The sinceSeconds parameter controls the lookback window
  (maximum 3600 seconds / 1 hour).

  Args:
    auth_b64: Base64-encoded Service Principal:API Secret for Basic auth
    since_seconds: Fetch events from the last N seconds (max 3600)

  Returns:
    List of event records
  """
  headers = {
    'Authorization': f'Basic {auth_b64}',
    'Accept': 'application/json',
    'User-Agent': 'GoogleSecOps-ProofpointWBICollector/1.0',
  }

  url = f"{TAP_API_BASE}/all?format=json&sinceSeconds={since_seconds}"
  backoff = 1.0
  max_retries = 3

  for attempt in range(max_retries):
    try:
      response = http.request('GET', url, headers=headers)

      # Handle rate limiting with exponential backoff
      if response.status == 429:
        retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
        print(f"Rate limited (429). Retrying after {retry_after}s...")
        time.sleep(retry_after)
        backoff = min(backoff * 2, 30.0)
        continue

      if response.status != 200:
        print(f"HTTP Error: {response.status}")
        response_text = response.data.decode('utf-8')
        print(f"Response body: {response_text}")
        return []

      data = json.loads(response.data.decode('utf-8'))

      # TAP SIEM API returns events grouped by type
      all_events = []

      # Collect all event types
      for key in ['clicksPermitted', 'clicksBlocked', 'messagesDelivered', 'messagesBlocked']:
        events = data.get(key, [])
        if events:
          for event in events:
            event['_tap_event_type'] = key
          all_events.extend(events)
          print(f"Retrieved {len(events)} {key} events")

      print(f"Total events retrieved: {len(all_events)}")
      return all_events

    except Exception as e:
      print(f"Error fetching SIEM events (attempt {attempt + 1}): {e}")
      if attempt < max_retries - 1:
        time.sleep(backoff)
        backoff = min(backoff * 2, 30.0)

  return []

    • קובץ שני – requirements.txt:

      functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.

  4. ממתינים לסיום הפריסה (2-3 דקות).

יצירת משימה ב-Cloud Scheduler

‫Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את הפונקציה של Cloud Run.

  1. במסוף GCP, עוברים אל Cloud Scheduler.
  2. לוחצים על Create Job (יצירת משימה).

  3. מספקים את פרטי ההגדרה הבאים:

    הגדרה ערך
    שם proofpoint-wbi-collector-hourly
    אזור בחירה באותו אזור כמו פונקציית Cloud Run
    תדירות ‫0 * * * * (כל שעה, בדיוק בשעה)
    אזור זמן בחירת אזור זמן (מומלץ לבחור UTC)
    סוג הטירגוט Pub/Sub
    נושא בוחרים את נושא Pub/Sub (proofpoint-wbi-trigger).
    גוף ההודעה ‫{} (אובייקט JSON ריק)

  4. לוחצים על יצירה.

אפשרויות לתדירות התזמון

בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:

תדירות ביטוי Cron תרחיש לדוגמה
כל 5 דקות */5 * * * * נפח גבוה, זמן אחזור נמוך
כל 15 דקות */15 * * * * נפח חיפושים בינוני
כל שעה 0 * * * * רגיל (מומלץ)

בדיקת השילוב

  1. במסוף Cloud Scheduler, מוצאים את העבודה.
  2. לוחצים על הפעלת המשימה בכוח כדי להפעיל את המשימה באופן ידני.
  3. מחכים כמה שניות.
  4. עוברים אל Cloud Run > Services.
  5. לוחצים על שם הפונקציה (proofpoint-wbi-collector).
  6. לוחצים על הכרטיסייה Logs (יומנים).

  7. מוודאים שהפונקציה בוצעה בהצלחה. מחפשים:

    Fetching events from last 3600 seconds
Retrieved X clicksPermitted events
Retrieved X messagesDelivered events
Total events retrieved: X
Wrote X records to gs://proofpoint-wbi-logs/wbi-logs/logs_YYYYMMDD_HHMMSS.ndjson
Successfully processed X records

  8. עוברים אל Cloud Storage > Buckets (קטגוריות).

  9. לוחצים על שם הקטגוריה (proofpoint-wbi-logs).

  10. עוברים לתיקייה עם הקידומת (wbi-logs/).

  11. מוודאים שנוצר קובץ .ndjson חדש עם חותמת הזמן הנוכחית.

אם מופיעות שגיאות ביומנים:

  • ‫HTTP 401: בדיקת Service Principal ו-API Secret במשתני סביבה
  • HTTP 403: מוודאים שלפרטי הכניסה יש גישה ל-SIEM API ושהאירועים של בידוד הדפדפן כלולים במינוי
  • ‫HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה לפני ניסיון חוזר (backoff)
  • חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים

אחזור חשבון השירות של Google SecOps

‫Google SecOps משתמש בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה של GCS. צריך להעניק לחשבון השירות הזה גישה לדלי.

קבלת כתובת האימייל בחשבון השירות

  1. עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על Configure a single feed (הגדרת פיד יחיד).
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Proofpoint Web Browser Isolation Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות Proofpoint Web Browser Isolation בתור סוג היומן.
  7. לוחצים על קבלת חשבון שירות.

  8. תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  9. מעתיקים את כתובת האימייל הזו לשימוש בשלב הבא.

  10. לוחצים על הבא.

  11. מציינים ערכים לפרמטרים הבאים של הקלט:

    • כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:

      gs://proofpoint-wbi-logs/wbi-logs/
      • מחליפים את:
        • ‫proofpoint-wbi-logs: השם של קטגוריית GCS.
        • ‫wbi-logs: קידומת אופציונלית או נתיב לתיקייה שבה מאוחסנים היומנים (אם לא מציינים כלום, היומנים מאוחסנים בתיקיית הבסיס).

    • אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:

      • אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
      • מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת.

      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.

    • הגיל המקסימלי של הקובץ: כולל קבצים ששונו במספר הימים האחרון (ברירת המחדל היא 180 ימים)

    • מרחב השמות של הנכס: מרחב השמות של הנכס

    • תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה

  12. לוחצים על הבא.

  13. בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.

הענקת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.

  1. עוברים אל Cloud Storage > Buckets (קטגוריות).
  2. לוחצים על שם הקטגוריה (לדוגמה, proofpoint-wbi-logs).
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מספקים את פרטי ההגדרה הבאים:
    • Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון.

  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM היגיון
metadata.event_type סוג האירוע
קטגוריות metadata.product_event_type סוג אירוע שספציפי למוצר
parentPageURL metadata.url_back_to_product כתובת URL שמקשרת חזרה למוצר
אזור principal.location.country_or_region המדינה או האזור שבהם נמצא העיקרון
תחום (zone) principal.location.name שם המיקום של הגורם העיקרי
userId principal.user.product_object_id מזהה ספציפי למוצר של המשתמש
userName principal.user.userid מזהה המשתמש
security_result security_result פרטי תוצאות האבטחה
מחיקה security_result.action פעולת האבטחה שבוצעה
מחיקה security_result.action_details פרטים על פעולת האבטחה
סיווג security_result.detection_fields שדות שקשורים לזיהוי
url target.url כתובת ה-URL של משאב היעד
metadata.product_name שם המוצר
metadata.vendor_name שם הספק

יומן שינויים

צפייה ביומן השינויים של מנתח התוכן הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.