איסוף יומנים של Splunk Attack Analyzer
במאמר הזה מוסבר איך להטמיע יומנים של Splunk Attack Analyzer ב-Google Security Operations באמצעות Google Cloud Storage V2.
Splunk Attack Analyzer (לשעבר TwinWave) היא פלטפורמה אוטומטית לניתוח איומים שמזהה פישינג ותוכנות זדוניות באמצעות ניתוח התנהגותי. הוא מספק תוצאות של משימות שהושלמו ונתונים פורנזיקה דיגיטלית מנורמלים דרך API בארכיטקטורת REST.
לפני שמתחילים
חשוב לוודא שמתקיימות הדרישות המוקדמות הבאות:
- מופע של Google SecOps
- פרויקט ב-GCP עם Cloud Storage API מופעל
- הרשאות ליצירה ולניהול של קטגוריות GCS
- הרשאות לניהול מדיניות IAM בקטגוריות GCS
- הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות Cloud Scheduler
- גישה עם הרשאות מיוחדות ל-Splunk Attack Analyzer עם הרשאות ליצירת מפתחות API
יצירת קטגוריה של Google Cloud Storage
- נכנסים אל מסוף Google Cloud.
- בוחרים פרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, עוברים אל Cloud Storage > Buckets.
- לוחצים על Create bucket.
מזינים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket (שם הקטגוריה) מזינים שם ייחודי גלובלית (לדוגמה, splunk-attack-analyzer-logs)סוג מיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1).סוג אחסון (storage class) רגיל (מומלץ ליומנים שמתבצעת אליהם גישה לעיתים קרובות) בקרת גישה אחיד (מומלץ) כלים להגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
איסוף פרטי הכניסה ל-Splunk Attack Analyzer API
יצירת מפתח API
- מתחברים אל Splunk Attack Analyzer.
- בוחרים את שם המשתמש בפינה השמאלית העליונה, ואז בוחרים באפשרות מפתחות API.
- לוחצים על + מפתח חדש.
- מזינים שם תיאורי למפתח (לדוגמה,
Google Security Operations Integration). - לוחצים על יצירה.
מעתיקים ושומרים את סוד ה-API שמוצג בחלון המודאלי במקום מאובטח.
אימות ההרשאות
כדי לוודא שלמפתח ה-API יש את הגישה הנדרשת:
- מתחברים אל Splunk Attack Analyzer.
- בוחרים את שם המשתמש בפינה השמאלית העליונה, ואז בוחרים באפשרות מפתחות API.
מוודאים שמפתח ה-API מופיע ופעיל.
בדיקת הגישה ל-API
לפני שממשיכים בשילוב, כדאי לבדוק את פרטי הכניסה:
# Replace with your actual API key API_KEY="your-api-key" # Test API access - list completed jobs curl -v -H "Authorization: Bearer ${API_KEY}" \ "https://app.twinwave.io/api/v1/jobs?done=true&limit=1"
יצירת חשבון שירות לפונקציית Cloud Run
פונקציית Cloud Run צריכה חשבון שירות עם הרשאות כתיבה לקטגוריית GCS והרשאה להפעלה על ידי Pub/Sub.
יצירת חשבון שירות
- במסוף GCP, נכנסים אל IAM & Admin > Service Accounts.
- לוחצים על יצירת חשבון שירות.
- מספקים את פרטי ההגדרה הבאים:
- שם חשבון השירות: מזינים
saa-collector-sa. - תיאור חשבון השירות: מזינים
Service account for Cloud Run function to collect Splunk Attack Analyzer logs.
- שם חשבון השירות: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project (מתן גישה של חשבון השירות הזה לפרויקט), מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את Storage Object Admin ובוחרים בו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את התפקיד Cloud Run Invoker (הפעלת שירותים ב-Cloud Run) ולוחצים עליו.
- לוחצים על + הוספת תפקיד נוסף.
- מחפשים את האפשרות Cloud Functions Invoker (הפעלת פונקציות של Cloud Functions) ולוחצים עליה.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי מצב
- Cloud Run Invoker: מתן הרשאה ל-Pub/Sub להפעיל את הפונקציה
- Cloud Functions Invoker: מאפשר הפעלה של פונקציות
מתן הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריית GCS:
- נכנסים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה (לדוגמה,
splunk-attack-analyzer-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
saa-collector-sa@your-project.iam.gserviceaccount.com). - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- Add principals (הוספת ישויות מורשות): מזינים את כתובת האימייל בחשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, עוברים אל Pub/Sub > Topics.
- לוחצים על יצירת נושא.
- מספקים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
saa-trigger. - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
הפונקציה של Cloud Run תופעל על ידי הודעות Pub/Sub מ-Cloud Scheduler כדי לאחזר יומנים מ-Splunk Attack Analyzer API ולכתוב אותם ב-GCS.
- במסוף GCP, עוברים אל Cloud Run.
- לוחצים על יצירת שירות.
- בוחרים באפשרות Function (שימוש בעורך מוטבע ליצירת פונקציה).
בקטע Configure (הגדרה), מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות saa-collectorאזור בוחרים אזור שתואם ל-GCS Bucket (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 ואילך בקטע Trigger (optional) (טריגר (אופציונלי)):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את הנושא
saa-trigger. - לוחצים על Save.
בקטע אימות:
- לוחצים על דרישת אימות.
- בודקים את ניהול זהויות והרשאות גישה (IAM).
גוללים למטה ומרחיבים את Containers, Networking, Security (מאגרי נתונים, רשתות, אבטחה).
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים את חשבון השירות
saa-collector-sa.
- חשבון שירות: בוחרים את חשבון השירות
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets (משתנים וסודות).
- לוחצים על + הוספת משתנה לכל משתנה סביבתי:
שם המשתנה ערך לדוגמה תיאור GCS_BUCKETsplunk-attack-analyzer-logsשם קטגוריית GCS GCS_PREFIXsaaתוספת לשם של קובצי יומן STATE_KEYsaa/state.jsonנתיב קובץ המצב API_KEYyour-api-keyמפתח API של Splunk Attack Analyzer API_BASEhttps://app.twinwave.ioכתובת בסיסית של API MAX_RECORDS5000מספר הרשומות המקסימלי בכל הפעלה PAGE_SIZE100רשומות בכל דף LOOKBACK_HOURS24תקופת מבט לאחור ראשונית גוללים למטה בכרטיסייה Variables & Secrets (משתנים וסודות) אל Requests (בקשות):
- זמן קצוב לתפוגת בקשה: מזינים
600שניות (10 דקות).
- זמן קצוב לתפוגת בקשה: מזינים
עוברים לכרטיסייה הגדרות במאגרי תגים:
- בקטע מקורות מידע:
- זיכרון: בוחרים באפשרות 512 MiB או יותר.
- מעבד: בוחרים באפשרות 1.
- בקטע מקורות מידע:
בקטע Revision scaling:
- מספר מינימלי של מופעים: מזינים
0. - מספר מקסימלי של מופעים: מזינים
100(או משנים בהתאם לעומס הצפוי).
- מספר מינימלי של מופעים: מזינים
לוחצים על יצירה.
מחכים עד שהשירות ייווצר (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע ייפתח באופן אוטומטי.
הוספת קוד פונקציה
- מזינים main בFunction entry point.
בעורך הקוד המוטבע, יוצרים שני קבצים:
הקובץ הראשון: main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'saa') STATE_KEY = os.environ.get('STATE_KEY', 'saa/state.json') API_KEY = os.environ.get('API_KEY', '') API_BASE = os.environ.get('API_BASE', 'https://app.twinwave.io').rstrip('/') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) def parse_datetime(value: str) -> datetime: """Parse ISO datetime string to datetime object.""" if value.endswith("Z"): value = value[:-1] + "+00:00" return datetime.fromisoformat(value) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Splunk Attack Analyzer logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ if not all([GCS_BUCKET, API_KEY]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) # Load state state = load_state(bucket, STATE_KEY) # Determine time window now = datetime.now(timezone.utc) last_time = None if isinstance(state, dict) and state.get("last_event_time"): try: last_time = parse_datetime(state["last_event_time"]) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") if last_time is None: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching jobs from {last_time.isoformat()} to {now.isoformat()}") # Fetch completed jobs jobs, newest_event_time = fetch_jobs( start_time=last_time, end_time=now, page_size=PAGE_SIZE, max_records=MAX_RECORDS, ) if not jobs: print("No new completed jobs found.") save_state(bucket, STATE_KEY, now.isoformat()) return # Fetch forensics for each job all_records = [] for job in jobs: job_id = job.get('id', '') if not job_id: continue forensics = fetch_forensics(job_id) if forensics: # Combine job metadata with forensics record = { 'job': job, 'forensics': forensics } all_records.append(record) if not all_records: print("No forensics data retrieved.") save_state(bucket, STATE_KEY, now.isoformat()) return # Write to GCS as NDJSON timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/logs_{timestamp}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in all_records]) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Wrote {len(all_records)} records to gs://{GCS_BUCKET}/{object_key}") if newest_event_time: save_state(bucket, STATE_KEY, newest_event_time) else: save_state(bucket, STATE_KEY, now.isoformat()) print(f"Successfully processed {len(all_records)} records") except Exception as e: print(f'Error processing logs: {str(e)}') raise def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, key, last_event_time_iso: str): """Save the last event timestamp to GCS state file.""" try: state = {'last_event_time': last_event_time_iso} blob = bucket.blob(key) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}") def fetch_jobs(start_time: datetime, end_time: datetime, page_size: int, max_records: int): """ Fetch completed jobs from Splunk Attack Analyzer API with pagination and rate limiting. Args: start_time: Start time for job query end_time: End time for job query page_size: Number of records per page max_records: Maximum total records to fetch Returns: Tuple of (jobs list, newest_event_time ISO string) """ endpoint = f"{API_BASE}/api/v1/jobs" headers = { 'Authorization': f'Bearer {API_KEY}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-SAACollector/1.0' } records = [] newest_time = None page_num = 0 backoff = 1.0 offset = 0 while True: page_num += 1 if len(records) >= max_records: print(f"Reached max_records limit ({max_records})") break current_limit = min(page_size, max_records - len(records)) url = f"{endpoint}?done=true&limit={current_limit}&offset={offset}" try: response = http.request('GET', url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429). Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f"HTTP Error: {response.status}") response_text = response.data.decode('utf-8') print(f"Response body: {response_text}") return [], None data = json.loads(response.data.decode('utf-8')) page_results = data.get('jobs', []) if not page_results: print(f"No more results (empty page)") break # Filter by time window filtered = [] for job in page_results: created = job.get('created_at', '') if created: try: job_time = parse_datetime(created) if start_time <= job_time <= end_time: filtered.append(job) if newest_time is None or job_time > parse_datetime(newest_time): newest_time = created except Exception as e: print(f"Warning: Could not parse job time: {e}") filtered.append(job) print(f"Page {page_num}: Retrieved {len(page_results)} jobs, {len(filtered)} in time window") records.extend(filtered) if len(page_results) < page_size: print(f"Reached last page (size={len(page_results)} < limit={page_size})") break offset += len(page_results) except Exception as e: print(f"Error fetching jobs: {e}") return [], None print(f"Retrieved {len(records)} total jobs from {page_num} pages") return records, newest_time def fetch_forensics(job_id: str): """ Fetch normalized forensics for a specific job. Args: job_id: The job ID Returns: Forensics data dict or None """ endpoint = f"{API_BASE}/api/v1/jobs/{job_id}/normalizedforensics" headers = { 'Authorization': f'Bearer {API_KEY}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-SAACollector/1.0' } backoff = 1.0 max_retries = 3 for attempt in range(max_retries): try: response = http.request('GET', endpoint, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited (429) on forensics for job {job_id}. Retrying after {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue if response.status != 200: print(f"Warning: Could not fetch forensics for job {job_id}: HTTP {response.status}") return None return json.loads(response.data.decode('utf-8')) except Exception as e: print(f"Warning: Error fetching forensics for job {job_id}: {e}") if attempt < max_retries - 1: time.sleep(backoff) backoff = min(backoff * 2, 30.0) continue return None return Noneהקובץ השני: requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0
לוחצים על Deploy (פריסה) כדי לשמור ולפרוס את הפונקציה.
ממתינים עד שהפריסה תושלם (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את הפונקציה של Cloud Run.
- במסוף GCP, עוברים אל Cloud Scheduler.
- לוחצים על יצירת משימה.
מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם saa-collector-hourlyאזור בחירה באותו אזור כמו פונקציית Cloud Run תדירות 0 * * * *(כל שעה, בדיוק בשעה)אזור זמן בחירת אזור זמן (מומלץ להשתמש ב-UTC) סוג הטירגוט Pub/Sub נושא בחירת הנושא saa-triggerגוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בחירת התדירות בהתאם לנפח היומן ולדרישות זמן האחזור:
| תדירות | ביטוי Cron | תרחיש לדוגמה |
|---|---|---|
| כל 5 דקות | */5 * * * * |
נפח גבוה, זמן אחזור נמוך |
| כל 15 דקות | */15 * * * * |
נפח חיפושים בינוני |
| כל שעה | 0 * * * * |
רגיל (מומלץ) |
| כל 6 שעות | 0 */6 * * * |
נפח נמוך, עיבוד באצווה |
| יומי | 0 0 * * * |
איסוף נתונים היסטוריים |
בדיקת השילוב
- במסוף Cloud Scheduler, מאתרים את המשימה (
saa-collector-hourly). - לוחצים על הפעלה מאולצת כדי להפעיל את הטריגר באופן ידני.
- מחכים כמה שניות ועוברים אל Cloud Run > Services > saa-collector > Logs.
מוודאים שהפונקציה בוצעה בהצלחה. מחפשים:
Fetching jobs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Page 1: Retrieved X jobs, Y in time window Wrote Z records to gs://splunk-attack-analyzer-logs/saa/logs_YYYYMMDD_HHMMSS.ndjson Successfully processed Z recordsבודקים את מאגר ה-GCS (
splunk-attack-analyzer-logs) כדי לוודא שהיומנים נכתבו.
אם מופיעות שגיאות ביומנים:
- HTTP 401: בדיקת מפתח ה-API במשתני הסביבה
- HTTP 403: מוודאים שלמפתח ה-API יש את ההרשאות הנדרשות
- HTTP 429: הגבלת קצב – הפונקציה תנסה שוב באופן אוטומטי עם השהיה לפני ניסיון חוזר (backoff)
- חסרים משתני סביבה: צריך לוודא שכל המשתנים הנדרשים מוגדרים
הגדרת פיד ב-Google SecOps להטמעה של יומנים מ-Splunk Attack Analyzer
- עוברים אל SIEM Settings > Feeds (הגדרות SIEM > פידים).
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Splunk Attack Analyzer Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Splunk Attack Analyzer בתור סוג היומן.
לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת האימייל בחשבון שירות ייחודי, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו. תשתמשו בו בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://splunk-attack-analyzer-logs/saa/- מחליפים את:
-
splunk-attack-analyzer-logs: שם קטגוריית ה-GCS. -
saa: קידומת אופציונלית או נתיב תיקייה שבהם מאוחסנים היומנים (משאירים ריק בשביל תיקיית הבסיס).
-
- מחליפים את:
אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה לפי ההעדפה שלכם:
- אף פעם: לא נמחקים קבצים אחרי ההעברה (מומלץ לבדיקות).
- מחיקת קבצים שהועברו: הקבצים נמחקים אחרי שההעברה מסתיימת בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת בהצלחה.
הגיל המקסימלי של הקובץ: כולל קבצים ששונו במספר הימים האחרון (ברירת המחדל היא 180 ימים).
מרחב השמות של הנכס: מרחב השמות של הנכס.
תוויות להוספה: התווית שתתווסף לאירועים מהפיד הזה.
לוחצים על הבא.
בודקים את ההגדרות של הפיד החדש במסך סיום ולוחצים על שליחה.
הענקת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- נכנסים אל Cloud Storage > Buckets (קטגוריות).
- לוחצים על שם הקטגוריה (
splunk-attack-analyzer-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מספקים את פרטי ההגדרה הבאים:
- Add principals (הוספת ישויות מורשות): מדביקים את כתובת האימייל בחשבון של חשבון השירות של Google SecOps.
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקט אחסון.
לוחצים על Save.
טבלת מיפוי UDM
| שדה היומן | מיפוי UDM | לוגיקה |
|---|---|---|
| מתי | metadata.event_timestamp | מתי האירוע התרחש |
| deviceName | principal.hostname | שם המארח של הגורם המרכזי |
| messageid | metadata.id | מזהה ייחודי של האירוע |
| פעולה | security_result.action | הפעולה שבוצעה על ידי מוצר האבטחה |
| פרוטוקול | network.ip_protocol | פרוטוקול IP |
| srcAddr | principal.ip | כתובת ה-IP של הגורם המרכזי |
| srcPort | principal.port | מספר היציאה של הגורם העיקרי |
| dstAddr | target.ip | כתובת ה-IP של היעד |
| dstPort | target.port | מספר היציאה של היעד |
| metadata.event_type | סוג האירוע | |
| metadata.product_name | שם המוצר | |
| metadata.vendor_name | שם הספק/שם חברה | |
Attack Analyzer |
metadata.product_name |
מופה מיומן השינויים |
Splunk |
metadata.vendor_name |
מופה מיומן השינויים |
שנה רישום
צפייה ביומן השינויים של כלי הניתוח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.