איסוף יומנים של Menlo Security Isolation Platform (MSIP)
במדריך הזה מוסבר איך להטמיע ב-Google SecOps יומנים של Menlo Security Isolation Platform (MSIP) באמצעות Google Cloud Storage.
הגישה של Menlo Security, שמתמקדת בבידוד, מפצלת את הגלישה באינטרנט ואת אחזור המסמכים בין המכשיר של המשתמש לבין Disposable Virtual Container (DVC) מבודד, הרחק מנקודת הקצה. כל הקוד המסוכן מופעל ב-DVC המבודד ולא מגיע לנקודת הקצה. רק נתוני תצוגה בטוחים נשלחים לדפדפן של המשתמש. הפלטפורמה מספקת רישום מקיף ביומן של גישה לאינטרנט, אירועי ביקורת, אבטחת אימייל, הפרות של DLP ופעילות SMTP.
לפני שמתחילים
ודאו שאתם עומדים בדרישות המוקדמות הבאות:
- מכונה של Google SecOps
- גישה עם הרשאות לפורטל הניהול של Menlo Security
- הרשאות ליצירת אסימוני API ב-Menlo Security
- פרויקט ב-GCP עם ממשקי ה-API של Cloud Storage, Cloud Run, Pub/Sub ו-Cloud Scheduler מופעלים
הגדרת גישה ל-API של Menlo Security
כדי לאפשר לפונקציית Cloud Run לאחזר יומנים, צריך ליצור אסימון API עם הרשאת Log Export API.
יצירת טוקן API
- נכנסים לפורטל הניהול של Menlo Security בכתובת
https://admin.menlosecurity.com. - עוברים אל Settings > Authentication > API Tokens (הגדרות > אימות > אסימוני API).
- לוחצים על Create Token (יצירת אסימון).
- בשדה Token Name, מזינים שם תיאורי (לדוגמה,
Chronicle GCS Integration). - בקטע Permissions, בוחרים באפשרות Log Export API.
- לוחצים על יצירה או על שמירה.
- מעתיקים את אסימון ה-API שנוצר ושומרים אותו במקום מאובטח.
חשוב: האסימון של ה-API מוצג רק פעם אחת. אחסנו אותו במיקום מאובטח מיד אחרי היצירה.
הרשאות ה-API הנדרשות
האסימון של ה-API דורש את ההרשאה הבאה:
הרשאה/היקף רמת גישה מטרה Log Export API קריאה אחזור יומנים מ-Menlo Security API
יצירת קטגוריה של Google Cloud Storage
- נכנסים למסוף Google Cloud.
- בוחרים את הפרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, menlo-security-logs)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1)סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחידה (מומלץ) כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
יצירת חשבון שירות לפונקציית Cloud Run
יצירת חשבון שירות
- במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create Service Account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים
menlo-logs-collector-sa - Service account description: מזינים
Service account for Cloud Run function to collect Menlo Security logs
- Service account name: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
- לוחצים על Continue.
- לוחצים על סיום.
הענקת הרשאות IAM בקטגוריית GCS
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (
menlo-security-logs). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (
menlo-logs-collector-sa@PROJECT_ID.iam.gserviceaccount.com) - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (
- לוחצים על Save.
יצירת נושא Pub/Sub
- במסוף GCP, נכנסים לדף Pub/Sub > Topics.
- לוחצים על Create topic.
- מזינים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
menlo-logs-trigger - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומנים
- במסוף GCP, נכנסים ל-Cloud Run.
- לוחצים על Create service.
- בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
בקטע Configure, מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות menlo-logs-collectorאזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר. בקטע טריגר (אופציונלי):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את
menlo-logs-trigger. - לוחצים על Save.
בקטע אימות:
- לוחצים על דרישת אימות.
- בודקים את ניהול הזהויות והרשאות הגישה (IAM).
גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים באפשרות
menlo-logs-collector-sa
- חשבון שירות: בוחרים באפשרות
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets.
- לוחצים על + Add variable לכל משתנה סביבה:
שם משתנה ערך לדוגמה תיאור GCS_BUCKETmenlo-security-logsשם הקטגוריה ב-GCS GCS_PREFIXmenlo-logsקידומת לקובצי יומן STATE_KEYmenlo-logs/state.jsonנתיב קובץ תמונת המצב MENLO_API_TOKENyour-menlo-api-tokenטוקן API של Menlo Security MENLO_API_HOSTlogs.menlosecurity.comמארח ה-API של Menlo Security MENLO_LOG_TYPESweb,audit,email,dlpסוגי יומנים מופרדים בפסיקים LOOKBACK_HOURS1תקופת המבט לאחור הראשונית בקטע Variables & Secrets, גוללים למטה אל Requests:
- Request timeout: מזינים
600שניות (10 דקות)
- Request timeout: מזינים
עוברים לכרטיסייה הגדרות:
- בקטע Resources:
- זיכרון: בוחרים באפשרות 512 MiB או יותר
- מעבד (CPU): בוחרים באפשרות 1
- בקטע Resources:
בקטע Revision scaling:
- Minimum number of instances: מזינים
0 - Maximum number of instances: מזינים
100
- Minimum number of instances: מזינים
לוחצים על יצירה.
ממתינים ליצירת השירות (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- בשדה Entry point, מזינים main.
בעורך הקוד, יוצרים שני קבצים:
- main.py:
import functions_framework from google.cloud import storage import os import json import urllib3 import time import uuid from datetime import datetime, timezone, timedelta http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=60.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'menlo-logs') STATE_KEY = os.environ.get('STATE_KEY', 'menlo-logs/state.json') API_TOKEN = os.environ.get('MENLO_API_TOKEN') API_HOST = os.environ.get('MENLO_API_HOST', 'logs.menlosecurity.com') LOG_TYPES = os.environ.get('MENLO_LOG_TYPES', 'web').split(',') LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '1')) @functions_framework.cloud_event def main(cloud_event): if not all([GCS_BUCKET, API_TOKEN, API_HOST]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc).replace(microsecond=0) if isinstance(state, dict) and state.get('last_event_time'): try: last_val = state['last_event_time'] if last_val.endswith('Z'): last_val = last_val[:-1] + '+00:00' last_time = datetime.fromisoformat(last_val) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f"Warning: Could not parse last_event_time: {e}") last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f"Fetching logs from {last_time.isoformat()} to {now.isoformat()}") total = 0 newest_time = None for log_type in LOG_TYPES: log_type = log_type.strip() print(f"Fetching {log_type} logs...") events = fetch_logs(log_type, API_TOKEN, API_HOST, last_time, now) if events: object_key = f"{GCS_PREFIX}/{now:%Y/%m/%d}/menlo-{log_type}-{uuid.uuid4()}.ndjson" blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(ev, ensure_ascii=False) for ev in events] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f"Uploaded {len(events)} {log_type} events to gs://{GCS_BUCKET}/{object_key}") total += len(events) for ev in events: ev_time = ev.get('timestamp') or ev.get('time') or ev.get('created_at') if ev_time and (newest_time is None or str(ev_time) > str(newest_time)): newest_time = str(ev_time) else: print(f"No {log_type} events found") save_state(bucket, newest_time if newest_time else now.isoformat()) print(f"Successfully processed {total} total events") except Exception as e: print(f'Error processing logs: {str(e)}') raise def fetch_logs(log_type, token, api_host, start, end): url = f"https://{api_host}/api/v1/logs/{log_type}" headers = { 'Authorization': f'Token {token}', 'Accept': 'application/json', } params = { 'start': start.strftime('%Y-%m-%dT%H:%M:%SZ'), 'end': end.strftime('%Y-%m-%dT%H:%M:%SZ'), } query = '&'.join(f'{k}={v}' for k, v in params.items()) full_url = f'{url}?{query}' all_events = [] backoff = 1.0 while full_url: response = http.request('GET', full_url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f"Rate limited. Waiting {retry_after}s...") time.sleep(retry_after) backoff = min(backoff * 2, 60.0) continue if response.status != 200: print(f"API error {response.status}: {response.data.decode('utf-8')}") break backoff = 1.0 data = json.loads(response.data.decode('utf-8')) events = data if isinstance(data, list) else data.get('events', data.get('data', [])) all_events.extend(events) full_url = data.get('next') if isinstance(data, dict) else None print(f"Total {log_type} events fetched: {len(all_events)}") return all_events def load_state(bucket): try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f"Warning: Could not load state: {e}") return {} def save_state(bucket, last_event_time_iso): try: state = { 'last_event_time': last_event_time_iso, 'last_run': datetime.now(timezone.utc).isoformat() } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f"Saved state: last_event_time={last_event_time_iso}") except Exception as e: print(f"Warning: Could not save state: {e}")- requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
מחכים שהפריסה תסתיים (2-3 דקות).
יצירת משימה ב-Cloud Scheduler
- במסוף GCP, נכנסים ל-Cloud Scheduler.
- לוחצים על Create Job.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך שם menlo-logs-collector-hourlyאזור בוחרים את אותו אזור כמו של פונקציית Cloud Run. תדירות 0 * * * *(כל שעה, בשעה עגולה)אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC) סוג היעד Pub/Sub נושא בחירת menlo-logs-triggerגוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
בדיקת השילוב
- במסוף Cloud Scheduler, מוצאים את המשימה (
menlo-logs-collector-hourly). - לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
- מחכים כמה שניות.
- נכנסים לדף Cloud Run > Services.
- לוחצים על
menlo-logs-collector. - לוחצים על הכרטיסייה Logs.
מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:
Fetching logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Fetching web logs... Total web events fetched: X Uploaded X web events to gs://menlo-security-logs/menlo-logs/YYYY/MM/DD/menlo-web-UUID.ndjson Successfully processed X total eventsנכנסים לדף Cloud Storage > Buckets.
לוחצים על
menlo-security-logs.עוברים לתיקייה
menlo-logs/.מוודאים שנוצרו קובצי
.ndjsonחדשים עם התאריך הנוכחי.
אם מופיעות שגיאות ביומנים:
- HTTP 401: מוודאים שמשתנה הסביבה
MENLO_API_TOKENנכון - HTTP 403: מוודאים שלטוקן ה-API יש את ההרשאה Log Export API
- HTTP 429: הגבלת קצב של יצירת בקשות – הפונקציה תנסה שוב באופן אוטומטי עם השהיה (backoff)
- משתני סביבה חסרים: מוודאים שכל המשתנים הנדרשים מוגדרים בפונקציית Cloud Run.
אחזור של חשבון השירות של Google SecOps
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Menlo Security MSIP Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות Menlo Security בתור סוג היומן.
לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://menlo-security-logs/menlo-logs/
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
- מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)
מרחב השמות של הנכס: מרחב השמות של הנכס
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
מתן הרשאות IAM לחשבון השירות של Google SecOps
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על
menlo-security-logs. - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
- Assign roles: בוחרים באפשרות Storage Object Viewer.
- לוחצים על Save.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
| customer_name | intermediary.hostname | צריך להגדיר אם customer_name הוא לא IP |
| customer_name | intermediary.ip | חולץ מ-customer_name אם מדובר ב-IP, או מכתובות IP של xff_ip |
| xff_ip | intermediary.ip | |
| event_data.event_time | metadata.event_timestamp | נותח באמצעות מסנן grok ומסנן תאריכים |
| request_type | metadata.event_type | לוגיקה של משפט תנאי שמבוססת על השדות האלה |
| has_principal | metadata.event_type | |
| has_top_url | metadata.event_type | |
| has_dest | metadata.event_type | |
| log_type | metadata.log_type | הערך הועתק ישירות |
| event_data.name | metadata.product_event_type | הערך הועתק ישירות |
| reqId | metadata.product_log_id | הערך הועתק ישירות |
| event_data.version | metadata.product_version | הערך הועתק ישירות |
| event_data.protocol | network.application_protocol | מיפוי באמצעות רשימת פרוטוקולים מוגדרת מראש |
| request_type | network.http.method | הערך הועתק ישירות |
| מקור ההפניה (referer) | network.http.referral_url | הערך הועתק ישירות |
| response_code | network.http.response_code | ההמרה למספר שלם |
| event_data.user-agent | network.http.user_agent | הערך הועתק ישירות |
| full_session_id | network.session_id | הערך הועתק ישירות |
| browser_and_version | principal.application | הערך הועתק ישירות |
| event_data.x-client-ip | principal.asset.ip | הערך מ-event_data.x-client-ip אם הוא לא ריק, אחרת src_ip |
| src_ip | principal.asset.ip | |
| קבוצות | principal.group.product_object_id | הערך הועתק ישירות |
| event_data.x-client-ip | principal.ip | הערך מ-event_data.x-client-ip אם הוא לא ריק, אחרת src_ip |
| src_ip | principal.ip | |
| אזור | principal.location.country_or_region | הערך מהאזור אם הוא לא ריק, אחרת egress_country |
| egress_country | principal.location.country_or_region | |
| region_name | principal.location.name | הערך הועתק ישירות |
| egress_ip | principal.nat_ip | הערך הועתק ישירות |
| event_data.userid | principal.user.email_addresses | מיזוג אם יש התאמה לביטוי הרגולרי של כתובת אימייל |
| event_data.userid | principal.user.userid | הערך הועתק ישירות |
| event_data.domain | security_result.about.administrative_domain | הערך הועתק ישירות |
| event_data.url | security_result.about.url | הערך הועתק ישירות |
| event_data.pe_action | security_result.action | ממופה ל-ALLOW, BLOCK או ALLOW_WITH_MODIFICATION |
| event_data.categories | security_result.category_details | מוזג מ-event_data.categories (ממוצה או ישיר) ומ-casb_cat_name |
| casb_cat_name | security_result.category_details | |
| event_data.risk_score | security_result.confidence_details | הערך הועתק ישירות |
| content-type | security_result.detection_fields | מוזג משדות שונים של תוויות |
| מוצר | security_result.detection_fields | |
| איומים | security_result.detection_fields | |
| virusDetails | security_result.detection_fields | |
| sandboxResult | security_result.detection_fields | |
| fullScanResult | security_result.detection_fields | |
| tab_id | security_result.detection_fields | |
| pe_reason | security_result.detection_fields | |
| ua_type | security_result.detection_fields | |
| email_isolation_state | security_result.detection_fields | |
| document_url | security_result.detection_fields | |
| archive_path | security_result.detection_fields | |
| casb_app_name | security_result.detection_fields | |
| casb_fun_name | security_result.detection_fields | |
| casb_org_name | security_result.detection_fields | |
| casb_profile_id | security_result.detection_fields | |
| casb_profile_name | security_result.detection_fields | |
| casb_profile_type | security_result.detection_fields | |
| casb_risk_score | security_result.detection_fields | |
| connId | security_result.detection_fields | |
| origin_country | security_result.detection_fields | |
| egress_country | security_result.detection_fields | |
| is_casb_ddl | security_result.detection_fields | |
| is_iframe | security_result.detection_fields | |
| parent_file_id | security_result.detection_fields | |
| parent_filename | security_result.detection_fields | |
| parent_sha256 | security_result.detection_fields | |
| parent_tid | security_result.detection_fields | |
| root_file_id | security_result.detection_fields | |
| root_filename | security_result.detection_fields | |
| root_sha256 | security_result.detection_fields | |
| casb_risk_score | security_result.risk_score | הוגדר כצף |
| casb_profile_id | security_result.rule_id | הערך הועתק ישירות |
| pe_rulename | security_result.rule_name | הערך הועתק ישירות |
| casb_profile_name | security_result.rule_set | הערך הועתק ישירות |
| casb_profile_type | security_result.rule_type | הערך הועתק ישירות |
| event_data.severity | security_result.severity_details | הערך הועתק ישירות |
| magicName | security_result.summary | Concatenated as "%{magicName} is %{threats}." |
| איומים | security_result.summary | |
| threat_types | security_result.threat_name | הערך הועתק ישירות |
| origin_ip | src.ip | הערך הועתק ישירות |
| origin_country | src.location.country_or_region | הערך הועתק ישירות |
| event_data.dst | target.asset.ip | חולץ מ-event_data.dst או מ-dst באמצעות תבנית IP של grok |
| dst | target.asset.ip | |
| filename | target.file.full_path | הערך הועתק ישירות |
| mimeType | target.file.mime_type | הערך הועתק ישירות |
| sha256 | target.file.sha256 | הערך הועתק ישירות |
| file_size | target.file.size | ההמרה בוצעה ל-float ואז ל-uinteger |
| event_data.dst | target.ip | חולץ מ-event_data.dst או מ-dst באמצעות תבנית IP של grok |
| dst | target.ip | |
| top_url | target.url | חולץ באמצעות דפוס URI grok |
| metadata.product_name | metadata.product_name | צריך להגדיר את הערך "MENLO SECURITY" |
| metadata.vendor_name | metadata.vendor_name | צריך להגדיר את הערך "MENLO SECURITY" |
region |
event.idm.read_only_udm.principal.location.country_or_region |
מופה מיומן השינויים |
region_name |
event.idm.read_only_udm.principal.location.name |
מופה מיומן השינויים |
src_ip |
event.idm.read_only_udm.principal.ip וגם event.idm.read_only_udm.principal.asset.ip |
מופה מיומן השינויים |
groups |
event.idm.read_only_udm.principal.group.product_object_id |
מופה מיומן השינויים |
content-type |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
product |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
mimeType |
event.idm.read_only_udm.target.file.mime_type |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.