איסוף יומנים של OpenTelemetry Netflow Receiver
במאמר הזה מוסבר איך להטמיע יומנים של OpenTelemetry Netflow Receiver ב-Google Security Operations באמצעות Google Cloud Storage V2.
מקלט OpenTelemetry Netflow הוא רכיב קוד פתוח שמאזין לתנועת netflow, sflow ו-IPFIX UDP וממיר אותה לרשומות ביומן של OpenTelemetry. התכונה הזו מאפשרת מעקב וניתוח של התנועה ברשת, כולל זיהוי פרוטוקולים, ניתוח נפח התנועה, מעקב אחר השימוש ביציאות וסטטיסטיקות של בייטים/חבילות.
לפני שמתחילים
ודאו שיש לכם את הדרישות המוקדמות הבאות:
- מכונה של Google SecOps
- פרויקט ב-GCP שבו מופעל Cloud Storage API
- הרשאות ליצירה ולניהול של קטגוריות ב-GCS
- הרשאות לניהול מדיניות IAM בקטגוריות של GCS
- הרשאות ליצירת שירותי Cloud Run, נושאי Pub/Sub ומשימות ב-Cloud Scheduler
- מכשירי רשת שיכולים לשלוח נתוני netflow, sflow או IPFIX
- גישה לקביעת הגדרות הייצוא של מכשיר הרשת
יצירת קטגוריה של Google Cloud Storage
- נכנסים למסוף Google Cloud.
- בוחרים את הפרויקט או יוצרים פרויקט חדש.
- בתפריט הניווט, נכנסים ל-Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי ברמה גלובלית (לדוגמה, netflow-logs-bucket)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1)סוג אחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחידה (מומלץ) כלי הגנה אופציונלי: הפעלת ניהול גרסאות של אובייקטים או מדיניות שמירת נתונים לוחצים על יצירה.
יצירת חשבון שירות לפונקציית Cloud Run
לפונקציית Cloud Run נדרש חשבון שירות עם הרשאות כתיבה בקטגוריית GCS, וצריך להפעיל אותה באמצעות Pub/Sub.
יצירת חשבון שירות
- במסוף GCP, נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create Service Account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים
netflow-collector-sa - Service account description: מזינים
Service account for Cloud Run function to collect netflow logs
- Service account name: מזינים
- לוחצים על יצירה והמשך.
- בקטע Grant this service account access to project, מוסיפים את התפקידים הבאים:
- לוחצים על בחירת תפקיד.
- מחפשים את התפקיד Storage Object Admin ובוחרים אותו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Run Invoker ובוחרים בו.
- לוחצים על + הוספת תפקיד.
- מחפשים את התפקיד Cloud Functions Invoker ובוחרים אותו.
- לוחצים על Continue.
- לוחצים על סיום.
התפקידים האלה נדרשים כדי:
- אדמין של אובייקט אחסון: כתיבת יומנים לקטגוריית GCS וניהול קובצי תמונת מצב
- Cloud Run Invoker: מאפשר ל-Pub/Sub להפעיל את הפונקציה
- מפעיל פונקציות של Cloud Functions: מאפשר להפעיל פונקציות
הענקת הרשאות IAM בקטגוריית GCS
נותנים לחשבון השירות הרשאות כתיבה בקטגוריה של GCS:
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
netflow-logs-bucket). - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה,
netflow-collector-sa@PROJECT_ID.iam.gserviceaccount.com) - הקצאת תפקידים: בוחרים באפשרות אדמין של אובייקטים באחסון.
- הוספת חשבונות משתמשים: מזינים את כתובת האימייל של חשבון השירות (לדוגמה,
- לוחצים על Save.
יצירת נושא Pub/Sub
יוצרים נושא Pub/Sub ש-Cloud Scheduler יפרסם בו ופונקציית Cloud Run תירשם אליו.
- במסוף GCP, נכנסים לדף Pub/Sub > Topics.
- לוחצים על Create topic.
- מזינים את פרטי ההגדרה הבאים:
- מזהה הנושא: מזינים
netflow-trigger - משאירים את שאר ההגדרות כברירת מחדל.
- מזהה הנושא: מזינים
- לוחצים על יצירה.
יצירת פונקציית Cloud Run לאיסוף יומני NetFlow
פונקציית Cloud Run תפעיל OpenTelemetry Collector שיקבל נתוני NetFlow וייצא אותם ל-GCS.
- במסוף GCP, נכנסים ל-Cloud Run.
- לוחצים על Create service.
- בוחרים באפשרות Function (שימוש בעורך ישיר כדי ליצור פונקציה).
בקטע Configure, מזינים את פרטי ההגדרה הבאים:
הגדרה ערך שם השירות netflow-collectorאזור בוחרים את האזור שתואם לקטגוריית ה-GCS (לדוגמה, us-central1)זמן ריצה בוחרים באפשרות Python 3.12 או גרסה עדכנית יותר. בקטע טריגר (אופציונלי):
- לוחצים על + הוספת טריגר.
- בוחרים באפשרות Cloud Pub/Sub.
- בקטע Select a Cloud Pub/Sub topic, בוחרים את נושא Pub/Sub
netflow-trigger. - לוחצים על Save.
בקטע אימות:
- לוחצים על דרישת אימות.
- בודקים את ניהול הזהויות והרשאות הגישה (IAM).
גוללים למטה ומרחיבים את הקטע Containers, Networking, Security.
עוברים לכרטיסייה אבטחה:
- חשבון שירות: בוחרים את חשבון השירות
netflow-collector-sa
- חשבון שירות: בוחרים את חשבון השירות
עוברים לכרטיסייה מאגרי תגים:
- לוחצים על Variables & Secrets.
- לוחצים על + Add variable לכל משתנה סביבה:
שם משתנה ערך לדוגמה תיאור GCS_BUCKETnetflow-logs-bucketשם הקטגוריה ב-GCS GCS_PREFIXnetflowקידומת לקובצי יומן NETFLOW_PORT2055יציאה למקלט NetFlow NETFLOW_SCHEMEnetflowסוג הסכימה: netflow, sflow או ipfix NETFLOW_SOCKETS4מספר שקעי UDP NETFLOW_WORKERS8מספר ה-workers של המפענח בקטע Variables & Secrets, גוללים למטה אל Requests:
- Request timeout: מזינים
600שניות (10 דקות)
- Request timeout: מזינים
עוברים לכרטיסייה הגדרות:
- בקטע Resources:
- זיכרון: בוחרים באפשרות 1 GiB או יותר
- מעבד (CPU): בוחרים באפשרות 2
- בקטע Resources:
בקטע Revision scaling:
- Minimum number of instances: מזינים
1 - Maximum number of instances: מזינים
10
- Minimum number of instances: מזינים
לוחצים על יצירה.
ממתינים ליצירת השירות (דקה או שתיים).
אחרי שיוצרים את השירות, עורך הקוד המוטבע נפתח באופן אוטומטי.
הוספת קוד פונקציה
- בשדה Entry point, מזינים main.
בעורך הקוד, יוצרים שלושה קבצים:
- main.py:
import functions_framework from google.cloud import storage import json import os import subprocess import tempfile import signal import time from datetime import datetime, timezone # Initialize Storage client storage_client = storage.Client() # Environment variables GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'netflow') NETFLOW_PORT = os.environ.get('NETFLOW_PORT', '2055') NETFLOW_SCHEME = os.environ.get('NETFLOW_SCHEME', 'netflow') NETFLOW_SOCKETS = os.environ.get('NETFLOW_SOCKETS', '4') NETFLOW_WORKERS = os.environ.get('NETFLOW_WORKERS', '8') # Global process handle collector_process = None def create_collector_config(): """Create OpenTelemetry Collector configuration.""" timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') file_path = f"/tmp/netflow_{timestamp}.ndjson" config = { 'receivers': { 'netflow': { 'scheme': NETFLOW_SCHEME, 'hostname': '0.0.0.0', 'port': int(NETFLOW_PORT), 'sockets': int(NETFLOW_SOCKETS), 'workers': int(NETFLOW_WORKERS), 'queue_size': 5000 } }, 'processors': { 'batch': { 'timeout': '10s', 'send_batch_size': 1000 } }, 'exporters': { 'file': { 'path': file_path, 'format': 'json' } }, 'service': { 'pipelines': { 'logs': { 'receivers': ['netflow'], 'processors': ['batch'], 'exporters': ['file'] } }, 'telemetry': { 'logs': { 'level': 'info' } } } } config_path = '/tmp/otel-config.yaml' with open(config_path, 'w') as f: import yaml yaml.dump(config, f) return config_path, file_path def upload_to_gcs(file_path): """Upload netflow logs to GCS.""" if not os.path.exists(file_path) or os.path.getsize(file_path) == 0: print(f"No data to upload from {file_path}") return bucket = storage_client.bucket(GCS_BUCKET) timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') object_key = f"{GCS_PREFIX}/netflow_{timestamp}.ndjson" blob = bucket.blob(object_key) blob.upload_from_filename(file_path, content_type='application/x-ndjson') print(f"Uploaded {os.path.getsize(file_path)} bytes to gs://{GCS_BUCKET}/{object_key}") def signal_handler(signum, frame): """Handle shutdown signals.""" global collector_process if collector_process: print("Shutting down collector...") collector_process.terminate() collector_process.wait(timeout=10) @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function to run OpenTelemetry Collector for netflow collection. Args: cloud_event: CloudEvent object containing Pub/Sub message """ global collector_process if not GCS_BUCKET: print('Error: GCS_BUCKET environment variable not set') return try: # Set up signal handlers signal.signal(signal.SIGTERM, signal_handler) signal.signal(signal.SIGINT, signal_handler) # Create collector configuration config_path, file_path = create_collector_config() print(f"Created collector config at {config_path}") print(f"Netflow receiver listening on {NETFLOW_SCHEME}://0.0.0.0:{NETFLOW_PORT}") # Start OpenTelemetry Collector collector_process = subprocess.Popen( ['/otelcol-contrib', '--config', config_path], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True ) print(f"Started OpenTelemetry Collector (PID: {collector_process.pid})") # Run for collection period (e.g., 5 minutes) collection_time = 300 print(f"Collecting netflow data for {collection_time} seconds...") start_time = time.time() while time.time() - start_time < collection_time: if collector_process.poll() is not None: stdout, stderr = collector_process.communicate() print(f"Collector exited unexpectedly") print(f"STDOUT: {stdout}") print(f"STDERR: {stderr}") break time.sleep(10) # Stop collector if collector_process.poll() is None: print("Stopping collector...") collector_process.terminate() collector_process.wait(timeout=10) # Upload collected data upload_to_gcs(file_path) # Cleanup if os.path.exists(file_path): os.remove(file_path) if os.path.exists(config_path): os.remove(config_path) print("Netflow collection completed successfully") except Exception as e: print(f'Error during netflow collection: {str(e)}') if collector_process and collector_process.poll() is None: collector_process.terminate() raise- requirements.txt:
functions-framework==3.* google-cloud-storage==2.* PyYAML==6.*- קובץ Docker:
FROM python:3.12-slim # Install OpenTelemetry Collector Contrib RUN apt-get update && apt-get install -y wget && \ wget https://github.com/open-telemetry/opentelemetry-collector-releases/releases/download/v0.144.0/otelcol-contrib_0.144.0_linux_amd64.deb && \ dpkg -i otelcol-contrib_0.144.0_linux_amd64.deb && \ rm otelcol-contrib_0.144.0_linux_amd64.deb && \ apt-get clean # Set working directory WORKDIR /app # Copy requirements and install COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # Copy function code COPY main.py . # Expose netflow port EXPOSE 2055/udp # Run function CMD ["functions-framework", "--target=main", "--port=8080"]לוחצים על Deploy כדי לשמור ולפרוס את הפונקציה.
מחכים עד שהפריסה תסתיים (3-5 דקות).
הגדרת מכשירי רשת לשליחת נתוני NetFlow
מגדירים את התקני הרשת (נתבים, מתגים, חומות אש) כך שייצאו נתוני netflow, sflow או IPFIX לפונקציית Cloud Run.
קבלת כתובת ה-IP החיצונית של פונקציית Cloud Run
- במסוף GCP, נכנסים לדף Cloud Run > Services.
- לוחצים על שם הפונקציה
netflow-collector. - מעתיקים את כתובת ה-URL שמוצגת בחלק העליון (לדוגמה,
https://netflow-collector-xxxxx-uc.a.run.app). - מחלצים את שם המארח מכתובת ה-URL.
משתמשים ב-
nslookupאו ב-digכדי לפתור את כתובת ה-IP:nslookup netflow-collector-xxxxx-uc.a.run.app
דוגמה: הגדרת NetFlow בנתב של Cisco
! Configure netflow exporter flow exporter OTEL-EXPORTER destination <CLOUD_RUN_IP> transport udp 2055 source <INTERFACE> export-protocol netflow-v9 ! Configure flow monitor flow monitor OTEL-MONITOR exporter OTEL-EXPORTER record netflow ipv4 original-input ! Apply to interface interface GigabitEthernet0/0 ip flow monitor OTEL-MONITOR input ip flow monitor OTEL-MONITOR outputדוגמה: הגדרה כללית של NetFlow
ברוב מכשירי הרשת, צריך לקבוע את ההגדרות הבאות:
- גרסת Netflow: NetFlow v5, v9 או IPFIX
- Collector IP: כתובת ה-IP של פונקציית Cloud Run
- יציאת Collector:
2055(או היציאה שהוגדרה) - Protocol: UDP
- זמן קצוב לתפוגה של פעילות: 60 שניות (מומלץ)
- זמן קצוב לתפוגה של חוסר פעילות: 15 שניות (מומלץ)
יצירת משימה ב-Cloud Scheduler
Cloud Scheduler יפרסם הודעות בנושא Pub/Sub במרווחי זמן קבועים, ויפעיל את פונקציית Cloud Run.
- במסוף GCP, נכנסים ל-Cloud Scheduler.
- לוחצים על Create Job.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך שם netflow-collector-hourlyאזור בוחרים את אותו אזור כמו של פונקציית Cloud Run. תדירות 0 * * * *(כל שעה, בשעה עגולה)אזור זמן בחירת אזור זמן (מומלץ לבחור ב-UTC) סוג היעד Pub/Sub נושא בוחרים את נושא Pub/Sub netflow-triggerגוף ההודעה {}(אובייקט JSON ריק)לוחצים על יצירה.
אפשרויות לתדירות התזמון
בוחרים את התדירות בהתאם לנפח היומן ולדרישות לגבי זמן האחזור:
| תדירות | ביטוי Cron | תרחיש לדוגמה |
|---|---|---|
| כל 5 דקות | */5 * * * * |
נפח גבוה, זמן אחזור נמוך |
| כל 15 דקות | */15 * * * * |
נפח חיפושים בינוני |
| כל שעה | 0 * * * * |
רגיל (מומלץ) |
| כל 6 שעות | 0 */6 * * * |
נפח נמוך, עיבוד ברצף (batch processing) |
בדיקת השילוב
- במסוף Cloud Scheduler, מחפשים את המשימה
netflow-collector-hourly. - לוחצים על Force run כדי להפעיל את המשימה באופן ידני.
- מחכים כמה שניות.
- נכנסים לדף Cloud Run > Services.
- לוחצים על שם הפונקציה
netflow-collector. - לוחצים על הכרטיסייה Logs.
מוודאים שהפונקציה בוצעה בהצלחה. חפשו את:
Started OpenTelemetry Collector (PID: ...) Netflow receiver listening on netflow://0.0.0.0:2055 Collecting netflow data for 300 seconds... Uploaded ... bytes to gs://netflow-logs-bucket/netflow/netflow_YYYYMMDD_HHMMSS.ndjson Netflow collection completed successfullyנכנסים לדף Cloud Storage > Buckets.
לוחצים על שם הקטגוריה
netflow-logs-bucket.עוברים לתיקיית הקידומת
netflow/.מוודאים שנוצר קובץ
.ndjsonחדש עם חותמת הזמן הנוכחית.
אם מופיעות שגיאות ביומנים:
- Collector exited unexpectedly: בודקים את ההגדרות של מקלט ה-NetFlow.
- אין נתונים להעלאה: מוודאים שהתקני הרשת שולחים נתוני NetFlow לכתובת ה-IP וליציאה הנכונות.
- ההרשאה נדחתה: צריך לוודא שלחשבון השירות יש את התפקיד "אדמין של אובייקטים ב-Cloud Storage"
- שגיאה בקישור היציאה: ודאו שיציאה 2055 לא נמצאת בשימוש
אחזור של חשבון השירות של Google SecOps
מערכת Google SecOps משתמשת בחשבון שירות ייחודי כדי לקרוא נתונים מהקטגוריה שלכם ב-GCS. אתם צריכים לתת לחשבון השירות הזה גישה לקטגוריה שלכם.
איך מקבלים את כתובת האימייל של חשבון השירות
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
OpenTelemetry Netflow Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות NETFLOW_OTEL בתור Log type.
לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות. לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו כדי להשתמש בה בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
כתובת ה-URL של קטגוריית האחסון: מזינים את ה-URI של קטגוריית GCS עם נתיב הקידומת:
gs://netflow-logs-bucket/netflow/
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- Never: אף פעם לא למחוק קבצים אחרי העברות (מומלץ לבדיקה).
- מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהם הועברו בהצלחה.
מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי שההעברה מסתיימת.
גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים)
מרחב השמות של הנכס: מרחב השמות של הנכס
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
מתן הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של GCS.
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על שם הקטגוריה
netflow-logs-bucket. - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
- Assign roles: בוחרים באפשרות Storage Object Viewer.
- לוחצים על Save.
טבלת מיפוי UDM
בטבלה הבאה מוצג המיפוי של שדות היומן של OpenTelemetry Netflow Receiver לשדות UDM של Google SecOps:
| שדה OpenTelemetry | שדה UDM | תיאור |
|---|---|---|
source.address |
principal.ip |
כתובת ה-IP של המקור |
source.port |
principal.port |
מספר יציאת המקור |
destination.address |
target.ip |
כתובת ה-IP של היעד |
destination.port |
target.port |
מספר יציאת היעד |
network.transport |
network.ip_protocol |
פרוטוקול תעבורה (tcp, udp) |
network.type |
network.ip_version |
גרסת ה-IP (ipv4, ipv6) |
flow.io.bytes |
network.sent_bytes |
סה"כ בייטים שהועברו |
flow.io.packets |
network.sent_packets |
סה"כ חבילות נתונים שהועברו |
flow.type |
metadata.product_log_id |
סוג התהליך (NETFLOW_V5, NETFLOW_V9, SFLOW_5, IPFIX) |
flow.start |
metadata.event_timestamp |
שעת ההתחלה של התהליך |
flow.end |
network.session_duration |
שעת הסיום של התהליך |
flow.sampler_address |
intermediary.ip |
כתובת ה-IP של מייצא Netflow |
flow.tcp_flags |
network.tcp_flags |
דגלי TCP |
flow.io.bytes |
event.idm.read_only_udm.network.sent_bytes |
מופה מיומן השינויים |
source.port |
event.idm.read_only_udm.principal.port |
מופה מיומן השינויים |
destination.port |
event.idm.read_only_udm.target.port |
מופה מיומן השינויים |
network.transport |
event.idm.read_only_udm.network.ip_protocol |
מופה מיומן השינויים |
network.type |
event.idm.read_only_udm.security_result.detection_fields |
מופה מיומן השינויים |
flow.sequence_num |
event.idm.read_only_udm.network.session_id |
מופה מיומן השינויים |
flow.sampler_address |
event.idm.read_only_udm.observer.ip |
מופה מיומן השינויים |
flow.type |
event.idm.read_only_udm.metadata.product_event_type |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.