איסוף Google Cloud יומני זרימה של VPC

גרסת המנתח: 6.0

נתמכים ב:

במסמך הזה מוסבר איך להטמיע יומני VPC Flow Logs ב-Google Security Operations באמצעות Cloud Storage. Google Cloud

יומני זרימה של VPC מתעדים דגימה של זרימות ברשת שנשלחות ממכונות וירטואליות ומתקבלות בהן, כולל מכונות שמשמשות כצמתים של Google Kubernetes Engine. אפשר להשתמש ביומנים האלה למעקב אחרי הרשת, לניתוח פורנזי, לניתוח אבטחה בזמן אמת ולאופטימיזציה של ההוצאות. יומני תנועה נצברים לפי חיבור במרווחי זמן שניתנים להגדרה, ומיוצאים כמעט בזמן אמת דרך Cloud Logging. sink ביומן של Logging מנתב את יומני הזרימה של VPC לקטגוריה של Cloud Storage, ומשם Google SecOps מטמיע אותם.

לפני שמתחילים

ודאו שאתם עומדים בדרישות המוקדמות הבאות:

  • מכונה של Google SecOps
  • פרויקט ב- Google Cloud שבו מופעלים ממשקי ה-API הבאים:
    • Cloud Storage API
    • Cloud Logging API
    • Compute Engine API
  • הרשאות:
    • הפעלת יומני זרימה של VPC ברשתות משנה
    • יצירה וניהול של קטגוריות של Cloud Storage
    • ניהול כללי המדיניות של ניהול זהויות והרשאות גישה (IAM) בקטגוריות של Cloud Storage
    • יצירה וניהול של כיורים ב-Cloud Logging API
  • לפחות תת-רשת אחת של VPC שבה רוצים להפעיל את VPC Flow Logs

הפעלת יומני זרימה של VPC ברשתות משנה

לפני שמגדירים את צינור עיבוד הנתונים להטמעה, צריך לוודא שיומני הזרימה של VPC מופעלים ברשתות המשנה של היעד. Google Cloud תומך בשני ממשקי API לניהול יומני הזרימה של VPC: ‏Network Management API (מומלץ) ו-Compute Engine API.

באמצעות מסוף Google Cloud (Network Management API)

  1. במסוף Google Cloud , נכנסים לדף רשת VPC > רשתות VPC.
  2. לוחצים על הכרטיסייה Subnets in current project.
  3. בוחרים את תת-הרשת שבה רוצים להפעיל את יומני התנועה.
  4. לוחצים על Manage flow logs.
  5. לוחצים על הוספת הגדרה חדשה.
  6. נותנים שם להגדרה האישית.
  7. קובעים את ההגדרות האופציונליות הבאות:
    • Aggregation interval: בוחרים את מרווח הצבירה (ברירת המחדל: 5 שניות). מרווחים קצרים יותר מספקים נתונים מפורטים יותר, אבל מגדילים את נפח היומן.
    • הכללת מטא-נתונים: בוחרים באפשרות הכללת כל המטא-נתונים כדי לכלול את הפרטים של מכונות וירטואליות ו-VPC.
    • תדירות דגימה משנית: מגדירים את תדירות הדגימה (ברירת המחדל: 100% ל-Network Management API). שיעורים גבוהים יותר מתעדים יותר זרימות, אבל מגדילים את נפח היומן.
    • ביטוי סינון: ביטוי סינון אופציונלי של CEL כדי לכלול או להחריג תהליכים ספציפיים (עד 2,048 תווים).
  8. לוחצים על Save.

שימוש בכלי שורת הפקודה של Google Cloud (Network Management API)

  • משתמשים בתחביר הבא:

    gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \
            --location=global \
            --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \
            --aggregation-interval=INTERVAL_5_SEC \
            --metadata=INCLUDE_ALL_METADATA \
            --flow-sampling=1.0
    

מחליפים את:

  • ‫<CONFIG_NAME>: שם תיאורי של ההגדרה (לדוגמה, vpc-flow-logs-config)
  • ‫<PROJECT_ID>: מזהה הפרויקט ב- Google Cloud
  • ‫<REGION>: האזור של תת-הרשת (לדוגמה, us-central1)
  • ‫<SUBNET_NAME>: שם תת-הרשת

שימוש בכלי שורת הפקודה של Google Cloud‏ (Compute Engine API)

  • משתמשים בתחביר הבא:

    gcloud compute networks subnets update <SUBNET_NAME> \
            --region=<REGION> \
            --enable-flow-logs \
            --logging-aggregation-interval=interval-5-sec \
            --logging-metadata=include-all \
            --logging-flow-sampling=0.5 \
            --project=<PROJECT_ID>
    

מחליפים את:

  • ‫<SUBNET_NAME>: שם תת-הרשת
  • ‫<REGION>: האזור של תת-הרשת (לדוגמה, us-central1)
  • ‫<PROJECT_ID>: מזהה הפרויקט ב- Google Cloud

יצירת קטגוריה של Cloud Storage

  1. נכנסים למסוףGoogle Cloud .
  2. בוחרים את הפרויקט הרצוי.
  3. בתפריט הניווט, לוחצים על Cloud Storage > Buckets.
  4. לוחצים על Create bucket.
  5. ממלאים את פרטי ההגדרה הבאים:

    הגדרה ערך
    Name your bucket מזינים שם ייחודי גלובלי (לדוגמה, vpc-flow-logs-bucket)
    סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים)
    Location בוחרים את המיקום (לדוגמה, us-central1)
    סוג האחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה)
    בקרת גישה אחיד (מומלץ)
    כלי הגנה אופציונלי: הפעלה של ניהול גרסאות של אובייקטים או של מדיניות שמירת נתונים
  6. לוחצים על יצירה.

יצירת sink ביומן כדי לייצא יומני זרימה של VPC ל-Cloud Storage

sink ביומן מנתב את יומני הזרימה של VPC מ-Logging לקטגוריה של Cloud Storage. לאחר מכן, Google SecOps מטמיעה את האובייקטים שיוצאו מהקטגוריה.

יצירת ה-sink ביומן

  1. במסוףGoogle Cloud , נכנסים לדף Logging > Log Router.
  2. לוחצים על Create sink.
  3. מזינים את פרטי ההגדרה הבאים:
    • Sink name: מזינים שם תיאורי (לדוגמה, vpc-flow-to-gcs).
    • Sink description: מזינים Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion.
  4. לוחצים על הבא.
  5. בקטע Select sink service:
    • Sink service: בוחרים באפשרות קטגוריה של Cloud Storage.
    • Select a Cloud Storage bucket: בוחרים את הקטגוריה vpc-flow-logs-bucket.
  6. לוחצים על הבא.
  7. בקטע Choose logs to include in sink, מזינים את המסנן הבא כדי לתעד את יומני הזרימה של VPC:

    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")
    
    resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"
    
    • מחליפים את <SUBNET_NAME> בשם של תת-הרשת המטורגטת.
  8. לוחצים על הבא.

  9. בודקים את ההגדרות ולוחצים על Create sink.

מתן הרשאה לכותב של הכיור לכתוב בקטגוריה

אחרי שיוצרים את הכיור, Logging מקצה לו חשבון שירות כותב (זהות הכותב). נותנים לזהות הזו הרשאה לכתוב אובייקטים בקטגוריה.

  1. עוברים אל Logging > Log Router.
  2. מאתרים את הכיור vpc-flow-to-gcs, לוחצים על תפריט שלוש הנקודות ובוחרים באפשרות View sink details.
  3. מעתיקים את הערך של Writer identity (בפורמט serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com).
  4. נכנסים לדף Cloud Storage > Buckets.
  5. לוחצים על הקטגוריה vpc-flow-logs-bucket.
  6. עוברים לכרטיסייה Permissions.
  7. לוחצים על הענקת גישה.
  8. מזינים את פרטי ההגדרה הבאים:
    • Add principals: מדביקים את זהות כותב הכיור (בלי הקידומת serviceAccount:).
    • הקצאת תפקידים: בוחרים באפשרות יצירת אובייקטים באחסון (roles/storage.objectCreator).
  9. לוחצים על Save.

איך מוודאים שהיומנים מיוצאים

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על הקטגוריה vpc-flow-logs-bucket.
  3. ממתינים כמה דקות עד שהכיור יכתוב את האובייקטים הראשונים.
  4. מוודאים שנוצרה תיקייה בשם compute.googleapis.com/vpc_flows/ (או נתיב עם תאריך) ושהיא מכילה קובצי יומן שיוצאו.

הגדרת פיד ב-Google SecOps להטמעת יומני זרימה של VPC

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. לוחצים על הגדרת פיד יחיד.
  4. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, GCP VPC Flow Logs).
  5. בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
  6. בוחרים באפשרות GCP VPC Flow בתור Log type.
  7. לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. מעתיקים את כתובת האימייל הזו. תצטרכו אותו בשלב הבא.

  9. לוחצים על הבא.

  10. מציינים ערכים לפרמטרים הבאים של הקלט:

    • ‫Storage bucket URI: מזינים את ה-URI של הקטגוריה ב-Cloud Storage עם נתיב הקידומת:

      gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/
      
      • מחליפים את:
        • ‫vpc-flow-logs-bucket: השם של הקטגוריה ב-Cloud Storage.
        • ‫compute.googleapis.com/vpc_flows: קידומת או נתיב תיקייה אופציונליים שבהם הכיור כותב את היומנים (משאירים ריק בשביל תיקיית הבסיס).
    • אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:

      • אף פעם: לא מוחק קבצים אחרי העברות (מומלץ לבדיקה).
      • מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהועברו בהצלחה.
      • מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי העברה מוצלחת.
    • גיל הקובץ המקסימלי (ימים): כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.

    • מרחב השמות של הנכס: מרחב השמות של הנכס.

    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.

  11. לוחצים על הבא.

  12. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

הקצאת הרשאות IAM לחשבון השירות של Google SecOps

לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של Cloud Storage.

  1. נכנסים לדף Cloud Storage > Buckets.
  2. לוחצים על הקטגוריה vpc-flow-logs-bucket.
  3. עוברים לכרטיסייה Permissions.
  4. לוחצים על הענקת גישה.
  5. מזינים את פרטי ההגדרה הבאים:
    • Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
    • הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון (roles/storage.objectViewer).
  6. לוחצים על Save.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM היגיון
_field additional.fields ממוזג
textpayload_label additional.fields ממוזג
tunnel_id_label additional.fields ממוזג
description metadata.description מיפוי ישיר
timestamp metadata.event_timestamp נותח בתור ISO8601
ts metadata.event_timestamp נותח בתור ISO8601
event_type metadata.event_type מיפוי ישיר
product_event_type metadata.product_event_type מיפוי ישיר
product_log_id metadata.product_log_id מיפוי ישיר
product_name metadata.product_name מיפוי ישיר
product_version metadata.product_version מיפוי ישיר
vendor_name metadata.vendor_name מיפוי ישיר
ip_protocol_out network.ip_protocol מיפוי ישיר
jsonPayload.bytes_sent network.sent_bytes שינוי שם/מיפוי
jsonPayload.packets_sent network.sent_packets שינוי שם/מיפוי
principal.ip principal.asset.ip ממוזג
target.ip principal.asset.ip ממוזג
jsonPayload.src_instance.vm_name principal.hostname מיפוי ישיר
target.hostname principal.hostname שינוי שם/מיפוי
jsonPayload.connection.src_ip principal.ip מיפוי ישיר
target.ip principal.ip ממוזג
jsonPayload.src_location.city principal.location.city מיפוי ישיר
target.location.city principal.location.city שינוי שם/מיפוי
jsonPayload.src_location.country principal.location.country_or_region מיפוי ישיר
target.location.country_or_region principal.location.country_or_region שינוי שם/מיפוי
jsonPayload.src_instance.region principal.location.name מיפוי ישיר
resource.labels.location principal.location.name מיפוי ישיר
target.location.name principal.location.name שינוי שם/מיפוי
jsonPayload.src_location.region principal.location.state מיפוי ישיר
target.location.state principal.location.state שינוי שם/מיפוי
jsonPayload.src_vpc.project_id principal.namespace מיפוי ישיר
jsonPayload.src_vpc.vpc_name principal.namespace מיפוי ישיר
target.namespace principal.namespace שינוי שם/מיפוי
jsonPayload.connection.src_port principal.port מיפוי ישיר
_field principal.resource.attribute.labels ממוזג
key principal.resource.attribute.labels מופה: jsonPayload_src_google_service_type ← _field
src_gke_cluster_location principal.resource.attribute.labels ממוזג
src_gke_cluster_name principal.resource.attribute.labels ממוזג
src_gke_namespace principal.resource.attribute.labels ממוזג
src_gke_pod_name principal.resource.attribute.labels ממוזג
logName security_result.category_details ממוזג
severity security_result.severity מופה: DEBUG ← LOW
principal.ip target.asset.ip ממוזג
target.ip target.asset.ip ממוזג
jsonPayload.dest_instance.vm_name target.hostname מיפוי ישיר
principal.hostname target.hostname שינוי שם/מיפוי
jsonPayload.connection.dest_ip target.ip מיפוי ישיר
principal.ip target.ip ממוזג
jsonPayload.dest_location.city target.location.city מיפוי ישיר
principal.location.city target.location.city שינוי שם/מיפוי
jsonPayload.dest_location.country target.location.country_or_region מיפוי ישיר
principal.location.country_or_region target.location.country_or_region שינוי שם/מיפוי
jsonPayload.dest_instance.region target.location.name מיפוי ישיר
principal.location.name target.location.name שינוי שם/מיפוי
jsonPayload.dest_location.region target.location.state מיפוי ישיר
principal.location.state target.location.state שינוי שם/מיפוי
jsonPayload.dest_vpc.project_id target.namespace מיפוי ישיר
jsonPayload.dest_vpc.vpc_name target.namespace מיפוי ישיר
principal.namespace target.namespace שינוי שם/מיפוי
jsonPayload.connection.dest_port target.port שינוי שם/מיפוי
dest_gke_cluster_location target.resource.attribute.labels ממוזג
dest_gke_cluster_name target.resource.attribute.labels ממוזג
dest_gke_namespace target.resource.attribute.labels ממוזג
dest_gke_pod_name target.resource.attribute.labels ממוזג
service_name_label target.resource.attribute.labels ממוזג
service_namespace_label target.resource.attribute.labels ממוזג
subnetwork_id_field target.user.attribute.labels ממוזג
לא רלוונטי network.direction קבוע: OUTBOUND
לא רלוונטי network.ip_protocol קבוע: network.ip_protocol
לא רלוונטי network.sent_bytes קבוע: network.sent_bytes
לא רלוונטי principal.hostname קבוע: target.hostname
לא רלוונטי principal.location.city קבוע: target.location.city
לא רלוונטי principal.location.country_or_region קבוע: target.location.country_or_region
לא רלוונטי principal.location.name קבוע: target.location.name
לא רלוונטי principal.location.state קבוע: target.location.state
לא רלוונטי principal.namespace קבוע: target.namespace
לא רלוונטי principal.port קבוע: principal.port
לא רלוונטי security_result.severity קבוע: LOW
לא רלוונטי target.hostname קבוע: principal.hostname
לא רלוונטי target.location.city קבוע: principal.location.city
לא רלוונטי target.location.country_or_region קבוע: principal.location.country_or_re...
לא רלוונטי target.location.name קבוע: principal.location.name
לא רלוונטי target.location.state קבוע: principal.location.state
לא רלוונטי target.namespace קבוע: principal.namespace
לא רלוונטי target.port קבוע: -99
resource.labels.subnetwork_id target.user.attribute.labels מופה מיומן השינויים

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.