איסוף Google Cloud יומני זרימה של VPC
גרסת המנתח: 6.0
במסמך הזה מוסבר איך להטמיע יומני VPC Flow Logs ב-Google Security Operations באמצעות Cloud Storage. Google Cloud
יומני זרימה של VPC מתעדים דגימה של זרימות ברשת שנשלחות ממכונות וירטואליות ומתקבלות בהן, כולל מכונות שמשמשות כצמתים של Google Kubernetes Engine. אפשר להשתמש ביומנים האלה למעקב אחרי הרשת, לניתוח פורנזי, לניתוח אבטחה בזמן אמת ולאופטימיזציה של ההוצאות. יומני תנועה נצברים לפי חיבור במרווחי זמן שניתנים להגדרה, ומיוצאים כמעט בזמן אמת דרך Cloud Logging. sink ביומן של Logging מנתב את יומני הזרימה של VPC לקטגוריה של Cloud Storage, ומשם Google SecOps מטמיע אותם.
לפני שמתחילים
ודאו שאתם עומדים בדרישות המוקדמות הבאות:
- מכונה של Google SecOps
- פרויקט ב- Google Cloud שבו מופעלים ממשקי ה-API הבאים:
- Cloud Storage API
- Cloud Logging API
- Compute Engine API
- הרשאות:
- הפעלת יומני זרימה של VPC ברשתות משנה
- יצירה וניהול של קטגוריות של Cloud Storage
- ניהול כללי המדיניות של ניהול זהויות והרשאות גישה (IAM) בקטגוריות של Cloud Storage
- יצירה וניהול של כיורים ב-Cloud Logging API
- לפחות תת-רשת אחת של VPC שבה רוצים להפעיל את VPC Flow Logs
הפעלת יומני זרימה של VPC ברשתות משנה
לפני שמגדירים את צינור עיבוד הנתונים להטמעה, צריך לוודא שיומני הזרימה של VPC מופעלים ברשתות המשנה של היעד. Google Cloud תומך בשני ממשקי API לניהול יומני הזרימה של VPC: Network Management API (מומלץ) ו-Compute Engine API.
באמצעות מסוף Google Cloud (Network Management API)
- במסוף Google Cloud , נכנסים לדף רשת VPC > רשתות VPC.
- לוחצים על הכרטיסייה Subnets in current project.
- בוחרים את תת-הרשת שבה רוצים להפעיל את יומני התנועה.
- לוחצים על Manage flow logs.
- לוחצים על הוספת הגדרה חדשה.
- נותנים שם להגדרה האישית.
- קובעים את ההגדרות האופציונליות הבאות:
- Aggregation interval: בוחרים את מרווח הצבירה (ברירת המחדל: 5 שניות). מרווחים קצרים יותר מספקים נתונים מפורטים יותר, אבל מגדילים את נפח היומן.
- הכללת מטא-נתונים: בוחרים באפשרות הכללת כל המטא-נתונים כדי לכלול את הפרטים של מכונות וירטואליות ו-VPC.
- תדירות דגימה משנית: מגדירים את תדירות הדגימה (ברירת המחדל: 100% ל-Network Management API). שיעורים גבוהים יותר מתעדים יותר זרימות, אבל מגדילים את נפח היומן.
- ביטוי סינון: ביטוי סינון אופציונלי של CEL כדי לכלול או להחריג תהליכים ספציפיים (עד 2,048 תווים).
- לוחצים על Save.
שימוש בכלי שורת הפקודה של Google Cloud (Network Management API)
משתמשים בתחביר הבא:
gcloud network-management vpc-flow-logs-configs create <CONFIG_NAME> \ --location=global \ --subnet=projects/<PROJECT_ID>/regions/<REGION>/subnetworks/<SUBNET_NAME> \ --aggregation-interval=INTERVAL_5_SEC \ --metadata=INCLUDE_ALL_METADATA \ --flow-sampling=1.0
מחליפים את:
-
<CONFIG_NAME>: שם תיאורי של ההגדרה (לדוגמה,vpc-flow-logs-config) -
<PROJECT_ID>: מזהה הפרויקט ב- Google Cloud -
<REGION>: האזור של תת-הרשת (לדוגמה,us-central1) -
<SUBNET_NAME>: שם תת-הרשת
שימוש בכלי שורת הפקודה של Google Cloud (Compute Engine API)
משתמשים בתחביר הבא:
gcloud compute networks subnets update <SUBNET_NAME> \ --region=<REGION> \ --enable-flow-logs \ --logging-aggregation-interval=interval-5-sec \ --logging-metadata=include-all \ --logging-flow-sampling=0.5 \ --project=<PROJECT_ID>
מחליפים את:
-
<SUBNET_NAME>: שם תת-הרשת -
<REGION>: האזור של תת-הרשת (לדוגמה,us-central1)
<PROJECT_ID>: מזהה הפרויקט ב- Google Cloud
יצירת קטגוריה של Cloud Storage
- נכנסים למסוףGoogle Cloud .
- בוחרים את הפרויקט הרצוי.
- בתפריט הניווט, לוחצים על Cloud Storage > Buckets.
- לוחצים על Create bucket.
ממלאים את פרטי ההגדרה הבאים:
הגדרה ערך Name your bucket מזינים שם ייחודי גלובלי (לדוגמה, vpc-flow-logs-bucket)סוג המיקום בוחרים לפי הצרכים (אזור, שני אזורים, מספר אזורים) Location בוחרים את המיקום (לדוגמה, us-central1)סוג האחסון (storage class) רגיל (מומלץ ליומנים שהגישה אליהם תכופה) בקרת גישה אחיד (מומלץ) כלי הגנה אופציונלי: הפעלה של ניהול גרסאות של אובייקטים או של מדיניות שמירת נתונים לוחצים על יצירה.
יצירת sink ביומן כדי לייצא יומני זרימה של VPC ל-Cloud Storage
sink ביומן מנתב את יומני הזרימה של VPC מ-Logging לקטגוריה של Cloud Storage. לאחר מכן, Google SecOps מטמיעה את האובייקטים שיוצאו מהקטגוריה.
יצירת ה-sink ביומן
- במסוףGoogle Cloud , נכנסים לדף Logging > Log Router.
- לוחצים על Create sink.
- מזינים את פרטי ההגדרה הבאים:
- Sink name: מזינים שם תיאורי (לדוגמה,
vpc-flow-to-gcs). - Sink description: מזינים
Route VPC Flow Logs to Cloud Storage for Google SecOps ingestion.
- Sink name: מזינים שם תיאורי (לדוגמה,
- לוחצים על הבא.
- בקטע Select sink service:
- Sink service: בוחרים באפשרות קטגוריה של Cloud Storage.
- Select a Cloud Storage bucket: בוחרים את הקטגוריה
vpc-flow-logs-bucket.
- לוחצים על הבא.
בקטע Choose logs to include in sink, מזינים את המסנן הבא כדי לתעד את יומני הזרימה של VPC:
resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows")resource.type="gce_subnetwork" AND log_id("compute.googleapis.com/vpc_flows") AND resource.labels.subnetwork_name="<SUBNET_NAME>"- מחליפים את
<SUBNET_NAME>בשם של תת-הרשת המטורגטת.
- מחליפים את
לוחצים על הבא.
בודקים את ההגדרות ולוחצים על Create sink.
מתן הרשאה לכותב של הכיור לכתוב בקטגוריה
אחרי שיוצרים את הכיור, Logging מקצה לו חשבון שירות כותב (זהות הכותב). נותנים לזהות הזו הרשאה לכתוב אובייקטים בקטגוריה.
- עוברים אל Logging > Log Router.
- מאתרים את הכיור
vpc-flow-to-gcs, לוחצים על תפריט שלוש הנקודות ובוחרים באפשרות View sink details. - מעתיקים את הערך של Writer identity (בפורמט
serviceAccount:p<PROJECT_NUMBER>-<ID>@gcp-sa-logging.iam.gserviceaccount.com). - נכנסים לדף Cloud Storage > Buckets.
- לוחצים על הקטגוריה
vpc-flow-logs-bucket. - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- Add principals: מדביקים את זהות כותב הכיור (בלי הקידומת
serviceAccount:). - הקצאת תפקידים: בוחרים באפשרות יצירת אובייקטים באחסון (
roles/storage.objectCreator).
- Add principals: מדביקים את זהות כותב הכיור (בלי הקידומת
- לוחצים על Save.
איך מוודאים שהיומנים מיוצאים
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על הקטגוריה
vpc-flow-logs-bucket. - ממתינים כמה דקות עד שהכיור יכתוב את האובייקטים הראשונים.
מוודאים שנוצרה תיקייה בשם
compute.googleapis.com/vpc_flows/(או נתיב עם תאריך) ושהיא מכילה קובצי יומן שיוצאו.
הגדרת פיד ב-Google SecOps להטמעת יומני זרימה של VPC
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- לוחצים על הגדרת פיד יחיד.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
GCP VPC Flow Logs). - בוחרים באפשרות Google Cloud Storage V2 בתור סוג המקור.
- בוחרים באפשרות GCP VPC Flow בתור Log type.
לוחצים על Get Service Account (קבלת חשבון שירות). תוצג כתובת אימייל ייחודית של חשבון שירות, לדוגמה:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comמעתיקים את כתובת האימייל הזו. תצטרכו אותו בשלב הבא.
לוחצים על הבא.
מציינים ערכים לפרמטרים הבאים של הקלט:
Storage bucket URI: מזינים את ה-URI של הקטגוריה ב-Cloud Storage עם נתיב הקידומת:
gs://vpc-flow-logs-bucket/compute.googleapis.com/vpc_flows/- מחליפים את:
-
vpc-flow-logs-bucket: השם של הקטגוריה ב-Cloud Storage. -
compute.googleapis.com/vpc_flows: קידומת או נתיב תיקייה אופציונליים שבהם הכיור כותב את היומנים (משאירים ריק בשביל תיקיית הבסיס).
-
- מחליפים את:
אפשרות מחיקת המקור: בוחרים את אפשרות המחיקה המועדפת:
- אף פעם: לא מוחק קבצים אחרי העברות (מומלץ לבדיקה).
- מחיקת קבצים שהועברו: מחיקת קבצים אחרי שהועברו בהצלחה.
- מחיקת קבצים שהועברו וספריות ריקות: מחיקת קבצים וספריות ריקות אחרי העברה מוצלחת.
גיל הקובץ המקסימלי (ימים): כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
מרחב השמות של הנכס: מרחב השמות של הנכס.
תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
לוחצים על הבא.
בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
הקצאת הרשאות IAM לחשבון השירות של Google SecOps
לחשבון השירות של Google SecOps צריך להיות התפקיד צפייה באובייקט אחסון בקטגוריה של Cloud Storage.
- נכנסים לדף Cloud Storage > Buckets.
- לוחצים על הקטגוריה
vpc-flow-logs-bucket. - עוברים לכרטיסייה Permissions.
- לוחצים על הענקת גישה.
- מזינים את פרטי ההגדרה הבאים:
- Add principals: מדביקים את כתובת האימייל של חשבון השירות של Google SecOps.
- הקצאת תפקידים: בוחרים באפשרות צפייה באובייקטים באחסון (
roles/storage.objectViewer).
לוחצים על Save.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | היגיון |
|---|---|---|
_field |
additional.fields |
ממוזג |
textpayload_label |
additional.fields |
ממוזג |
tunnel_id_label |
additional.fields |
ממוזג |
description |
metadata.description |
מיפוי ישיר |
timestamp |
metadata.event_timestamp |
נותח בתור ISO8601 |
ts |
metadata.event_timestamp |
נותח בתור ISO8601 |
event_type |
metadata.event_type |
מיפוי ישיר |
product_event_type |
metadata.product_event_type |
מיפוי ישיר |
product_log_id |
metadata.product_log_id |
מיפוי ישיר |
product_name |
metadata.product_name |
מיפוי ישיר |
product_version |
metadata.product_version |
מיפוי ישיר |
vendor_name |
metadata.vendor_name |
מיפוי ישיר |
ip_protocol_out |
network.ip_protocol |
מיפוי ישיר |
jsonPayload.bytes_sent |
network.sent_bytes |
שינוי שם/מיפוי |
jsonPayload.packets_sent |
network.sent_packets |
שינוי שם/מיפוי |
principal.ip |
principal.asset.ip |
ממוזג |
target.ip |
principal.asset.ip |
ממוזג |
jsonPayload.src_instance.vm_name |
principal.hostname |
מיפוי ישיר |
target.hostname |
principal.hostname |
שינוי שם/מיפוי |
jsonPayload.connection.src_ip |
principal.ip |
מיפוי ישיר |
target.ip |
principal.ip |
ממוזג |
jsonPayload.src_location.city |
principal.location.city |
מיפוי ישיר |
target.location.city |
principal.location.city |
שינוי שם/מיפוי |
jsonPayload.src_location.country |
principal.location.country_or_region |
מיפוי ישיר |
target.location.country_or_region |
principal.location.country_or_region |
שינוי שם/מיפוי |
jsonPayload.src_instance.region |
principal.location.name |
מיפוי ישיר |
resource.labels.location |
principal.location.name |
מיפוי ישיר |
target.location.name |
principal.location.name |
שינוי שם/מיפוי |
jsonPayload.src_location.region |
principal.location.state |
מיפוי ישיר |
target.location.state |
principal.location.state |
שינוי שם/מיפוי |
jsonPayload.src_vpc.project_id |
principal.namespace |
מיפוי ישיר |
jsonPayload.src_vpc.vpc_name |
principal.namespace |
מיפוי ישיר |
target.namespace |
principal.namespace |
שינוי שם/מיפוי |
jsonPayload.connection.src_port |
principal.port |
מיפוי ישיר |
_field |
principal.resource.attribute.labels |
ממוזג |
key |
principal.resource.attribute.labels |
מופה: jsonPayload_src_google_service_type ← _field |
src_gke_cluster_location |
principal.resource.attribute.labels |
ממוזג |
src_gke_cluster_name |
principal.resource.attribute.labels |
ממוזג |
src_gke_namespace |
principal.resource.attribute.labels |
ממוזג |
src_gke_pod_name |
principal.resource.attribute.labels |
ממוזג |
logName |
security_result.category_details |
ממוזג |
severity |
security_result.severity |
מופה: DEBUG ← LOW |
principal.ip |
target.asset.ip |
ממוזג |
target.ip |
target.asset.ip |
ממוזג |
jsonPayload.dest_instance.vm_name |
target.hostname |
מיפוי ישיר |
principal.hostname |
target.hostname |
שינוי שם/מיפוי |
jsonPayload.connection.dest_ip |
target.ip |
מיפוי ישיר |
principal.ip |
target.ip |
ממוזג |
jsonPayload.dest_location.city |
target.location.city |
מיפוי ישיר |
principal.location.city |
target.location.city |
שינוי שם/מיפוי |
jsonPayload.dest_location.country |
target.location.country_or_region |
מיפוי ישיר |
principal.location.country_or_region |
target.location.country_or_region |
שינוי שם/מיפוי |
jsonPayload.dest_instance.region |
target.location.name |
מיפוי ישיר |
principal.location.name |
target.location.name |
שינוי שם/מיפוי |
jsonPayload.dest_location.region |
target.location.state |
מיפוי ישיר |
principal.location.state |
target.location.state |
שינוי שם/מיפוי |
jsonPayload.dest_vpc.project_id |
target.namespace |
מיפוי ישיר |
jsonPayload.dest_vpc.vpc_name |
target.namespace |
מיפוי ישיר |
principal.namespace |
target.namespace |
שינוי שם/מיפוי |
jsonPayload.connection.dest_port |
target.port |
שינוי שם/מיפוי |
dest_gke_cluster_location |
target.resource.attribute.labels |
ממוזג |
dest_gke_cluster_name |
target.resource.attribute.labels |
ממוזג |
dest_gke_namespace |
target.resource.attribute.labels |
ממוזג |
dest_gke_pod_name |
target.resource.attribute.labels |
ממוזג |
service_name_label |
target.resource.attribute.labels |
ממוזג |
service_namespace_label |
target.resource.attribute.labels |
ממוזג |
subnetwork_id_field |
target.user.attribute.labels |
ממוזג |
| לא רלוונטי | network.direction |
קבוע: OUTBOUND |
| לא רלוונטי | network.ip_protocol |
קבוע: network.ip_protocol |
| לא רלוונטי | network.sent_bytes |
קבוע: network.sent_bytes |
| לא רלוונטי | principal.hostname |
קבוע: target.hostname |
| לא רלוונטי | principal.location.city |
קבוע: target.location.city |
| לא רלוונטי | principal.location.country_or_region |
קבוע: target.location.country_or_region |
| לא רלוונטי | principal.location.name |
קבוע: target.location.name |
| לא רלוונטי | principal.location.state |
קבוע: target.location.state |
| לא רלוונטי | principal.namespace |
קבוע: target.namespace |
| לא רלוונטי | principal.port |
קבוע: principal.port |
| לא רלוונטי | security_result.severity |
קבוע: LOW |
| לא רלוונטי | target.hostname |
קבוע: principal.hostname |
| לא רלוונטי | target.location.city |
קבוע: principal.location.city |
| לא רלוונטי | target.location.country_or_region |
קבוע: principal.location.country_or_re... |
| לא רלוונטי | target.location.name |
קבוע: principal.location.name |
| לא רלוונטי | target.location.state |
קבוע: principal.location.state |
| לא רלוונטי | target.namespace |
קבוע: principal.namespace |
| לא רלוונטי | target.port |
קבוע: -99 |
resource.labels.subnetwork_id |
target.user.attribute.labels |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.