איסוף יומני Fastly CDN
גרסת המנתח: 2.0
במאמר הזה מוסבר איך להטמיע יומני Fastly CDN ב-Google Security Operations באמצעות Amazon S3.
Fastly היא רשת להעברת תוכן (CDN) ופלטפורמת ענן קצה (edge cloud) שמספקת שירותים של העברת תוכן בזמן אמת, אבטחה ומחשוב קצה (edge computing). התכונה Real-Time Log Streaming של Fastly יכולה לשלוח יומני גישה של CDN, אירועי WAF ונתוני טלמטריה אחרים ליעדים שונים, כולל Amazon S3, לצורך מעקב וניתוח של אבטחה.
לפני שמתחילים
ודאו שיש לכם את הדרישות המוקדמות הבאות:
- מכונה של Google SecOps
- גישה עם הרשאות ניהול ללוח הבקרה או ל-API של Fastly
- גישה עם הרשאות ל-AWS (S3, IAM)
- טוקן של Fastly API עם היקף
globalאוglobal:read
יצירת טוקן API של Fastly
- נכנסים ללוח הבקרה של Fastly בכתובת https://manage.fastly.com.
- לוחצים על סמל המשתמש בפינה השמאלית העליונה.
- עוברים אל Account > Personal API tokens (חשבון > אסימוני API אישיים).
- לוחצים על Create Token (יצירת אסימון).
- בתיבת הדו-שיח Create API Token, מזינים את הפרטים הבאים:
- שם: מזינים שם תיאורי (לדוגמה,
Google SecOps S3 Logging Configuration). - סוג: בוחרים באפשרות אסימון משתמש.
- Scope: בוחרים באפשרות Global access (נדרש כדי להגדיר נקודות קצה (endpoints) של רישום ביומן).
- תפוגה: בוחרים באפשרות ללא תפוגה או מגדירים תאריך תפוגה מתאים.
- שם: מזינים שם תיאורי (לדוגמה,
- לוחצים על Create Token (יצירת אסימון).
- מעתיקים ושומרים את אסימון ה-API בצורה מאובטחת.
הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps
- יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה.
- שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה,
fastly-cdn-logs). - יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
- בוחרים את המשתמש שנוצר.
- לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
- לוחצים על Create Access Key בקטע Access Keys.
- בקטע Use case, בוחרים באפשרות Third-party service.
- לוחצים על הבא.
- אופציונלי: מוסיפים תג תיאור.
- לוחצים על יצירת מפתח גישה.
- לוחצים על Download .csv file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
- לוחצים על סיום.
- לוחצים על הכרטיסייה הרשאות.
- בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
- לוחצים על הוספת הרשאות.
- בוחרים באפשרות Attach policies directly.
- מחפשים את המדיניות AmazonS3FullAccess.
- בוחרים את המדיניות.
- לוחצים על הבא.
- לוחצים על הוספת הרשאות.
הגדרת נקודת קצה (endpoint) לרישום ביומן של Fastly S3
אפשרות א': הגדרה דרך לוח הבקרה של Fastly
- נכנסים ללוח הבקרה של Fastly בכתובת https://manage.fastly.com.
- בוחרים את השירות שרוצים להגדיר לו רישום ביומן.
- לוחצים על עריכת ההגדרות ובוחרים באפשרות שכפול הגרסה הפעילה כדי ליצור גרסת טיוטה חדשה.
- בתפריט הניווט הימני לוחצים על רישום ביומן.
- בקטע Amazon Web Services S3, לוחצים על Create endpoint (יצירת נקודת קצה).
בטופס Create an Amazon S3 endpoint, מזינים את פרטי ההגדרה הבאים:
הגדרות בסיסיות:
- שם: מזינים שם תיאורי (לדוגמה,
secops-s3-logs). - מיקום: בוחרים באפשרות ברירת המחדל של גרסת הפורמט (מומלץ).
Log format: מזינים את מחרוזת הפורמט הבאה של JSON:
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- פורמט חותמת זמן: השאר כברירת מחדל (מחרוזת תואמת strftime).
- שם: מזינים שם תיאורי (לדוגמה,
הגדרת קטגוריית S3:
- שם הקטגוריה: מזינים את שם הקטגוריה ב-S3 (לדוגמה,
fastly-cdn-logs). - דומיין: משאירים ריק אם הקטגוריה נמצאת באזור US Standard. באזורים אחרים, מזינים את נקודת הקצה המתאימה של S3 (לדוגמה,
s3-us-west-2.amazonaws.comלאזור us-west-2). - שיטת גישה: בוחרים באפשרות פרטי כניסה של משתמש
- מפתח גישה: מזינים את מפתח הגישה ל-AWS משלב 11.
- מפתח סודי: מזינים את מפתח הגישה הסודי של AWS משלב 11.
- תקופה: מזינים
3600(היומנים נסגרים כל שעה).
לוחצים על אפשרויות מתקדמות כדי להרחיב הגדרות נוספות:
הגדרות מתקדמות:
- Path: מזינים
fastly-cdn/(קידומת אופציונלית לארגון היומנים בתוך הקטגוריה). - מפתח ציבורי של PGP: משאירים את השדה ריק (לא נדרשת הצפנה לשילוב הזה).
- Select a log line format: בוחרים באפשרות Blank (אנחנו משתמשים בפורמט JSON בהתאמה אישית).
- דחיסה: בוחרים באפשרות gzip (מומלץ כדי להפחית את עלויות האחסון).
- Redundancy level: בוחרים באפשרות Standard.
- ACL: בוחרים באפשרות private (מומלץ).
- הצפנה בצד השרת: בוחרים באפשרות ללא (או מגדירים בהתאם לדרישות האבטחה שלכם).
- מספר בייטים מקסימלי: מזינים
0(אין מגבלה על גודל הקובץ).
- Path: מזינים
לוחצים על Create כדי ליצור את נקודת הקצה של רישום ביומן.
לוחצים על הפעלה בפינה השמאלית העליונה.
כדי לפרוס את השינויים בהגדרות, לוחצים על Activate on Production (הפעלה בסביבת הייצור).
בתיבת הדו-שיח לאישור, לוחצים על הפעלה.
אפשרות ב': הגדרה באמצעות Fastly API
אם אתם מעדיפים להגדיר את הרישום ביומן באמצעות API, אתם יכולים להשתמש בשיטה הבאה:
משיגים את מזהה השירות של Fastly מלוח הבקרה או מרשימת השירותים:
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/serviceמשכפלים את הגרסה הפעילה כדי ליצור גרסת טיוטה חדשה:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"יוצרים את נקודת הקצה של רישום ביומן ב-S3 בגרסת הטיוטה החדשה:
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'מפעילים את הגרסה החדשה:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
אימות העברת היומנים ל-S3
- ממתינים כשעה (בהתאם לתקופה שהוגדרה) עד שקובץ היומן הראשון יהיה מוכן.
- במסוף AWS, עוברים אל S3 > Buckets.
- לוחצים על שם הקטגוריה (לדוגמה,
fastly-cdn-logs). - עוברים לתיקיית הקידומת
fastly-cdn/. מוודאים שנוצרים קובצי יומן עם תבנית שמות שדומה לזו:
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gzמורידים קובץ יומן לדוגמה ומוודאים שפורמט ה-JSON תואם להגדרות האישיות.
הגדרת פיד ב-Google SecOps כדי להטמיע יומני CDN של Fastly
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על הוספת פיד חדש.
- בדף הבא, לוחצים על הגדרת פיד יחיד.
- מזינים שם ייחודי בשדה שם הפיד.
- בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
- בוחרים באפשרות Fastly CDN בתור Log type (סוג היומן).
- לוחצים על הבא ואז על שליחה.
מציינים ערכים בשדות הבאים:
- S3 URI:
s3://fastly-cdn-logs/fastly-cdn/. - אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה הרצויה.
- גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים).
- מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
- מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
- מרחב השמות של הנכס: מרחב השמות של הנכס.
- תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
- S3 URI:
לוחצים על הבא ואז על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | מיזוג עם תוויות שנוצרו מכל שדה, אם הוא לא ריק |
| metadata.event_type | צריך להגדיר את הערך "GENERIC_EVENT", ואז את הערך "STATUS_UPDATE" אם הערך של principal_mid_present הוא true | |
| request_method | network.http.method | הערך הועתק ישירות |
| request_user_agent | network.http.parsed_user_agent | השם שונה ל-parseduseragent ואז השם שונה שוב |
| request_referer | network.http.referral_url | הערך הועתק ישירות |
| response_status | network.http.response_code | ההמרה למחרוזת ואז למספר שלם |
| request_user_agent | network.http.user_agent | הערך הועתק ישירות |
| מארח | principal.asset.hostname | הערך הועתק ישירות |
| client_ip | principal.asset.ip | הערך הועתק ישירות (אחרי אימות grok ככתובת IP) |
| מארח | principal.hostname | הערך הועתק ישירות |
| client_ip | principal.ip | הערך הועתק ישירות (אחרי אימות grok ככתובת IP) |
| geo_city | principal.location.city | הערך הועתק ישירות |
| geo_country | principal.location.country_or_region | הערך הועתק ישירות |
| security_result | security_result | הערך הועתק ישירות |
| url | target.url | הערך הועתק ישירות |
| metadata.product_name | צריך להגדיר את הערך "FASTLY_CDN" | |
| metadata.vendor_name | צריך להגדיר את הערך "FASTLY_CDN" |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.