איסוף יומני Fastly CDN

גרסת המנתח: 2.0

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני Fastly CDN ב-Google Security Operations באמצעות Amazon S3.

‫Fastly היא רשת להעברת תוכן (CDN) ופלטפורמת ענן קצה (edge cloud) שמספקת שירותים של העברת תוכן בזמן אמת, אבטחה ומחשוב קצה (edge computing). התכונה Real-Time Log Streaming של Fastly יכולה לשלוח יומני גישה של CDN, אירועי WAF ונתוני טלמטריה אחרים ליעדים שונים, כולל Amazon S3, לצורך מעקב וניתוח של אבטחה.

לפני שמתחילים

ודאו שיש לכם את הדרישות המוקדמות הבאות:

  • מכונה של Google SecOps
  • גישה עם הרשאות ניהול ללוח הבקרה או ל-API של Fastly
  • גישה עם הרשאות ל-AWS‏ (S3, ‏ IAM)
  • טוקן של Fastly API עם היקף global או global:read

יצירת טוקן API של Fastly

  1. נכנסים ללוח הבקרה של Fastly בכתובת https://manage.fastly.com.
  2. לוחצים על סמל המשתמש בפינה השמאלית העליונה.
  3. עוברים אל Account > Personal API tokens (חשבון > אסימוני API אישיים).
  4. לוחצים על Create Token (יצירת אסימון).
  5. בתיבת הדו-שיח Create API Token, מזינים את הפרטים הבאים:
    • שם: מזינים שם תיאורי (לדוגמה, Google SecOps S3 Logging Configuration).
    • סוג: בוחרים באפשרות אסימון משתמש.
    • Scope: בוחרים באפשרות Global access (נדרש כדי להגדיר נקודות קצה (endpoints) של רישום ביומן).
    • תפוגה: בוחרים באפשרות ללא תפוגה או מגדירים תאריך תפוגה מתאים.
  6. לוחצים על Create Token (יצירת אסימון).
  7. מעתיקים ושומרים את אסימון ה-API בצורה מאובטחת.

הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps

  1. יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה.
  2. שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה, fastly-cdn-logs).
  3. יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
  4. בוחרים את המשתמש שנוצר.
  5. לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
  6. לוחצים על Create Access Key בקטע Access Keys.
  7. בקטע Use case, בוחרים באפשרות Third-party service.
  8. לוחצים על הבא.
  9. אופציונלי: מוסיפים תג תיאור.
  10. לוחצים על יצירת מפתח גישה.
  11. לוחצים על Download .csv file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
  12. לוחצים על סיום.
  13. לוחצים על הכרטיסייה הרשאות.
  14. בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
  15. לוחצים על הוספת הרשאות.
  16. בוחרים באפשרות Attach policies directly.
  17. מחפשים את המדיניות AmazonS3FullAccess.
  18. בוחרים את המדיניות.
  19. לוחצים על הבא.
  20. לוחצים על הוספת הרשאות.

הגדרת נקודת קצה (endpoint) לרישום ביומן של Fastly S3

אפשרות א': הגדרה דרך לוח הבקרה של Fastly

  1. נכנסים ללוח הבקרה של Fastly בכתובת https://manage.fastly.com.
  2. בוחרים את השירות שרוצים להגדיר לו רישום ביומן.
  3. לוחצים על עריכת ההגדרות ובוחרים באפשרות שכפול הגרסה הפעילה כדי ליצור גרסת טיוטה חדשה.
  4. בתפריט הניווט הימני לוחצים על רישום ביומן.
  5. בקטע Amazon Web Services S3, לוחצים על Create endpoint (יצירת נקודת קצה).
  6. בטופס Create an Amazon S3 endpoint, מזינים את פרטי ההגדרה הבאים:

    • הגדרות בסיסיות:

      • שם: מזינים שם תיאורי (לדוגמה, secops-s3-logs).
      • מיקום: בוחרים באפשרות ברירת המחדל של גרסת הפורמט (מומלץ).
      • ‫Log format: מזינים את מחרוזת הפורמט הבאה של JSON:

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • פורמט חותמת זמן: השאר כברירת מחדל (מחרוזת תואמת strftime).

    הגדרת קטגוריית S3:

    • שם הקטגוריה: מזינים את שם הקטגוריה ב-S3 (לדוגמה, fastly-cdn-logs).
    • דומיין: משאירים ריק אם הקטגוריה נמצאת באזור US Standard. באזורים אחרים, מזינים את נקודת הקצה המתאימה של S3 (לדוגמה, s3-us-west-2.amazonaws.com לאזור us-west-2).
    • שיטת גישה: בוחרים באפשרות פרטי כניסה של משתמש
    • מפתח גישה: מזינים את מפתח הגישה ל-AWS משלב 11.
    • מפתח סודי: מזינים את מפתח הגישה הסודי של AWS משלב 11.
    • תקופה: מזינים 3600 (היומנים נסגרים כל שעה).
  7. לוחצים על אפשרויות מתקדמות כדי להרחיב הגדרות נוספות:

    הגדרות מתקדמות:

    • Path: מזינים fastly-cdn/ (קידומת אופציונלית לארגון היומנים בתוך הקטגוריה).
    • מפתח ציבורי של PGP: משאירים את השדה ריק (לא נדרשת הצפנה לשילוב הזה).
    • Select a log line format: בוחרים באפשרות Blank (אנחנו משתמשים בפורמט JSON בהתאמה אישית).
    • דחיסה: בוחרים באפשרות gzip (מומלץ כדי להפחית את עלויות האחסון).
    • Redundancy level: בוחרים באפשרות Standard.
    • ACL: בוחרים באפשרות private (מומלץ).
    • הצפנה בצד השרת: בוחרים באפשרות ללא (או מגדירים בהתאם לדרישות האבטחה שלכם).
    • מספר בייטים מקסימלי: מזינים 0 (אין מגבלה על גודל הקובץ).
  8. לוחצים על Create כדי ליצור את נקודת הקצה של רישום ביומן.

  9. לוחצים על הפעלה בפינה השמאלית העליונה.

  10. כדי לפרוס את השינויים בהגדרות, לוחצים על Activate on Production (הפעלה בסביבת הייצור).

  11. בתיבת הדו-שיח לאישור, לוחצים על הפעלה.

אפשרות ב': הגדרה באמצעות Fastly API

אם אתם מעדיפים להגדיר את הרישום ביומן באמצעות API, אתם יכולים להשתמש בשיטה הבאה:

  1. משיגים את מזהה השירות של Fastly מלוח הבקרה או מרשימת השירותים:

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. משכפלים את הגרסה הפעילה כדי ליצור גרסת טיוטה חדשה:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. יוצרים את נקודת הקצה של רישום ביומן ב-S3 בגרסת הטיוטה החדשה:

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. מפעילים את הגרסה החדשה:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

אימות העברת היומנים ל-S3

  1. ממתינים כשעה (בהתאם לתקופה שהוגדרה) עד שקובץ היומן הראשון יהיה מוכן.
  2. במסוף AWS, עוברים אל S3 > Buckets.
  3. לוחצים על שם הקטגוריה (לדוגמה, fastly-cdn-logs).
  4. עוברים לתיקיית הקידומת fastly-cdn/.
  5. מוודאים שנוצרים קובצי יומן עם תבנית שמות שדומה לזו:

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. מורידים קובץ יומן לדוגמה ומוודאים שפורמט ה-JSON תואם להגדרות האישיות.

הגדרת פיד ב-Google SecOps כדי להטמיע יומני CDN של Fastly

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על הוספת פיד חדש.
  3. בדף הבא, לוחצים על הגדרת פיד יחיד.
  4. מזינים שם ייחודי בשדה שם הפיד.
  5. בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
  6. בוחרים באפשרות Fastly CDN בתור Log type (סוג היומן).
  7. לוחצים על הבא ואז על שליחה.
  8. מציינים ערכים בשדות הבאים:

    • S3 URI: s3://fastly-cdn-logs/fastly-cdn/.
    • אפשרות למחיקת המקור: בוחרים את אפשרות המחיקה הרצויה.
    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים (ברירת המחדל היא 180 ימים).
    • מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
    • מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות הטמעה: התווית שתתווסף לאירועים מהפיד הזה.
  9. לוחצים על הבא ואז על שליחה.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields מיזוג עם תוויות שנוצרו מכל שדה, אם הוא לא ריק
metadata.event_type צריך להגדיר את הערך "GENERIC_EVENT", ואז את הערך "STATUS_UPDATE" אם הערך של principal_mid_present הוא true
request_method network.http.method הערך הועתק ישירות
request_user_agent network.http.parsed_user_agent השם שונה ל-parseduseragent ואז השם שונה שוב
request_referer network.http.referral_url הערך הועתק ישירות
response_status network.http.response_code ההמרה למחרוזת ואז למספר שלם
request_user_agent network.http.user_agent הערך הועתק ישירות
מארח principal.asset.hostname הערך הועתק ישירות
client_ip principal.asset.ip הערך הועתק ישירות (אחרי אימות grok ככתובת IP)
מארח principal.hostname הערך הועתק ישירות
client_ip principal.ip הערך הועתק ישירות (אחרי אימות grok ככתובת IP)
geo_city principal.location.city הערך הועתק ישירות
geo_country principal.location.country_or_region הערך הועתק ישירות
security_result security_result הערך הועתק ישירות
url target.url הערך הועתק ישירות
metadata.product_name צריך להגדיר את הערך "FASTLY_CDN"
metadata.vendor_name צריך להגדיר את הערך "FASTLY_CDN"

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.