איסוף יומנים של AWS Elastic MapReduce

גרסת המנתח: 1.0

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני AWS Elastic MapReduce (EMR) ב-Google Security Operations. ‫AWS EMR היא פלטפורמת Big Data מבוססת-ענן שמעבדת כמויות גדולות של נתונים במהירות. שילוב של יומני EMR ב-Google SecOps מאפשר לנתח את הפעילות באשכול ולזהות איומי אבטחה פוטנציאליים.

לפני שמתחילים

ודאו שהדרישות המוקדמות הבאות מתקיימות:

  • מופע של Google SecOps
  • גישה מיוחדת ל-AWS

הגדרת קטגוריה ב-Amazon S3

  1. יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
  2. שומרים את שם הקטגוריה ואת האזור שלה לשימוש מאוחר יותר.
  3. יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
  4. בוחרים את המשתמש שנוצר.
  5. לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
  6. בקטע Access Keys, לוחצים על Create Access Key.
  7. בוחרים באפשרות שירות של צד שלישי בתור תרחיש לדוגמה.
  8. לוחצים על הבא.
  9. אופציונלי: מוסיפים תג תיאור.
  10. לוחצים על יצירת מפתח גישה.
  11. לוחצים על Download CSV file כדי לשמור את Access Key ואת Secret Access Key לשימוש מאוחר יותר.
  12. לוחצים על סיום.
  13. לוחצים על הכרטיסייה הרשאות.
  14. בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
  15. לוחצים על הוספת הרשאות.
  16. בוחרים באפשרות Attach policies directly.
  17. מחפשים ובוחרים את כללי המדיניות AmazonS3FullAccess ו-CloudWatchLogsFullAccess.
  18. לוחצים על הבא.
  19. לוחצים על הוספת הרשאות.

איך מגדירים את AWS EMR להעברת יומנים

  1. נכנסים ל-AWS Management Console.
  2. בסרגל החיפוש, מקלידים EMR ובוחרים באפשרות Amazon EMR מרשימת השירותים.
  3. לוחצים על Clusters.
  4. מוצאים את אשכול ה-EMR שרוצים להפעיל בו את הרישום ביומן ובוחרים בו.
  5. לוחצים על Edit בדף Cluster details.
  6. במסך Edit Cluster, עוברים לקטע Logging.
  7. בוחרים באפשרות הפעלת רישום ביומן.
  8. מציינים את קטגוריית S3 שבה יאוחסנו היומנים.
  9. מציינים את S3 URI בפורמט s3://your-bucket-name/ (כל יומני ה-EMR יאוחסנו בתיקיית הבסיס של הקטגוריה).
  10. בוחרים את סוגי היומנים הבאים:
    • Step logs
    • Application logs
    • YARN logs
    • System logs
    • ‫HDFS Logs (אם משתמשים ב-Hadoop)
  11. לוחצים על Save.

הגדרת פידים

יש שתי נקודות כניסה שונות להגדרת פידים בפלטפורמת Google SecOps:

  • הגדרות > ניהול נתונים > פידים > הוספת פיד חדש (בפלטפורמה של SIEM בלבד, הגדרות > פידים > הוספת פיד חדש)
  • מרכז התוכן > חבילות תוכן > מתחילים

איך מגדירים את הפיד של AWS EMR

  1. לוחצים על החבילה Amazon Cloud Platform.
  2. מאתרים את סוג היומן AWS EMR.
  3. מציינים את הערכים בשדות הבאים.

    • סוג המקור: Amazon SQS V2
    • ‫Queue Name (שם התור): שם התור ב-SQS שממנו ייקראו הנתונים
    • ‫S3 URI: מזהה ה-URI של הקטגוריה.
      • s3://your-log-bucket-name/
        • מחליפים את your-log-bucket-name בשם האמיתי של קטגוריית S3.
    • אפשרויות מחיקה של מקור: בוחרים את אפשרות המחיקה בהתאם להעדפות ההטמעה שלכם.

    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.

    • מזהה מפתח הגישה לתור SQS: מפתח גישה לחשבון שהוא מחרוזת אלפאנומרית באורך 20 תווים.

    • מפתח גישה סודי לתור SQS: מפתח גישה לחשבון שמורכב ממחרוזת של 40 תווים אלפאנומריים.

    אפשרויות מתקדמות

    • שם הפיד: ערך שמולא מראש ומזהה את הפיד.
    • מרחב השמות של הנכס: מרחב השמות שמשויך לפיד.
    • תוויות הטמעה: תוויות שנוספו לכל האירועים מהפיד הזה.
  4. לוחצים על יצירת פיד.

למידע נוסף על הגדרת כמה פידים לסוגי יומנים שונים במשפחת המוצרים הזו, ראו הגדרת פידים לפי מוצר.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
app_id additional.fields[].key הערך "APP" מוקצה באמצעות מנתח (parser)
app_id additional.fields[].value.string_value ממופה ישירות מהשדה APP ביומן הגולמי.
app_name additional.fields[].key הערך "APPNAME" מוקצה באמצעות מנתח (parser)
app_name additional.fields[].value.string_value ממופה ישירות מהשדה APPNAME ביומן הגולמי.
blockid additional.fields[].key הערך blockid מוקצה באמצעות מנתח (parser)
blockid additional.fields[].value.string_value ממופה ישירות מהשדה blockid ביומן הגולמי.
bytes network.received_bytes ממופה ישירות מהשדה bytes ביומן הגולמי, ומומר למספר שלם ללא סימן.
cliID additional.fields[].key הערך "cliID" מוקצה באמצעות מנתח (parser)
cliID additional.fields[].value.string_value ממופה ישירות מהשדה cliID ביומן הגולמי.
cmd target.process.command_line ממופה ישירות מהשדה cmd ביומן הגולמי.
comp_name additional.fields[].key הערך "COMP" מוקצה באמצעות מנתח
comp_name additional.fields[].value.string_value ממופה ישירות מהשדה COMP ביומן הגולמי.
configuration_version additional.fields[].key הערך configuration_version מוקצה באמצעות מנתח (parser)
configuration_version additional.fields[].value.string_value ממופה ישירות מהשדה configuration_version ביומן הגולמי, ומומר למחרוזת.
containerID additional.fields[].key הערך containerID מוקצה באמצעות מנתח (parser)
containerID additional.fields[].value.string_value ממופה ישירות מהשדה CONTAINERID ביומן הגולמי.
description security_result.description ממופה ישירות מהשדה description ביומן הגולמי.
dfs.FSNamesystem.* additional.fields[].key המפתח נוצר על ידי שרשור של "dfs.FSNamesystem." עם המפתח מנתוני ה-JSON.
dfs.FSNamesystem.* additional.fields[].value.string_value הערך ממופה ישירות מהערך התואם באובייקט ה-JSON של dfs.FSNamesystem, ומומר למחרוזת.
duration additional.fields[].key הערך "duration" מוקצה באמצעות מנתח (parser)
duration additional.fields[].value.string_value ממופה ישירות מהשדה duration ביומן הגולמי.
duration network.session_duration.seconds ממופה ישירות מהשדה duration ביומן הגולמי, ומומר למספר שלם.
environment additional.fields[].key הערך "environment" מוקצה באמצעות מנתח (parser)
environment additional.fields[].value.string_value ממופה ישירות מהשדה environment ביומן הגולמי. חולץ מהשדה ip_port באמצעות grok ומניפולציה של מחרוזות. חולץ מהשדה ip_port באמצעות grok ומניפולציה של מחרוזות, והומר למספר שלם.
event_type metadata.event_type נקבע על ידי לוגיקת הניתוח על סמך הנוכחות של מידע על principal ו-target. הערכים האפשריים: NETWORK_CONNECTION,‏ USER_RESOURCE_ACCESS,‏ STATUS_UPDATE או GENERIC_EVENT.
file_path target.file.full_path ממופה ישירות מהשדה file_path ביומן הגולמי.
host principal.hostname ממופה ישירות מהשדה host ביומן הגולמי.
host target.hostname ממופה ישירות מהשדה host ביומן הגולמי.
host_ip principal.ip ממופה ישירות מהשדה host_ip ביומן הגולמי.
host_port principal.port ממופה ישירות מהשדה host_port ביומן הגולמי, ומומר למספר שלם.
http_url target.url ממופה ישירות מהשדה http_url ביומן הגולמי.
index additional.fields[].key הערך "index" מוקצה באמצעות מנתח (parser)
index additional.fields[].value.string_value ממופה ישירות מהשדה index ביומן הגולמי.
kind metadata.product_event_type ממופה ישירות מהשדה kind ביומן הגולמי. הערך "AWS_EMR" מוקצה באמצעות מנתח. הערך "AWS EMR" מוקצה באמצעות מנתח. הערך "AMAZON" מוקצה באמצעות מנתח.
offset additional.fields[].key הערך "offset" מוקצה באמצעות מנתח (parser)
offset additional.fields[].value.string_value ממופה ישירות מהשדה offset ביומן הגולמי.
op metadata.product_event_type ממופה ישירות מהשדה op או OPERATION ביומן הגולמי.
proto network.application_protocol חולץ מהשדה http_url באמצעות grok, והומר לאותיות רישיות.
puppet_version additional.fields[].key הערך "puppet_version" מוקצה באמצעות מנתח
puppet_version additional.fields[].value.string_value ממופה ישירות מהשדה puppet_version ביומן הגולמי.
queue_name additional.fields[].key הערך "queue_name" מוקצה באמצעות מנתח (parser)
queue_name additional.fields[].value.string_value ממופה ישירות מהשדה queue_name ביומן הגולמי.
report_format additional.fields[].key הערך "report_format" מוקצה באמצעות מנתח (parser)
report_format additional.fields[].value.string_value ממופה ישירות מהשדה report_format ביומן הגולמי, ומומר למחרוזת.
resource additional.fields[].key הערך "resource" מוקצה באמצעות מנתח (parser)
resource additional.fields[].value.string_value ממופה ישירות מהשדה resource ביומן הגולמי.
result security_result.action_details ממופה ישירות מהשדה RESULT ביומן הגולמי.
security_id additional.fields[].key הערך security_id מוקצה באמצעות מנתח (parser)
security_id additional.fields[].value.string_value ממופה ישירות מהשדה security_id ביומן הגולמי.
severity security_result.severity ממופה מהשדה severity ביומן הגולמי. ‫INFO ממופה אל INFORMATIONAL, WARN ממופה אל MEDIUM.
srvID additional.fields[].key הערך "srvID" מוקצה באמצעות מנתח (parser)
srvID additional.fields[].value.string_value ממופה ישירות מהשדה srvID ביומן הגולמי.
status additional.fields[].key הערך "status" מוקצה באמצעות מנתח (parser)
status additional.fields[].value.string_value ממופה ישירות מהשדה status ביומן הגולמי.
summary security_result.summary ממופה ישירות מהשדה summary ביומן הגולמי.
target_app target.application ממופה ישירות מהשדה TARGET ביומן הגולמי.
target_ip target.ip ממופה ישירות מהשדה target_ip או IP ביומן הגולמי.
target_port target.port ממופה ישירות מהשדה target_port ביומן הגולמי, ומומר למספר שלם.
timestamp metadata.event_timestamp ממופה ישירות מהשדה timestamp ביומן הגולמי, מנותח כחותמת זמן בפורמט ISO8601.
timestamp event.timestamp ממופה ישירות מהשדה timestamp ביומן הגולמי, מנותח כחותמת זמן בפורמט ISO8601.
trade_date additional.fields[].key הערך "trade_date" מוקצה באמצעות מנתח (parser)
trade_date additional.fields[].value.string_value ממופה ישירות מהשדה trade_date ביומן הגולמי.
transaction_uuid additional.fields[].key הערך transaction_uuid מוקצה באמצעות מנתח (parser)
transaction_uuid additional.fields[].value.string_value ממופה ישירות מהשדה transaction_uuid ביומן הגולמי.
type additional.fields[].key הערך "type" מוקצה באמצעות מנתח (parser)
type additional.fields[].value.string_value ממופה ישירות מהשדה type ביומן הגולמי.
user target.user.userid ממופה ישירות מהשדה USER או ugi ביומן הגולמי.

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.