איסוף יומנים של AWS Elastic MapReduce
גרסת המנתח: 1.0
במאמר הזה מוסבר איך להטמיע יומני AWS Elastic MapReduce (EMR) ב-Google Security Operations. AWS EMR היא פלטפורמת Big Data מבוססת-ענן שמעבדת כמויות גדולות של נתונים במהירות. שילוב של יומני EMR ב-Google SecOps מאפשר לנתח את הפעילות באשכול ולזהות איומי אבטחה פוטנציאליים.
לפני שמתחילים
ודאו שהדרישות המוקדמות הבאות מתקיימות:
- מופע של Google SecOps
- גישה מיוחדת ל-AWS
הגדרת קטגוריה ב-Amazon S3
- יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
- שומרים את שם הקטגוריה ואת האזור שלה לשימוש מאוחר יותר.
- יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
- בוחרים את המשתמש שנוצר.
- לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
- בקטע Access Keys, לוחצים על Create Access Key.
- בוחרים באפשרות שירות של צד שלישי בתור תרחיש לדוגמה.
- לוחצים על הבא.
- אופציונלי: מוסיפים תג תיאור.
- לוחצים על יצירת מפתח גישה.
- לוחצים על Download CSV file כדי לשמור את Access Key ואת Secret Access Key לשימוש מאוחר יותר.
- לוחצים על סיום.
- לוחצים על הכרטיסייה הרשאות.
- בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
- לוחצים על הוספת הרשאות.
- בוחרים באפשרות Attach policies directly.
- מחפשים ובוחרים את כללי המדיניות AmazonS3FullAccess ו-CloudWatchLogsFullAccess.
- לוחצים על הבא.
- לוחצים על הוספת הרשאות.
איך מגדירים את AWS EMR להעברת יומנים
- נכנסים ל-AWS Management Console.
- בסרגל החיפוש, מקלידים EMR ובוחרים באפשרות Amazon EMR מרשימת השירותים.
- לוחצים על Clusters.
- מוצאים את אשכול ה-EMR שרוצים להפעיל בו את הרישום ביומן ובוחרים בו.
- לוחצים על Edit בדף Cluster details.
- במסך Edit Cluster, עוברים לקטע Logging.
- בוחרים באפשרות הפעלת רישום ביומן.
- מציינים את קטגוריית S3 שבה יאוחסנו היומנים.
- מציינים את S3 URI בפורמט
s3://your-bucket-name/(כל יומני ה-EMR יאוחסנו בתיקיית הבסיס של הקטגוריה). - בוחרים את סוגי היומנים הבאים:
Step logsApplication logsYARN logsSystem logs-
HDFS Logs(אם משתמשים ב-Hadoop)
- לוחצים על Save.
הגדרת פידים
יש שתי נקודות כניסה שונות להגדרת פידים בפלטפורמת Google SecOps:
- הגדרות > ניהול נתונים > פידים > הוספת פיד חדש (בפלטפורמה של SIEM בלבד, הגדרות > פידים > הוספת פיד חדש)
- מרכז התוכן > חבילות תוכן > מתחילים
איך מגדירים את הפיד של AWS EMR
- לוחצים על החבילה Amazon Cloud Platform.
- מאתרים את סוג היומן AWS EMR.
מציינים את הערכים בשדות הבאים.
- סוג המקור: Amazon SQS V2
- Queue Name (שם התור): שם התור ב-SQS שממנו ייקראו הנתונים
- S3 URI: מזהה ה-URI של הקטגוריה.
s3://your-log-bucket-name/- מחליפים את
your-log-bucket-nameבשם האמיתי של קטגוריית S3.
- מחליפים את
אפשרויות מחיקה של מקור: בוחרים את אפשרות המחיקה בהתאם להעדפות ההטמעה שלכם.
גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
מזהה מפתח הגישה לתור SQS: מפתח גישה לחשבון שהוא מחרוזת אלפאנומרית באורך 20 תווים.
מפתח גישה סודי לתור SQS: מפתח גישה לחשבון שמורכב ממחרוזת של 40 תווים אלפאנומריים.
אפשרויות מתקדמות
- שם הפיד: ערך שמולא מראש ומזהה את הפיד.
- מרחב השמות של הנכס: מרחב השמות שמשויך לפיד.
- תוויות הטמעה: תוויות שנוספו לכל האירועים מהפיד הזה.
לוחצים על יצירת פיד.
למידע נוסף על הגדרת כמה פידים לסוגי יומנים שונים במשפחת המוצרים הזו, ראו הגדרת פידים לפי מוצר.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
app_id |
additional.fields[].key |
הערך "APP" מוקצה באמצעות מנתח (parser) |
app_id |
additional.fields[].value.string_value |
ממופה ישירות מהשדה APP ביומן הגולמי. |
app_name |
additional.fields[].key |
הערך "APPNAME" מוקצה באמצעות מנתח (parser) |
app_name |
additional.fields[].value.string_value |
ממופה ישירות מהשדה APPNAME ביומן הגולמי. |
blockid |
additional.fields[].key |
הערך blockid מוקצה באמצעות מנתח (parser) |
blockid |
additional.fields[].value.string_value |
ממופה ישירות מהשדה blockid ביומן הגולמי. |
bytes |
network.received_bytes |
ממופה ישירות מהשדה bytes ביומן הגולמי, ומומר למספר שלם ללא סימן. |
cliID |
additional.fields[].key |
הערך "cliID" מוקצה באמצעות מנתח (parser) |
cliID |
additional.fields[].value.string_value |
ממופה ישירות מהשדה cliID ביומן הגולמי. |
cmd |
target.process.command_line |
ממופה ישירות מהשדה cmd ביומן הגולמי. |
comp_name |
additional.fields[].key |
הערך "COMP" מוקצה באמצעות מנתח |
comp_name |
additional.fields[].value.string_value |
ממופה ישירות מהשדה COMP ביומן הגולמי. |
configuration_version |
additional.fields[].key |
הערך configuration_version מוקצה באמצעות מנתח (parser) |
configuration_version |
additional.fields[].value.string_value |
ממופה ישירות מהשדה configuration_version ביומן הגולמי, ומומר למחרוזת. |
containerID |
additional.fields[].key |
הערך containerID מוקצה באמצעות מנתח (parser) |
containerID |
additional.fields[].value.string_value |
ממופה ישירות מהשדה CONTAINERID ביומן הגולמי. |
description |
security_result.description |
ממופה ישירות מהשדה description ביומן הגולמי. |
dfs.FSNamesystem.* |
additional.fields[].key |
המפתח נוצר על ידי שרשור של "dfs.FSNamesystem." עם המפתח מנתוני ה-JSON. |
dfs.FSNamesystem.* |
additional.fields[].value.string_value |
הערך ממופה ישירות מהערך התואם באובייקט ה-JSON של dfs.FSNamesystem, ומומר למחרוזת. |
duration |
additional.fields[].key |
הערך "duration" מוקצה באמצעות מנתח (parser) |
duration |
additional.fields[].value.string_value |
ממופה ישירות מהשדה duration ביומן הגולמי. |
duration |
network.session_duration.seconds |
ממופה ישירות מהשדה duration ביומן הגולמי, ומומר למספר שלם. |
environment |
additional.fields[].key |
הערך "environment" מוקצה באמצעות מנתח (parser) |
environment |
additional.fields[].value.string_value |
ממופה ישירות מהשדה environment ביומן הגולמי. חולץ מהשדה ip_port באמצעות grok ומניפולציה של מחרוזות. חולץ מהשדה ip_port באמצעות grok ומניפולציה של מחרוזות, והומר למספר שלם. |
event_type |
metadata.event_type |
נקבע על ידי לוגיקת הניתוח על סמך הנוכחות של מידע על principal ו-target. הערכים האפשריים: NETWORK_CONNECTION, USER_RESOURCE_ACCESS, STATUS_UPDATE או GENERIC_EVENT. |
file_path |
target.file.full_path |
ממופה ישירות מהשדה file_path ביומן הגולמי. |
host |
principal.hostname |
ממופה ישירות מהשדה host ביומן הגולמי. |
host |
target.hostname |
ממופה ישירות מהשדה host ביומן הגולמי. |
host_ip |
principal.ip |
ממופה ישירות מהשדה host_ip ביומן הגולמי. |
host_port |
principal.port |
ממופה ישירות מהשדה host_port ביומן הגולמי, ומומר למספר שלם. |
http_url |
target.url |
ממופה ישירות מהשדה http_url ביומן הגולמי. |
index |
additional.fields[].key |
הערך "index" מוקצה באמצעות מנתח (parser) |
index |
additional.fields[].value.string_value |
ממופה ישירות מהשדה index ביומן הגולמי. |
kind |
metadata.product_event_type |
ממופה ישירות מהשדה kind ביומן הגולמי. הערך "AWS_EMR" מוקצה באמצעות מנתח. הערך "AWS EMR" מוקצה באמצעות מנתח. הערך "AMAZON" מוקצה באמצעות מנתח. |
offset |
additional.fields[].key |
הערך "offset" מוקצה באמצעות מנתח (parser) |
offset |
additional.fields[].value.string_value |
ממופה ישירות מהשדה offset ביומן הגולמי. |
op |
metadata.product_event_type |
ממופה ישירות מהשדה op או OPERATION ביומן הגולמי. |
proto |
network.application_protocol |
חולץ מהשדה http_url באמצעות grok, והומר לאותיות רישיות. |
puppet_version |
additional.fields[].key |
הערך "puppet_version" מוקצה באמצעות מנתח |
puppet_version |
additional.fields[].value.string_value |
ממופה ישירות מהשדה puppet_version ביומן הגולמי. |
queue_name |
additional.fields[].key |
הערך "queue_name" מוקצה באמצעות מנתח (parser) |
queue_name |
additional.fields[].value.string_value |
ממופה ישירות מהשדה queue_name ביומן הגולמי. |
report_format |
additional.fields[].key |
הערך "report_format" מוקצה באמצעות מנתח (parser) |
report_format |
additional.fields[].value.string_value |
ממופה ישירות מהשדה report_format ביומן הגולמי, ומומר למחרוזת. |
resource |
additional.fields[].key |
הערך "resource" מוקצה באמצעות מנתח (parser) |
resource |
additional.fields[].value.string_value |
ממופה ישירות מהשדה resource ביומן הגולמי. |
result |
security_result.action_details |
ממופה ישירות מהשדה RESULT ביומן הגולמי. |
security_id |
additional.fields[].key |
הערך security_id מוקצה באמצעות מנתח (parser) |
security_id |
additional.fields[].value.string_value |
ממופה ישירות מהשדה security_id ביומן הגולמי. |
severity |
security_result.severity |
ממופה מהשדה severity ביומן הגולמי. INFO ממופה אל INFORMATIONAL, WARN ממופה אל MEDIUM. |
srvID |
additional.fields[].key |
הערך "srvID" מוקצה באמצעות מנתח (parser) |
srvID |
additional.fields[].value.string_value |
ממופה ישירות מהשדה srvID ביומן הגולמי. |
status |
additional.fields[].key |
הערך "status" מוקצה באמצעות מנתח (parser) |
status |
additional.fields[].value.string_value |
ממופה ישירות מהשדה status ביומן הגולמי. |
summary |
security_result.summary |
ממופה ישירות מהשדה summary ביומן הגולמי. |
target_app |
target.application |
ממופה ישירות מהשדה TARGET ביומן הגולמי. |
target_ip |
target.ip |
ממופה ישירות מהשדה target_ip או IP ביומן הגולמי. |
target_port |
target.port |
ממופה ישירות מהשדה target_port ביומן הגולמי, ומומר למספר שלם. |
timestamp |
metadata.event_timestamp |
ממופה ישירות מהשדה timestamp ביומן הגולמי, מנותח כחותמת זמן בפורמט ISO8601. |
timestamp |
event.timestamp |
ממופה ישירות מהשדה timestamp ביומן הגולמי, מנותח כחותמת זמן בפורמט ISO8601. |
trade_date |
additional.fields[].key |
הערך "trade_date" מוקצה באמצעות מנתח (parser) |
trade_date |
additional.fields[].value.string_value |
ממופה ישירות מהשדה trade_date ביומן הגולמי. |
transaction_uuid |
additional.fields[].key |
הערך transaction_uuid מוקצה באמצעות מנתח (parser) |
transaction_uuid |
additional.fields[].value.string_value |
ממופה ישירות מהשדה transaction_uuid ביומן הגולמי. |
type |
additional.fields[].key |
הערך "type" מוקצה באמצעות מנתח (parser) |
type |
additional.fields[].value.string_value |
ממופה ישירות מהשדה type ביומן הגולמי. |
user |
target.user.userid |
ממופה ישירות מהשדה USER או ugi ביומן הגולמי. |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.