איסוף יומנים של Elasticsearch
גרסת המנתח: 1.0
במאמר הזה מוסבר איך להטמיע יומני Elasticsearch ב-Google Security Operations באמצעות Amazon S3. המנתח ממיר יומנים גולמיים בפורמט JSON למודל נתונים מאוחד (UDM). הוא מחלץ שדות ממבני JSON בתצוגת עץ, ממפה אותם לשדות UDM ומעשיר את הנתונים בהקשר שרלוונטי לאבטחה, כמו רמות חומרה ותפקידי משתמשים.
לפני שמתחילים
- מכונה של Google SecOps
- גישה מיוחדת לניהול אשכולות של Elasticsearch
- גישה עם הרשאות ל-AWS (S3, IAM, EC2)
- מכונת EC2 או מארח קבוע להרצת Logstash
הדרישות המוקדמות של Elasticsearch
- נכנסים לאשכול Elasticsearch כאדמינים.
- מוודאים שהמינוי ל-Elasticsearch כולל אמצעי אבטחה (נדרש לרישום ביומן הביקורת).
- שימו לב לשם ולגרסה של אשכול Elasticsearch שלכם, כדי שתוכלו להשתמש בהם כהפניה.
- מזהים את הנתיב שבו ייכתבו יומני הביקורת (ברירת המחדל:
$ES_HOME/logs/<clustername>_audit.json).
הפעלת רישום ביומן ביקורת של Elasticsearch
- בכל צומת של Elasticsearch, עורכים את קובץ התצורה elasticsearch.yml.
מוסיפים את ההגדרה הבאה:
xpack.security.audit.enabled: trueמבצעים הפעלה מחדש הדרגתית של האשכול כדי להחיל את השינויים:
- השבתת הקצאת המקטעים:
PUT _cluster/settings {"persistent": {"cluster.routing.allocation.enable": "primaries"}} - עוצרים ומפעילים מחדש כל צומת בנפרד.
- הפעלה מחדש של הקצאת המקטעים:
PUT _cluster/settings {"persistent": {"cluster.routing.allocation.enable": null}}
- השבתת הקצאת המקטעים:
מוודאים שיומני הביקורת נוצרים ב-
<clustername>_audit.jsonבספריית היומנים.
הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps
- יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
- שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה,
elastic-search-logs). - יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
- בוחרים את המשתמש שנוצר.
- לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
- לוחצים על Create Access Key בקטע Access Keys.
- בקטע Use case, בוחרים באפשרות Third-party service.
- לוחצים על הבא.
- אופציונלי: מוסיפים תג תיאור.
- לוחצים על יצירת מפתח גישה.
- לוחצים על Download CSV file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
- לוחצים על סיום.
- לוחצים על הכרטיסייה הרשאות.
- בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
- לוחצים על הוספת הרשאות.
- בוחרים באפשרות Attach policies directly.
- מחפשים את המדיניות AmazonS3FullAccess.
- בוחרים את המדיניות.
- לוחצים על הבא.
- לוחצים על הוספת הרשאות.
הגדרת Logstash לשליחת יומני ביקורת ל-S3
- מתקינים את Logstash במכונה של EC2 או במארח קבוע שיכול לגשת לקובצי יומן הביקורת של Elasticsearch.
אם הפלאגין של פלט S3 עדיין לא מותקן, מתקינים אותו:
bin/logstash-plugin install logstash-output-s3יוצרים קובץ תצורה של Logstash (
elastic-to-s3.conf):input { file { path => "/path/to/elasticsearch/logs/*_audit.json" start_position => "beginning" codec => "json" # audit file: 1 JSON object per line sincedb_path => "/var/lib/logstash/sincedb_elastic_search" exclude => ["*.gz"] } } filter { # Intentionally minimal: do NOT reshape audit JSON the ELASTIC_SEARCH parser expects. # If you must add metadata for ops, put it under [@metadata] so it won't be written. # ruby { code => "event.set('[@metadata][ingested_at]', Time.now.utc.iso8601)" } } output { s3 { access_key_id => "YOUR_AWS_ACCESS_KEY" secret_access_key => "YOUR_AWS_SECRET_KEY" region => "us-east-1" bucket => "elastic-search-logs" prefix => "logs/%{+YYYY}/%{+MM}/%{+dd}/" codec => "json_lines" # NDJSON output (1 JSON object per line) encoding => "gzip" # compress objects server_side_encryption => true # Optionally for KMS: # server_side_encryption_kms_key_id => "arn:aws:kms:REGION:ACCT:key/KEY_ID" size_file => 104857600 # 100MB rotation time_file => 300 # 5 min rotation } }מפעילים את Logstash עם ההגדרות:
bin/logstash -f elastic-to-s3.conf
אופציונלי: יצירת משתמש IAM לקריאה בלבד ב-Google SecOps
- עוברים אל AWS Console > IAM > Users > Add users.
- לוחצים על הוספת משתמשים.
- מזינים את פרטי ההגדרה הבאים:
- משתמש: מזינים
secops-reader. - Access type: בוחרים באפשרות Access key – Programmatic access.
- משתמש: מזינים
- לוחצים על Create user.
- מצרפים מדיניות קריאה מינימלית (בהתאמה אישית): Users > secops-reader > Permissions > Add permissions > Attach policies directly > Create policy.
בעורך ה-JSON, מזינים את המדיניות הבאה:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": ["s3:GetObject"], "Resource": "arn:aws:s3:::elastic-search-logs/*" }, { "Effect": "Allow", "Action": ["s3:ListBucket"], "Resource": "arn:aws:s3:::elastic-search-logs" } ] }מגדירים את השם
secops-reader-policy.עוברים אל Create policy > חיפוש/בחירה > Next > Add permissions.
עוברים אל Security credentials > Access keys > Create access key.
מורידים את קובץ ה-CSV (הערכים האלה מוזנים בפיד).
הגדרת פיד ב-Google SecOps כדי להטמיע יומנים של Elasticsearch
- עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
- לוחצים על + הוספת פיד חדש.
- בשדה שם הפיד, מזינים שם לפיד (לדוגמה,
Elasticsearch Logs). - בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
- בוחרים באפשרות Elastic Search בתור סוג היומן.
- לוחצים על הבא.
- מציינים ערכים לפרמטרים הבאים של הקלט:
- S3 URI:
s3://elastic-search-logs/logs/ - אפשרויות למחיקת המקור: בוחרים את אפשרות המחיקה הרצויה.
- גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
- מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
- מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
- מרחב השמות של הנכס: מרחב השמות של הנכס.
- תוויות הטמעה: התווית שנוספה לאירועים מהפיד הזה.
- S3 URI:
- לוחצים על הבא.
- בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
| רמה | security_result.severity | הלוגיקה בודקת את הערך של השדה Level וממפה אותו לרמת החומרה המתאימה ב-UDM: – הערכים INFO, ALL, OFF, TRACE ו-DEBUG ממופים ל-INFORMATIONAL. – הערך WARN ממופה לערך LOW. – הערך "ERROR" ממופה לערך "ERROR". – הערך FATAL ממופה לערך CRITICAL. |
| message.@timestamp | חותמת זמן | חותמת הזמן מנותחת מהשדה "@timestamp" שבשדה "message" של היומן הגולמי, בפורמט "yyyy-MM-ddTHH:mm:ss.SSS". |
| message.action | security_result.action_details | הערך נלקח מהשדה action שבתוך השדה message ביומן הגולמי. |
| message.event.action | security_result.summary | הערך נלקח מהשדה event.action שבשדה message ביומן הגולמי. |
| message.event.type | metadata.product_event_type | הערך נלקח מהשדה event.type שבשדה message ביומן הגולמי. |
| message.host.ip | target.ip | הערך נלקח מהשדה host.ip שבשדה message ביומן הגולמי. |
| message.host.name | target.hostname | הערך נלקח מהשדה host.name שבשדה message ביומן הגולמי. |
| message.indices | target.labels.value | הערך נלקח מהשדה "indices" בתוך השדה "message" ביומן הגולמי. |
| message.mrId | target.hostname | הערך נלקח מהשדה "mrId" שבשדה "message" ביומן הגולמי. |
| message.node.id | principal.asset.product_object_id | הערך נלקח מהשדה "node.id" שבשדה "message" ביומן הגולמי. |
| message.node.name | target.asset.hostname | הערך נלקח מהשדה "node.name" שבשדה "message" ביומן הגולמי. |
| message.origin.address | principal.ip | כתובת ה-IP נשלפת מהשדה origin.address שבשדה message של היומן הגולמי, על ידי הסרת מספר היציאה. |
| message.origin.type | principal.resource.resource_subtype | הערך נלקח מהשדה origin.type שבשדה message ביומן הגולמי. |
| message.properties.host_group | principal.hostname | הערך נלקח מהשדה properties.host_group שבשדה message ביומן הגולמי. |
| message.properties.host_group | target.group.group_display_name | הערך נלקח מהשדה properties.host_group שבשדה message ביומן הגולמי. |
| message.request.id | target.resource.product_object_id | הערך נלקח מהשדה request.id שבשדה message ביומן הגולמי. |
| message.request.name | target.resource.name | הערך נלקח מהשדה request.name שבשדה message ביומן הגולמי. |
| message.user.name | principal.user.userid | הערך נלקח מהשדה "user.name" שבשדה "message" ביומן הגולמי. |
| message.user.realm | principal.user.attribute.permissions.name | הערך נלקח מהשדה "user.realm" שבשדה "message" ביומן הגולמי. |
| message.user.roles | about.user.attribute.roles.name | הערך נלקח מהשדה "user.roles" שבשדה "message" ביומן הגולמי. |
| metadata.event_type | ערך בתוך הקוד: "USER_RESOURCE_ACCESS" | |
| metadata.log_type | ערך בתוך הקוד: "ELASTIC_SEARCH" | |
| metadata.product_name | ערך בתוך הקוד: "ELASTICSEARCH" | |
| metadata.vendor_name | ערך בתוך הקוד: "ELASTIC" | |
| principal.port | מספר היציאה נשלף מהשדה origin.address שבשדה message ביומן הגולמי. | |
| target.labels.key | ערך בתוך הקוד: "Indice" |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.