איסוף יומנים של Elasticsearch

גרסת המנתח: 1.0

נתמך ב:

במאמר הזה מוסבר איך להטמיע יומני Elasticsearch ב-Google Security Operations באמצעות Amazon S3. המנתח ממיר יומנים גולמיים בפורמט JSON למודל נתונים מאוחד (UDM). הוא מחלץ שדות ממבני JSON בתצוגת עץ, ממפה אותם לשדות UDM ומעשיר את הנתונים בהקשר שרלוונטי לאבטחה, כמו רמות חומרה ותפקידי משתמשים.

לפני שמתחילים

  • מכונה של Google SecOps
  • גישה מיוחדת לניהול אשכולות של Elasticsearch
  • גישה עם הרשאות ל-AWS‏ (S3, ‏ IAM, ‏ EC2)
  • מכונת EC2 או מארח קבוע להרצת Logstash

הדרישות המוקדמות של Elasticsearch

  1. נכנסים לאשכול Elasticsearch כאדמינים.
  2. מוודאים שהמינוי ל-Elasticsearch כולל אמצעי אבטחה (נדרש לרישום ביומן הביקורת).
  3. שימו לב לשם ולגרסה של אשכול Elasticsearch שלכם, כדי שתוכלו להשתמש בהם כהפניה.
  4. מזהים את הנתיב שבו ייכתבו יומני הביקורת (ברירת המחדל: $ES_HOME/logs/<clustername>_audit.json).

הפעלת רישום ביומן ביקורת של Elasticsearch

  1. בכל צומת של Elasticsearch, עורכים את קובץ התצורה elasticsearch.yml.
  2. מוסיפים את ההגדרה הבאה:

    xpack.security.audit.enabled: true
    
  3. מבצעים הפעלה מחדש הדרגתית של האשכול כדי להחיל את השינויים:

    • השבתת הקצאת המקטעים: PUT _cluster/settings {"persistent": {"cluster.routing.allocation.enable": "primaries"}}
    • עוצרים ומפעילים מחדש כל צומת בנפרד.
    • הפעלה מחדש של הקצאת המקטעים: PUT _cluster/settings {"persistent": {"cluster.routing.allocation.enable": null}}
  4. מוודאים שיומני הביקורת נוצרים ב-<clustername>_audit.json בספריית היומנים.

הגדרת קטגוריית AWS S3 ו-IAM ל-Google SecOps

  1. יוצרים קטגוריה של Amazon S3 לפי המדריך למשתמש: יצירת קטגוריה
  2. שומרים את שם הקטגוריה ואת האזור שלה לעיון בעתיד (לדוגמה, elastic-search-logs).
  3. יוצרים משתמש לפי המדריך למשתמש: יצירת משתמש IAM.
  4. בוחרים את המשתמש שנוצר.
  5. לוחצים על הכרטיסייה פרטי כניסה מאובטחים.
  6. לוחצים על Create Access Key בקטע Access Keys.
  7. בקטע Use case, בוחרים באפשרות Third-party service.
  8. לוחצים על הבא.
  9. אופציונלי: מוסיפים תג תיאור.
  10. לוחצים על יצירת מפתח גישה.
  11. לוחצים על Download CSV file כדי לשמור את Access Key ואת Secret Access Key לשימוש עתידי.
  12. לוחצים על סיום.
  13. לוחצים על הכרטיסייה הרשאות.
  14. בקטע מדיניות הרשאות, לוחצים על הוספת הרשאות.
  15. לוחצים על הוספת הרשאות.
  16. בוחרים באפשרות Attach policies directly.
  17. מחפשים את המדיניות AmazonS3FullAccess.
  18. בוחרים את המדיניות.
  19. לוחצים על הבא.
  20. לוחצים על הוספת הרשאות.

הגדרת Logstash לשליחת יומני ביקורת ל-S3

  1. מתקינים את Logstash במכונה של EC2 או במארח קבוע שיכול לגשת לקובצי יומן הביקורת של Elasticsearch.
  2. אם הפלאגין של פלט S3 עדיין לא מותקן, מתקינים אותו:

    bin/logstash-plugin install logstash-output-s3
    
  3. יוצרים קובץ תצורה של Logstash‏ (elastic-to-s3.conf):

    input {
      file {
        path => "/path/to/elasticsearch/logs/*_audit.json"
        start_position => "beginning"
        codec => "json"              # audit file: 1 JSON object per line
        sincedb_path => "/var/lib/logstash/sincedb_elastic_search"
        exclude => ["*.gz"]
      }
    }
    
    filter {
      # Intentionally minimal: do NOT reshape audit JSON the ELASTIC_SEARCH parser expects.
      # If you must add metadata for ops, put it under [@metadata] so it won't be written.
      # ruby { code => "event.set('[@metadata][ingested_at]', Time.now.utc.iso8601)" }
    }
    
    output {
      s3 {
        access_key_id => "YOUR_AWS_ACCESS_KEY"
        secret_access_key => "YOUR_AWS_SECRET_KEY"
        region => "us-east-1"
        bucket => "elastic-search-logs"
        prefix => "logs/%{+YYYY}/%{+MM}/%{+dd}/"
    
        codec => "json_lines"        # NDJSON output (1 JSON object per line)
        encoding => "gzip"           # compress objects
    
        server_side_encryption => true
        # Optionally for KMS:
        # server_side_encryption_kms_key_id => "arn:aws:kms:REGION:ACCT:key/KEY_ID"
    
        size_file => 104857600       # 100MB rotation
        time_file => 300             # 5 min rotation
      }
    }
    
  4. מפעילים את Logstash עם ההגדרות:

    bin/logstash -f elastic-to-s3.conf
    

אופציונלי: יצירת משתמש IAM לקריאה בלבד ב-Google SecOps

  1. עוברים אל AWS Console > IAM > Users > Add users.
  2. לוחצים על הוספת משתמשים.
  3. מזינים את פרטי ההגדרה הבאים:
    • משתמש: מזינים secops-reader.
    • Access type: בוחרים באפשרות Access key – Programmatic access.
  4. לוחצים על Create user.
  5. מצרפים מדיניות קריאה מינימלית (בהתאמה אישית): Users > secops-reader > Permissions > Add permissions > Attach policies directly > Create policy.
  6. בעורך ה-JSON, מזינים את המדיניות הבאה:

    {
      "Version": "2012-10-17",
      "Statement": [
        {
          "Effect": "Allow",
          "Action": ["s3:GetObject"],
          "Resource": "arn:aws:s3:::elastic-search-logs/*"
        },
        {
          "Effect": "Allow",
          "Action": ["s3:ListBucket"],
          "Resource": "arn:aws:s3:::elastic-search-logs"
        }
      ]
    }
    
  7. מגדירים את השם secops-reader-policy.

  8. עוברים אל Create policy > חיפוש/בחירה > Next > Add permissions.

  9. עוברים אל Security credentials > Access keys > Create access key.

  10. מורידים את קובץ ה-CSV (הערכים האלה מוזנים בפיד).

הגדרת פיד ב-Google SecOps כדי להטמיע יומנים של Elasticsearch

  1. עוברים אל הגדרות > ניהול נתונים > פידים. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פידים.
  2. לוחצים על + הוספת פיד חדש.
  3. בשדה שם הפיד, מזינים שם לפיד (לדוגמה, Elasticsearch Logs).
  4. בוחרים באפשרות Amazon S3 V2 בתור סוג המקור.
  5. בוחרים באפשרות Elastic Search בתור סוג היומן.
  6. לוחצים על הבא.
  7. מציינים ערכים לפרמטרים הבאים של הקלט:
    • S3 URI: s3://elastic-search-logs/logs/
    • אפשרויות למחיקת המקור: בוחרים את אפשרות המחיקה הרצויה.
    • גיל הקובץ המקסימלי: כולל קבצים ששונו במספר הימים האחרונים. ברירת המחדל היא 180 ימים.
    • מזהה מפתח הגישה: מפתח גישה של משתמש עם גישה לקטגוריית S3.
    • מפתח גישה סודי: מפתח סודי של משתמש עם גישה לקטגוריית S3.
    • מרחב השמות של הנכס: מרחב השמות של הנכס.
    • תוויות הטמעה: התווית שנוספה לאירועים מהפיד הזה.
  8. לוחצים על הבא.
  9. בודקים את הגדרות הפיד החדש במסך סיום ולוחצים על שליחה.

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
רמה security_result.severity הלוגיקה בודקת את הערך של השדה Level וממפה אותו לרמת החומרה המתאימה ב-UDM: ‏
– הערכים INFO,‏ ALL,‏ OFF,‏ TRACE ו-DEBUG ממופים ל-INFORMATIONAL.
– הערך WARN ממופה לערך LOW.
– הערך "ERROR" ממופה לערך "ERROR". ‫
– הערך FATAL ממופה לערך CRITICAL.
message.@timestamp חותמת זמן חותמת הזמן מנותחת מהשדה "‎@timestamp" שבשדה "message" של היומן הגולמי, בפורמט "yyyy-MM-ddTHH:mm:ss.SSS".
message.action security_result.action_details הערך נלקח מהשדה action שבתוך השדה message ביומן הגולמי.
message.event.action security_result.summary הערך נלקח מהשדה event.action שבשדה message ביומן הגולמי.
message.event.type metadata.product_event_type הערך נלקח מהשדה event.type שבשדה message ביומן הגולמי.
message.host.ip target.ip הערך נלקח מהשדה host.ip שבשדה message ביומן הגולמי.
message.host.name target.hostname הערך נלקח מהשדה host.name שבשדה message ביומן הגולמי.
message.indices target.labels.value הערך נלקח מהשדה "indices" בתוך השדה "message" ביומן הגולמי.
message.mrId target.hostname הערך נלקח מהשדה "mrId" שבשדה "message" ביומן הגולמי.
message.node.id principal.asset.product_object_id הערך נלקח מהשדה "node.id" שבשדה "message" ביומן הגולמי.
message.node.name target.asset.hostname הערך נלקח מהשדה "node.name" שבשדה "message" ביומן הגולמי.
message.origin.address principal.ip כתובת ה-IP נשלפת מהשדה origin.address שבשדה message של היומן הגולמי, על ידי הסרת מספר היציאה.
message.origin.type principal.resource.resource_subtype הערך נלקח מהשדה origin.type שבשדה message ביומן הגולמי.
message.properties.host_group principal.hostname הערך נלקח מהשדה properties.host_group שבשדה message ביומן הגולמי.
message.properties.host_group target.group.group_display_name הערך נלקח מהשדה properties.host_group שבשדה message ביומן הגולמי.
message.request.id target.resource.product_object_id הערך נלקח מהשדה request.id שבשדה message ביומן הגולמי.
message.request.name target.resource.name הערך נלקח מהשדה request.name שבשדה message ביומן הגולמי.
message.user.name principal.user.userid הערך נלקח מהשדה "user.name" שבשדה "message" ביומן הגולמי.
message.user.realm principal.user.attribute.permissions.name הערך נלקח מהשדה "user.realm" שבשדה "message" ביומן הגולמי.
message.user.roles about.user.attribute.roles.name הערך נלקח מהשדה "user.roles" שבשדה "message" ביומן הגולמי.
metadata.event_type ערך בתוך הקוד: "USER_RESOURCE_ACCESS"
metadata.log_type ערך בתוך הקוד: "ELASTIC_SEARCH"
metadata.product_name ערך בתוך הקוד: "ELASTICSEARCH"
metadata.vendor_name ערך בתוך הקוד: "ELASTIC"
principal.port מספר היציאה נשלף מהשדה origin.address שבשדה message ביומן הגולמי.
target.labels.key ערך בתוך הקוד: "Indice"

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.