איסוף יומנים של HAProxy

נתמך ב:

Google SecOps SIEM

במסמך הזה מוסבר איך להטמיע יומני HAProxy ב-Google Security Operations באמצעות סוכן Bindplane.

‫HAProxy הוא שרת proxy ומאזן עומסים בזמינות גבוהה, שיוצר הודעות syslog לבקשות HTTP, לאירועי חיבור, לבדיקות תקינות של קצה עורפי ולפעילות של תהליכים. המנתח משתמש בהתאמת דפוסים של Grok כדי לחלץ שדות מפורמטים שונים של יומני HAProxy וממפה אותם למודל הנתונים המאוחד (UDM).

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

• מופע של Google SecOps
• ‫Windows Server 2016 ואילך, או מארח Linux עם systemd
• קישוריות רשת בין סוכן Bindplane לבין שרת HAProxy
• אם מריצים את הסוכן מאחורי שרת proxy, מוודאים שיציאות חומת האש פתוחות בהתאם לדרישות של סוכן Bindplane
• הרשאת אדמין להגדרת HAProxy

קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane

כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים אחת מהשיטות הבאות:

• פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
• פריסות מדור קודם: אפשר להמשיך להשתמש בקובץ האימות של ה-API להעברת נתונים (אפשרות 2) עד שה-API להעברת נתונים יפסיק לפעול ב-20 ביולי 2027.

אפשרות 1: יצירת חשבון שירות עבור Chronicle API (מומלץ)

1. נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
2. נכנסים לדף IAM & Admin > Service Accounts.
3. לוחצים על Create service account.
4. מזינים את פרטי ההגדרה הבאים:
   • Service account name: מזינים שם לחשבון (לדוגמה, bindplane-ingest).
   • Service account description: מזינים תיאור (לדוגמה, Bindplane agent log ingestion).
5. לוחצים על Create and continue.
6. בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
7. לוחצים על המשך ואז על סיום.
8. לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
9. לוחצים על Add key > Create new key.
10. בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
11. שומרים את קובץ המפתח בתור ingestion-auth.json בספריית ה-collector של Bindplane (/opt/observiq-otel-collector/ingestion-auth.json ב-Linux או C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json ב-Windows), או מעדכנים את creds_file_path ב-config.yaml כך שיתאים לנתיב שבו שמרתם אותו.
12. עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.

הערה: מפתח ה-JSON הוא פרטי כניסה. מגבילים את הגישה לקובץ במארח של Bindplane ומחליפים את המפתח בהתאם למדיניות של הארגון.

אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (מדור קודם)

1. נכנסים למסוף Google SecOps.
2. עוברים אל SIEM Settings > Collection Agents (הגדרות SIEM > סוכני איסוף).
3. מורידים את קובץ האימות להטמעת נתונים.
4. שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.

הערה: הקובץ הזה מאמת את הסוכן ב-Ingestion API הקודם (malachiteingestion-pa.googleapis.com), ש-Google מתכננת להפסיק את התמיכה בו ב-20 ביולי 2027. כדאי לתכנן מעבר לאפשרות 1 לפני התאריך הזה.

איך מוצאים את מספר הלקוח ב-Google SecOps

1. נכנסים למסוף Google SecOps.
2. עוברים אל SIEM Settings > Profile.

3. מעתיקים את מזהה הלקוח מהקטע פרטי הארגון ושומרים אותו.

   הערה: מספר הלקוח נדרש כדי להגדיר את ייצוא הסוכן של Bindplane.

התקנת סוכן Bindplane

מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.

התקנת חלונות

1. פותחים את שורת הפקודה או את PowerShell כאדמין.

2. מריצים את הפקודה הבאה:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. מחכים שההתקנה תסתיים.

4. מאמתים את ההתקנה על ידי הרצת:

   sc query observiq-otel-collector
   

   השירות אמור להופיע כ-RUNNING.

התקנה ב-Linux

1. פותחים טרמינל עם הרשאות root או sudo.

2. מריצים את הפקודה הבאה:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. מחכים שההתקנה תסתיים.

4. מאמתים את ההתקנה על ידי הרצת:

   sudo systemctl status observiq-otel-collector
   

   השירות אמור להופיע כ-active (running).

מקורות מידע נוספים להתקנה

לאפשרויות התקנה נוספות ולפתרון בעיות, עיינו במדריך להתקנת סוכן Bindplane.

הערה: כדי להגדיר את הייצוא של Chronicle API, צריך את Bindplane collector בגרסה 1.106.0 ואילך. הפקודות הקודמות מתקינות את הגרסה האחרונה. אם אתם מעדכנים התקנה קיימת, צריך לשדרג את הכלי לאיסוף נתונים לפני שמשנים את ההגדרה.

הגדרה של סוכן Bindplane לקליטת syslog ושליחה ל-Google SecOps

איתור קובץ התצורה

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

עריכת קובץ התצורה

• מחליפים את כל התוכן של config.yaml בהגדרות הבאות:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/haproxy:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  
  service:
    pipelines:
      logs/haproxy_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/haproxy
  

פרמטרים להגדרה

מחליפים את ה-placeholders הבאים:

• הגדרת מקלט:

  • ‫listen_address: כתובת ה-IP והיציאה להאזנה:
    • ‫0.0.0.0 כדי להאזין בכל הממשקים (מומלץ)
    • יציאה 514 היא יציאת syslog הרגילה (נדרש root ב-Linux; צריך להשתמש ב-1514 ללא root)

• הגדרת הייצוא:

  • ‫creds_file_path: הנתיב המלא לקובץ מפתח JSON של חשבון השירות (אפשרות 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • ‫Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • ‫customer_id: מספר הלקוח שהועתק ממסוף Google SecOps
  • ‫location: מחליפים את <LOCATION> באזור של מופע Google SecOps (לדוגמה, us,‏ europe או asia-southeast1). ערך זה מתווסף לתחילית chronicle.googleapis.com של הכלי לייצוא. לרשימה המלאה, ראו נקודות קצה אזוריות.
  • ‫project: מחליפים את <PROJECT_NUMBER> במספר הפרויקט שמופיע בקטע IAM & Admin > Settings.
  • ‫endpoint: משאירים את הערך chronicle.googleapis.com.

כלי לייצוא נתונים מ-Legacy ingestion API

• אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק exporters בקוד הבא. מגדירים את creds_file_path לנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים את malachiteingestion-pa.googleapis.com בנקודת הקצה האזורית (לדוגמה, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/haproxy:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: HAPROXY
      raw_log_field: body
  

הערה: הייצוא הזה יפסיק לפעול כשה-Ingestion API יבוטל ב-20 ביולי 2027.

שמירת קובץ התצורה

• אחרי שמסיימים לערוך, שומרים את הקובץ:
  • ‫Linux: מקישים על Ctrl+O, אחר כך על Enter ואז על Ctrl+X.
  • Windows: לוחצים על קובץ > שמירה

מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.

• כדי להפעיל מחדש את סוכן Bindplane ב-Linux, מריצים את הפקודה הבאה:

  sudo systemctl restart observiq-otel-collector
  

  1. מוודאים שהשירות פועל:

     sudo systemctl status observiq-otel-collector
     

  2. בודקים אם יש שגיאות ביומנים:

     sudo journalctl -u observiq-otel-collector -f
     

• כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, בוחרים באחת מהאפשרויות הבאות:

  • שורת הפקודה או PowerShell כאדמין:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • מסוף השירותים:

    1. לוחצים על Win+R, מקלידים services.msc ולוחצים על Enter.
    2. מחפשים את observIQ OpenTelemetry Collector.
    3. לוחצים לחיצה ימנית ובוחרים באפשרות הפעלה מחדש.

    4. מוודאים שהשירות פועל:

       sc query observiq-otel-collector
       

    5. בודקים אם יש שגיאות ביומנים:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

הגדרת syslog ל-HAProxy

1. נכנסים ל-HAProxy באמצעות CLI.

2. מוסיפים את ההוראה log בקטע global ל-Configuration כדי להעביר הודעות syslog דרך UDP.

   • מחליפים את <bindplane-ip> בכתובת ה-IP של סוכן Bindplane.

   global
       log <bindplane-ip>:514 local0
   
   defaults
       log global
   

טבלת מיפוי UDM

שדה ביומן	מיפוי UDM	היגיון
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read	network.received_bytes	הערך חולץ מהשדה bytes_read ביומן והומר למספר שלם לא מסומן.
captured_request_headers
client_ip	principal.ip	חילוץ מהשדה client_ip ביומן.
client_port	principal.port	הנתונים נשלפים מהשדה client_port ביומן ומומרים למספר שלם.
command_description	metadata.description	הערך חולץ מהשדה command_description ביומן, אם הוא זמין. אחרת, הערך נגזר משדות אחרים כמו action או status, בהתאם להודעת היומן.
datetime	metadata.event_timestamp.seconds	הנתונים נשלפים מהשדה datetime ביומן, אם הוא זמין. אחרת, הוא נגזר מהשדה timestamp ברשומת היומן.
description	metadata.description	הערך חולץ מהשדה description ביומן, אם הוא זמין. אחרת, הוא נגזר משדות אחרים כמו command_description או action, בהתאם להודעת היומן.
feconn
frontend_name
http_request	target.url	חילוץ מהשדה http_request ביומן.
http_status_code	network.http.response_code	הנתונים נשלפים מהשדה http_status_code ביומן ומומרים למספר שלם.
http_verb	network.http.method	חולץ מהשדה http_verb ביומן.
http_version	metadata.product_version	חילוץ מהשדה http_version ביומן ועיצוב כ-HTTP/{version}.
הגורם היוזם	target.application	חולץ מהשדה initiator ביומן.
מודול
msg	security_result.summary	חילוץ מהשדה msg ביומן.
pid	target.process.pid	חילוץ מהשדה pid ביומן.
תהליך דיפוזיה הפוך
process_name	target.application	חילוץ מהשדה process_name ביומן.
ניסיונות חוזרים
server_name	target.hostname	חילוץ מהשדה server_name ביומן. אם השדה ריק, ערך ברירת המחדל הוא syslog_server.
severity	security_result.severity	ממופה מהשדה severity ביומן. ‫WARNING ממופה ל-MEDIUM, ‏ALERT ממופה ל-CRITICAL ו-NOTICE ממופה ל-INFORMATIONAL.
מעטפת
srv_queue
srvconn
סטטוס
syslog_server	target.hostname, intermediary.hostname	חילוץ מהשדה syslog_server ביומן. הערך הזה משמש גם לשם המארח של היעד (אם server_name ריק) וגם לשם המארח של הביניים.
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
חותמת זמן	metadata.event_timestamp.seconds	השדה חולץ מהשדה timestamp ביומן ונותח כדי לקבל מידע על התאריך והשעה. משמש כחותמת הזמן של האירוע.
unknown_parameters1
unknown_parameters2
user_name	target.user.userid	חולץ מהשדה user_name ביומן.
	metadata.event_type	מוגדר כ-NETWORK_HTTP כברירת מחדל. השתנה לסוגי אירועים ספציפיים כמו PROCESS_UNCATEGORIZED,‏ STATUS_UPDATE או USER_UNCATEGORIZED על סמך הודעת היומן והשדות שנותחו.
	metadata.vendor_name	הגדרת הערך HAProxy Enterprise.
	metadata.product_name	הגדרת הערך HAProxy.
	network.application_protocol	צריך להגדיר את הערך HTTP אם השדה message מכיל את הערך HTTP.
	metadata.log_type	הגדרת הערך HAPROXY.
source_ip	event.idm.read_only_udm.principal.ip	מופה מיומן השינויים
source_ip	event.idm.read_only_udm.principal.asset.ip	מופה מיומן השינויים
source_port	event.idm.read_only_udm.principal.port	מופה מיומן השינויים
status_code	event.idm.read_only_udm.network.http.response_code	מופה מיומן השינויים
bytes	event.idm.read_only_udm.network.received_bytes	מופה מיומן השינויים
inter_ip	event.idm.read_only_udm.intermediary.ip	מופה מיומן השינויים
inter_port	event.idm.read_only_udm.intermediary.port	מופה מיומן השינויים
destination_ip	event.idm.read_only_udm.target.ip	מופה מיומן השינויים
destination_ip	event.idm.read_only_udm.target.asset.ip	מופה מיומן השינויים
destination_port	event.idm.read_only_udm.target.port	מופה מיומן השינויים
referer	event.idm.read_only_udm.network.http.referral_url	מופה מיומן השינויים
user_agent	event.idm.read_only_udm.network.http.user_agent	מופה מיומן השינויים
time_stamp	event.idm.read_only_udm.security_result.detection_fields	מופה מיומן השינויים
x_forwarded_for	event.idm.read_only_udm.security_result.detection_fields	מופה מיומן השינויים
content_length	event.idm.read_only_udm.security_result.detection_fields	מופה מיומן השינויים
datetime	event.idm.read_only_udm.metadata.event_timestamp	מופה מיומן השינויים

יומן שינויים

צפייה ביומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.