איסוף יומנים של Apache Cassandra

גרסת המנתח: 4.0

נתמך ב:

במסמך הזה מוסבר איך להטמיע יומני Apache Cassandra ב-Google Security Operations באמצעות סוכן Bindplane.

‫Apache Cassandra יוצר יומנים של פעולות במסד הנתונים, אירועים באשכול ופעילות במערכת. המנתח מחלץ שדות באמצעות תבניות grok ומסנני JSON, ואז ממפה אותם למודל הנתונים המאוחד (UDM).

לפני שמתחילים

חשוב לוודא שיש לכם את הדברים הבאים:

  • מכונה של Google SecOps
  • ‫Windows Server 2016 ואילך, או מארח Linux עם systemd
  • קישוריות רשת בין סוכן Bindplane לבין מארח Apache Cassandra
  • אם אתם משתמשים בשרת proxy, ודאו שהיציאות של חומת האש פתוחות בהתאם לדרישות של סוכן Bindplane.
  • גישת אדמין (SSH) למארח של Apache Cassandra

קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane

כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:

  • פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
  • פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
  1. נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
  2. נכנסים לדף IAM & Admin > Service Accounts.
  3. לוחצים על Create service account.
  4. מזינים את פרטי ההגדרה הבאים:
    • Service account name: מזינים שם לחשבון (לדוגמה, bindplane-ingest).
    • Service account description: מזינים תיאור (לדוגמה, Bindplane agent log ingestion).
  5. לוחצים על Create and continue.
  6. בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
  7. לוחצים על המשך ואז על סיום.
  8. לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
  9. לוחצים על Add key > Create new key.
  10. בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
  11. שומרים את קובץ המפתח בתור ingestion-auth.json בספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.json ב-Linux או C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json ב-Windows), או מעדכנים את creds_file_path ב-config.yaml כך שיתאים לנתיב שבו שמרתם אותו.
  12. עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.

אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
  3. מורידים את קובץ האימות להטמעת נתונים.
  4. שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.

איך מקבלים את מספר הלקוח ב-Google SecOps

  1. נכנסים למסוף Google SecOps.
  2. עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
  3. מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.

התקנת הסוכן של Bindplane

מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.

התקנת חלונות

  1. פותחים את שורת הפקודה או את PowerShell כאדמין.
  2. מריצים את הפקודה הבאה:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. מחכים שההתקנה תסתיים.

  4. כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:

    sc query observiq-otel-collector
    

    השירות אמור להופיע כ-RUNNING.

התקנה ב-Linux

  1. פותחים טרמינל עם הרשאות root או sudo.
  2. מריצים את הפקודה הבאה:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. מחכים שההתקנה תסתיים.

  4. כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:

    sudo systemctl status observiq-otel-collector
    

    השירות אמור להופיע כפעיל (פועל).

מקורות מידע נוספים בנושא התקנה

במדריך להתקנת הסוכן של Bindplane מפורטות אפשרויות התקנה נוספות ופתרונות לבעיות.

הגדרת סוכן Bindplane להטמעת syslog ושליחה אל Google SecOps

מאתרים את קובץ התצורה

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

עריכת קובץ התצורה

  • מחליפים את כל התוכן של config.yaml בהגדרות הבאות:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/cassandra:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: chronicle.googleapis.com
        log_type: CASSANDRA
        raw_log_field: body
    
    service:
      pipelines:
        logs/cassandra_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/cassandra
    

פרמטרים להגדרה

מחליפים את ה-placeholders הבאים:

  • הגדרת המקלט:

    • ‫listen_address: כתובת ה-IP והיציאה להאזנה:
      • ‫0.0.0.0 כדי להאזין בכל הממשקים (מומלץ)
      • יציאה 514 היא יציאת syslog הרגילה (נדרש root ב-Linux; צריך להשתמש ב-1514 ללא root)
  • הגדרת הייצוא:

    • ‫creds_file_path: הנתיב המלא לקובץ המפתח של חשבון השירות בפורמט JSON (אפשרות 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • ‫customer_id: מספר הלקוח שהועתק ממסוף Google SecOps
    • ‫location: מחליפים את <LOCATION> באזור של המכונה של Google SecOps (לדוגמה, us,‏ europe או asia-southeast1). המייצא מוסיף את הערך הזה בתחילת chronicle.googleapis.com. לרשימה המלאה, ראו נקודות קצה אזוריות.
    • ‫project: מחליפים את <PROJECT_NUMBER> במספר הפרויקט שמופיע בקטע IAM & Admin > Settings.
    • ‫endpoint: משאירים את הערך chronicle.googleapis.com.

מייצא API להטמעה מדור קודם

  • אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק exporters בקוד הבא. מגדירים את creds_file_path לנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים את malachiteingestion-pa.googleapis.com בנקודת הקצה האזורית (לדוגמה, europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/cassandra:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: CASSANDRA
        raw_log_field: body
    

שמירת קובץ התצורה

  • אחרי שמסיימים לערוך, שומרים את הקובץ:
    • Linux: לוחצים על Ctrl+O, אחר כך על Enter ואז על Ctrl+X
    • Windows: לוחצים על קובץ > שמירה

מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.

  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:

    sudo systemctl restart observiq-otel-collector
    
    1. מוודאים שהשירות פועל:

      ```bash
      sudo systemctl status observiq-otel-collector
      ```
      
    2. בודקים אם יש שגיאות ביומנים:

      ```bash
      sudo journalctl -u observiq-otel-collector -f
      ```
      
  • כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, בוחרים באחת מהאפשרויות הבאות:

    • שורת הפקודה או PowerShell כאדמין:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • מסוף השירותים:

      1. לוחצים על Win+R, מקלידים services.msc ולוחצים על Enter.
      2. מאתרים את observIQ OpenTelemetry Collector.
      3. לוחצים לחיצה ימנית ובוחרים באפשרות הפעלה מחדש.
      4. מוודאים שהשירות פועל:

        sc query observiq-otel-collector
        
      5. בודקים אם יש שגיאות ביומנים:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

הגדרת ייצוא של syslog ב-Apache Cassandra

  1. נכנסים למארח של Apache Cassandra באמצעות SSH.
  2. פותחים את קובץ התצורה logback.xml:

    • ‫Apache Cassandra (רוב הגרסאות): $(CASSANDRA_HOME)/conf
    • ‫Datastax Enterprise (התקנת חבילה): /etc/dse
    • ‫Datastax Enterprise (התקנת tar):‏ $(TARBALL_ROOT)/resources/cassandra/conf
  3. מוסיפים את ההגדרה הבאה של Appender לקובץ logback.xml בשורה 28:

    <appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender">
        <syslogHost>BINDPLANE_IP</syslogHost>
        <port>BINDPLANE_PORT</port>
        <facility>LOCAL7</facility>
        <throwableExcluded>true</throwableExcluded>
        <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern>
    </appender>
    
  4. מחליפים את BINDPLANE_IP ואת BINDPLANE_PORT בכתובת ה-IP ובמספר היציאה של סוכן Bindplane.

  5. מוסיפים את הקוד הבא לבלוק של רושם היומן ברמה הבסיסית (root) <root level="INFO"> בקובץ logback.xml:

    המיקום שבו השורה הזו מוכנסת תלוי בגרסה של Apache Cassandra:

    • ‫Apache Cassandra 5.0.x, שורה 123
    • ‫Apache Cassandra 4.0.x ו-4.1.x, שורה 115
    • ‫Apache Cassandra 3.11.x ו-3.0.x, שורה 92
    • ‫Datastax Enterprise (כל הגרסאות), שורה 121
    <appender-ref ref="SYSLOG" />
    

טבלת מיפוי UDM

שדה ביומן מיפוי UDM Logic (פונקציה לוגית)
agent.ephemeral_id observer.labels.value הערך של agent.ephemeral_id מהודעת ה-JSON הפנימית.
agent.hostname observer.hostname הערך של agent.hostname מהודעת ה-JSON הפנימית.
agent.id observer.asset_id שרשור של filebeat: והערך של agent.id מהודעת ה-JSON הפנימית.
agent.name observer.user.userid הערך של agent.name מהודעת ה-JSON הפנימית.
agent.type observer.application הערך של agent.type מהודעת ה-JSON הפנימית.
agent.version observer.platform_version הערך של agent.version מהודעת ה-JSON הפנימית.
cloud.availability_zone principal.cloud.availability_zone הערך של cloud.availability_zone מהודעת ה-JSON הפנימית.
cloud.instance.id principal.resource.product_object_id הערך של cloud.instance.id מהודעת ה-JSON הפנימית.
cloud.instance.name principal.resource.name הערך של cloud.instance.name מהודעת ה-JSON הפנימית.
cloud.machine.type principal.resource.attribute.labels.value הערך של cloud.machine.type מהודעת ה-JSON הפנימית, שבה הערך התואם של key הוא machine_type.
cloud.provider principal.resource.attribute.labels.value הערך של cloud.provider מהודעת ה-JSON הפנימית, שבה הערך התואם של key הוא provider.
event_metadata._id metadata.product_log_id הערך של event_metadata._id מהודעת ה-JSON הפנימית.
event_metadata.version metadata.product_version הערך של event_metadata.version מהודעת ה-JSON הפנימית.
host.architecture target.asset.hardware.cpu_platform הערך של host.architecture מהודעת ה-JSON הפנימית.
host.fqdn target.administrative_domain הערך של host.fqdn מהודעת ה-JSON הפנימית.
host.hostname target.hostname הערך של host.hostname מהודעת ה-JSON הפנימית.
host.id target.asset.asset_id שרשור של Host Id: והערך של host.id מהודעת ה-JSON הפנימית.
host.ip target.asset.ip מערך של כתובות IP מ-host.ip בהודעת ה-JSON הפנימית.
host.mac target.mac מערך של כתובות MAC מ-host.mac בהודעת ה-JSON הפנימית.
host.os.kernel target.platform_patch_level הערך של host.os.kernel מהודעת ה-JSON הפנימית.
host.os.platform target.platform צריך להגדיר את הערך LINUX אם הערך של host.os.platform הוא debian.
host.os.version target.platform_version הערך של host.os.version מהודעת ה-JSON הפנימית.
hostname principal.hostname הערך של hostname חולץ מהשדה message באמצעות grok.
key security_result.detection_fields.value הערך של key חולץ מהשדה message באמצעות grok, כאשר הערך התואם של key הוא key.
log.file.path principal.process.file.full_path הערך של log.file.path מהודעת ה-JSON הפנימית.
log_level security_result.severity ממופה על סמך הערך של log_level: DEBUG, INFO, AUDIT ממופים ל-INFORMATIONAL; ERROR ממופה ל-ERROR; WARNING ממופה ל-MEDIUM.
log_level security_result.severity_details הערך של log_level חולץ מהשדה message באמצעות grok.
log_type metadata.log_type הערך של log_type מהיומן הגולמי.
message security_result.description תיאור שחולץ מהשדה message באמצעות grok.
message target.process.command_line שורת הפקודה חולצה מהשדה message באמצעות grok.
now security_result.detection_fields.value הערך של now חולץ מהשדה message באמצעות grok, כאשר הערך התואם של key הוא now. נותח מהשדה event_time שחולץ מהשדה message באמצעות grok. צריך להגדיר את הערך USER_RESOURCE_ACCESS אם גם hostname וגם host.hostname קיימים, אחרת צריך להגדיר את הערך GENERIC_EVENT. הגדרת הערך CASSANDRA. הגדרת הערך CASSANDRA. הגדרת הערך ephemeral_id. אם cloud.instance.name קיים, צריך להגדיר את VIRTUAL_MACHINE. מגדירים את הערכים key ו-now בשדות הזיהוי המתאימים.
timestamp timestamp מהשדה create_time של היומן הגולמי.
authenticated_var event.idm.read_only_udm.principal.user.userid מופה מיומן השינויים
authenticated_var event.idm.read_only_udm.target.user.userid מופה מיומן השינויים
user_var event.idm.read_only_udm.target.user.userid מופה מיומן השינויים
operation event.idm.read_only_udm.security_result.description מופה מיומן השינויים
operation event.idm.read_only_udm.target.process.command_line מופה מיומן השינויים

יומן שינויים

הצגת יומן השינויים של המנתח הזה

הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.