איסוף יומנים של Apache Cassandra
גרסת המנתח: 4.0
במסמך הזה מוסבר איך להטמיע יומני Apache Cassandra ב-Google Security Operations באמצעות סוכן Bindplane.
Apache Cassandra יוצר יומנים של פעולות במסד הנתונים, אירועים באשכול ופעילות במערכת. המנתח מחלץ שדות באמצעות תבניות grok ומסנני JSON, ואז ממפה אותם למודל הנתונים המאוחד (UDM).
לפני שמתחילים
חשוב לוודא שיש לכם את הדברים הבאים:
- מכונה של Google SecOps
- Windows Server 2016 ואילך, או מארח Linux עם
systemd - קישוריות רשת בין סוכן Bindplane לבין מארח Apache Cassandra
- אם אתם משתמשים בשרת proxy, ודאו שהיציאות של חומת האש פתוחות בהתאם לדרישות של סוכן Bindplane.
- גישת אדמין (SSH) למארח של Apache Cassandra
קבלת פרטי כניסה ל-Google SecOps בשביל סוכן Bindplane
כדי לאמת את סוכן Bindplane ב-Google SecOps, בוחרים באחת מהשיטות הבאות:
- פריסות חדשות: משתמשים ב-Chronicle API (אפשרות 1).
- פריסות קודמות: ממשיכים להשתמש בקובץ האימות להטמעת נתונים (אפשרות 2) עד שה-Ingestion API יופסק ב-20 ביולי 2027.
אפשרות 1: יצירת חשבון שירות ל-Chronicle API (מומלץ)
- נכנסים למסוףGoogle Cloud ובוחרים את הפרויקט ב- Google Cloud שמקושר למכונה של Google SecOps.
- נכנסים לדף IAM & Admin > Service Accounts.
- לוחצים על Create service account.
- מזינים את פרטי ההגדרה הבאים:
- Service account name: מזינים שם לחשבון (לדוגמה,
bindplane-ingest). - Service account description: מזינים תיאור (לדוגמה,
Bindplane agent log ingestion).
- Service account name: מזינים שם לחשבון (לדוגמה,
- לוחצים על Create and continue.
- בקטע Grant this service account access to project, לוחצים על Select a role ובוחרים באפשרות Chronicle Editor.
- לוחצים על המשך ואז על סיום.
- לוחצים על חשבון השירות שיצרתם ועוברים לכרטיסייה Keys.
- לוחצים על Add key > Create new key.
- בוחרים באפשרות JSON ולוחצים על Create. קובץ המפתח יורד למחשב.
- שומרים את קובץ המפתח בתור
ingestion-auth.jsonבספריית Bindplane collector (/opt/observiq-otel-collector/ingestion-auth.jsonב-Linux אוC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonב-Windows), או מעדכנים אתcreds_file_pathב-config.yamlכך שיתאים לנתיב שבו שמרתם אותו. - עוברים אל IAM & Admin > Settings ומעתיקים את הערך של Project number. תצטרכו אותו כדי להגדיר את הייצוא.
אפשרות 2: הורדה של קובץ האימות להטמעת נתונים (גרסה קודמת)
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול נתונים > סוכני איסוף. אם אתם משתמשים בפלטפורמת SIEM בלבד, עוברים אל הגדרות > סוכני איסוף.
- מורידים את קובץ האימות להטמעת נתונים.
- שומרים את הקובץ בצורה מאובטחת במערכת שבה יותקן הסוכן של Bindplane.
איך מקבלים את מספר הלקוח ב-Google SecOps
- נכנסים למסוף Google SecOps.
- עוברים אל הגדרות > ניהול > פרופיל. אם אתם משתמשים בפלטפורמה של SIEM בלבד, עוברים אל הגדרות > פרופיל.
מעתיקים את מספר הלקוח מהקטע פרטי הארגון ושומרים אותו.
התקנת הסוכן של Bindplane
מתקינים את הסוכן של Bindplane במערכת ההפעלה Windows או Linux לפי ההוראות הבאות.
התקנת חלונות
- פותחים את שורת הפקודה או את PowerShell כאדמין.
מריצים את הפקודה הבאה:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietמחכים שההתקנה תסתיים.
כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:
sc query observiq-otel-collectorהשירות אמור להופיע כ-RUNNING.
התקנה ב-Linux
- פותחים טרמינל עם הרשאות root או sudo.
מריצים את הפקודה הבאה:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shמחכים שההתקנה תסתיים.
כדי לוודא שההתקנה בוצעה, מריצים את הפקודה:
sudo systemctl status observiq-otel-collectorהשירות אמור להופיע כפעיל (פועל).
מקורות מידע נוספים בנושא התקנה
במדריך להתקנת הסוכן של Bindplane מפורטות אפשרויות התקנה נוספות ופתרונות לבעיות.
הגדרת סוכן Bindplane להטמעת syslog ושליחה אל Google SecOps
מאתרים את קובץ התצורה
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
עריכת קובץ התצורה
מחליפים את כל התוכן של
config.yamlבהגדרות הבאות:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/cassandra: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: chronicle.googleapis.com log_type: CASSANDRA raw_log_field: body service: pipelines: logs/cassandra_to_chronicle: receivers: - udplog exporters: - chronicle/cassandra
פרמטרים להגדרה
מחליפים את ה-placeholders הבאים:
הגדרת המקלט:
-
listen_address: כתובת ה-IP והיציאה להאזנה:-
0.0.0.0כדי להאזין בכל הממשקים (מומלץ) - יציאה
514היא יציאת syslog הרגילה (נדרש root ב-Linux; צריך להשתמש ב-1514ללא root)
-
-
הגדרת הייצוא:
-
creds_file_path: הנתיב המלא לקובץ המפתח של חשבון השירות בפורמט JSON (אפשרות 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
-
customer_id: מספר הלקוח שהועתק ממסוף Google SecOps -
location: מחליפים את<LOCATION>באזור של המכונה של Google SecOps (לדוגמה,us,europeאוasia-southeast1). המייצא מוסיף את הערך הזה בתחילתchronicle.googleapis.com. לרשימה המלאה, ראו נקודות קצה אזוריות. -
project: מחליפים את<PROJECT_NUMBER>במספר הפרויקט שמופיע בקטע IAM & Admin > Settings. -
endpoint: משאירים את הערךchronicle.googleapis.com.
-
מייצא API להטמעה מדור קודם
אם אתם משתמשים בקובץ האימות להטמעת נתונים מאפשרות 2, החליפו את הבלוק
exportersבקוד הבא. מגדירים אתcreds_file_pathלנתיב של קובץ האימות להטמעת נתונים. אם המכונה נמצאת מחוץ לארה"ב, מחליפים אתmalachiteingestion-pa.googleapis.comבנקודת הקצה האזורית (לדוגמה,europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/cassandra: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: CASSANDRA raw_log_field: body
שמירת קובץ התצורה
- אחרי שמסיימים לערוך, שומרים את הקובץ:
- Linux: לוחצים על
Ctrl+O, אחר כך עלEnterואז עלCtrl+X - Windows: לוחצים על קובץ > שמירה
- Linux: לוחצים על
מפעילים מחדש את הסוכן של Bindplane כדי להחיל את השינויים.
כדי להפעיל מחדש את הסוכן של Bindplane ב-Linux, מריצים את הפקודה הבאה:
sudo systemctl restart observiq-otel-collectorמוודאים שהשירות פועל:
```bash sudo systemctl status observiq-otel-collector ```בודקים אם יש שגיאות ביומנים:
```bash sudo journalctl -u observiq-otel-collector -f ```
כדי להפעיל מחדש את הסוכן של Bindplane ב-Windows, בוחרים באחת מהאפשרויות הבאות:
שורת הפקודה או PowerShell כאדמין:
net stop observiq-otel-collector && net start observiq-otel-collectorמסוף השירותים:
- לוחצים על
Win+R, מקלידיםservices.mscולוחצים על Enter. - מאתרים את observIQ OpenTelemetry Collector.
- לוחצים לחיצה ימנית ובוחרים באפשרות הפעלה מחדש.
מוודאים שהשירות פועל:
sc query observiq-otel-collectorבודקים אם יש שגיאות ביומנים:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- לוחצים על
הגדרת ייצוא של syslog ב-Apache Cassandra
- נכנסים למארח של Apache Cassandra באמצעות SSH.
פותחים את קובץ התצורה
logback.xml:- Apache Cassandra (רוב הגרסאות):
$(CASSANDRA_HOME)/conf - Datastax Enterprise (התקנת חבילה):
/etc/dse - Datastax Enterprise (התקנת tar):
$(TARBALL_ROOT)/resources/cassandra/conf
- Apache Cassandra (רוב הגרסאות):
מוסיפים את ההגדרה הבאה של Appender לקובץ
logback.xmlבשורה 28:<appender name="SYSLOG" class="ch.qos.logback.classic.net.SyslogAppender"> <syslogHost>BINDPLANE_IP</syslogHost> <port>BINDPLANE_PORT</port> <facility>LOCAL7</facility> <throwableExcluded>true</throwableExcluded> <suffixPattern>%thread:%level:%logger{36}:%msg</suffixPattern> </appender>מחליפים את
BINDPLANE_IPואתBINDPLANE_PORTבכתובת ה-IP ובמספר היציאה של סוכן Bindplane.מוסיפים את הקוד הבא לבלוק של רושם היומן ברמה הבסיסית (root)
<root level="INFO">בקובץlogback.xml:המיקום שבו השורה הזו מוכנסת תלוי בגרסה של Apache Cassandra:
- Apache Cassandra 5.0.x, שורה 123
- Apache Cassandra 4.0.x ו-4.1.x, שורה 115
- Apache Cassandra 3.11.x ו-3.0.x, שורה 92
- Datastax Enterprise (כל הגרסאות), שורה 121
<appender-ref ref="SYSLOG" />
טבלת מיפוי UDM
| שדה ביומן | מיפוי UDM | Logic (פונקציה לוגית) |
|---|---|---|
agent.ephemeral_id |
observer.labels.value |
הערך של agent.ephemeral_id מהודעת ה-JSON הפנימית. |
agent.hostname |
observer.hostname |
הערך של agent.hostname מהודעת ה-JSON הפנימית. |
agent.id |
observer.asset_id |
שרשור של filebeat: והערך של agent.id מהודעת ה-JSON הפנימית. |
agent.name |
observer.user.userid |
הערך של agent.name מהודעת ה-JSON הפנימית. |
agent.type |
observer.application |
הערך של agent.type מהודעת ה-JSON הפנימית. |
agent.version |
observer.platform_version |
הערך של agent.version מהודעת ה-JSON הפנימית. |
cloud.availability_zone |
principal.cloud.availability_zone |
הערך של cloud.availability_zone מהודעת ה-JSON הפנימית. |
cloud.instance.id |
principal.resource.product_object_id |
הערך של cloud.instance.id מהודעת ה-JSON הפנימית. |
cloud.instance.name |
principal.resource.name |
הערך של cloud.instance.name מהודעת ה-JSON הפנימית. |
cloud.machine.type |
principal.resource.attribute.labels.value |
הערך של cloud.machine.type מהודעת ה-JSON הפנימית, שבה הערך התואם של key הוא machine_type. |
cloud.provider |
principal.resource.attribute.labels.value |
הערך של cloud.provider מהודעת ה-JSON הפנימית, שבה הערך התואם של key הוא provider. |
event_metadata._id |
metadata.product_log_id |
הערך של event_metadata._id מהודעת ה-JSON הפנימית. |
event_metadata.version |
metadata.product_version |
הערך של event_metadata.version מהודעת ה-JSON הפנימית. |
host.architecture |
target.asset.hardware.cpu_platform |
הערך של host.architecture מהודעת ה-JSON הפנימית. |
host.fqdn |
target.administrative_domain |
הערך של host.fqdn מהודעת ה-JSON הפנימית. |
host.hostname |
target.hostname |
הערך של host.hostname מהודעת ה-JSON הפנימית. |
host.id |
target.asset.asset_id |
שרשור של Host Id: והערך של host.id מהודעת ה-JSON הפנימית. |
host.ip |
target.asset.ip |
מערך של כתובות IP מ-host.ip בהודעת ה-JSON הפנימית. |
host.mac |
target.mac |
מערך של כתובות MAC מ-host.mac בהודעת ה-JSON הפנימית. |
host.os.kernel |
target.platform_patch_level |
הערך של host.os.kernel מהודעת ה-JSON הפנימית. |
host.os.platform |
target.platform |
צריך להגדיר את הערך LINUX אם הערך של host.os.platform הוא debian. |
host.os.version |
target.platform_version |
הערך של host.os.version מהודעת ה-JSON הפנימית. |
hostname |
principal.hostname |
הערך של hostname חולץ מהשדה message באמצעות grok. |
key |
security_result.detection_fields.value |
הערך של key חולץ מהשדה message באמצעות grok, כאשר הערך התואם של key הוא key. |
log.file.path |
principal.process.file.full_path |
הערך של log.file.path מהודעת ה-JSON הפנימית. |
log_level |
security_result.severity |
ממופה על סמך הערך של log_level: DEBUG, INFO, AUDIT ממופים ל-INFORMATIONAL; ERROR ממופה ל-ERROR; WARNING ממופה ל-MEDIUM. |
log_level |
security_result.severity_details |
הערך של log_level חולץ מהשדה message באמצעות grok. |
log_type |
metadata.log_type |
הערך של log_type מהיומן הגולמי. |
message |
security_result.description |
תיאור שחולץ מהשדה message באמצעות grok. |
message |
target.process.command_line |
שורת הפקודה חולצה מהשדה message באמצעות grok. |
now |
security_result.detection_fields.value |
הערך של now חולץ מהשדה message באמצעות grok, כאשר הערך התואם של key הוא now. נותח מהשדה event_time שחולץ מהשדה message באמצעות grok. צריך להגדיר את הערך USER_RESOURCE_ACCESS אם גם hostname וגם host.hostname קיימים, אחרת צריך להגדיר את הערך GENERIC_EVENT. הגדרת הערך CASSANDRA. הגדרת הערך CASSANDRA. הגדרת הערך ephemeral_id. אם cloud.instance.name קיים, צריך להגדיר את VIRTUAL_MACHINE. מגדירים את הערכים key ו-now בשדות הזיהוי המתאימים. |
timestamp |
timestamp |
מהשדה create_time של היומן הגולמי. |
authenticated_var |
event.idm.read_only_udm.principal.user.userid |
מופה מיומן השינויים |
authenticated_var |
event.idm.read_only_udm.target.user.userid |
מופה מיומן השינויים |
user_var |
event.idm.read_only_udm.target.user.userid |
מופה מיומן השינויים |
operation |
event.idm.read_only_udm.security_result.description |
מופה מיומן השינויים |
operation |
event.idm.read_only_udm.target.process.command_line |
מופה מיומן השינויים |
יומן שינויים
הצגת יומן השינויים של המנתח הזה
הבעיה עדיין לא נפתרה? קבלת תשובות מחברי הקהילה וממומחי Google SecOps.