Zeek-TSV-Logs (früher Bro) erfassen
In diesem Dokument wird beschrieben, wie Sie Zeek-TSV-Logs (früher Bro) mit dem Bindplane-Agenten in Google Security Operations aufnehmen.
Zeek (früher Bro) ist eine Plattform für das Sicherheitsmonitoring von Netzwerken, die den Netzwerkverkehr passiv analysiert und detaillierte, tabulatorgetrennte Logdateien generiert. Diese enthalten Informationen zu Verbindungen, DNS-Abfragen, HTTP-Transaktionen, SSL/TLS-Sitzungen und Dateianalysen. Zeek-Sensoren erzeugen standardmäßig TSV-Logdateien unter /opt/zeek/logs/ oder /usr/local/zeek/logs/.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Windows Server 2016 oder höher oder Linux-Host mit
systemd - Netzwerkverbindung zwischen dem Bindplane-Agent und dem Zeek-Sensorhost
- Wenn der Agent hinter einem Proxy ausgeführt wird, müssen die Firewallports gemäß den Anforderungen des Bindplane-Agents geöffnet sein.
- Privilegierter Zugriff auf den Zeek-Sensorhost mit Berechtigungen zum Lesen von Logdateien
- Zugriff auf Zeek-TSV-Logdateien im Sensor-Dateisystem (normalerweise unter
/opt/zeek/logs/oder/usr/local/zeek/logs/)
Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen
Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agenten bei Google SecOps zu authentifizieren:
- Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
- Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
Option 1: Dienstkonto für die Chronicle API erstellen (empfohlen)
- Melden Sie sich in der Google Cloud -Konsole an und wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
- Rufen Sie IAM und Verwaltung > Dienstkonten auf.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
bindplane-ingest). - Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B.
Bindplane agent log ingestion).
- Name des Dienstkontos: Geben Sie einen Namen für das Konto ein (z. B.
- Klicken Sie auf Erstellen und fortfahren.
- Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle Editor aus.
- Klicken Sie auf Weiter und dann auf Fertig.
- Klicken Sie auf das von Ihnen erstellte Dienstkonto und rufen Sie den Tab Schlüssel auf.
- Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
- Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
- Speichern Sie die Schlüsseldatei als
ingestion-auth.jsonim Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.jsonunter Linux oderC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.jsonunter Windows) oder aktualisieren Siecreds_file_pathinconfig.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie die Datei speichern. - Rufen Sie IAM und Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen sie für die Exporter-Konfiguration.
Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)
- Melden Sie sich in der Google SecOps-Konsole an.
- Rufen Sie Einstellungen > Datenverwaltung > Erfassungs-Agents auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Erfassungs-Agents auf.
- Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
- Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert werden soll.
Google SecOps-Kundennummer abrufen
- Melden Sie sich in der Google SecOps-Konsole an.
- Gehen Sie zu Einstellungen > Verwaltung > Profil. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Profil auf.
Kopieren und speichern Sie die Kundennummer aus dem Bereich Organisationsdetails.
Bindplane-Agent installieren
Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.
Windows-Installation
- Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.
Führen Sie dazu diesen Befehl aus:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sc query observiq-otel-collectorDer Dienst sollte als RUNNING angezeigt werden.
Linux-Installation
- Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.
Führen Sie dazu diesen Befehl aus:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shWarten Sie, bis die Installation abgeschlossen ist.
Überprüfen Sie die Installation mit folgendem Befehl:
sudo systemctl status observiq-otel-collectorDer Dienst sollte als active (running) angezeigt werden.
Zusätzliche Installationsressourcen
Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie in der Installationsanleitung für den Bindplane-Agenten.
Bindplane-Agenten so konfigurieren, dass Syslog-Daten aufgenommen und an Google SecOps gesendet werden
Konfigurationsdatei suchen
Linux:
sudo nano /opt/observiq-otel-collector/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
Konfigurationsdatei bearbeiten
Ersetzen Sie den gesamten Inhalt von
config.yamldurch die folgende Konfiguration:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/bro_tsv: protocol: https # Region of your instance, for example us, europe, asia-southeast1 location: <LOCATION> # Project number of the Google Cloud project linked to the instance project: '<PROJECT_NUMBER>' compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: chronicle.googleapis.com log_type: BRO_TSV raw_log_field: body ingestion_labels: env: production service: pipelines: logs/bro_to_chronicle: receivers: - udplog exporters: - chronicle/bro_tsv
Konfigurationsparameter
Ersetzen Sie die folgenden Platzhalter:
Empfängerkonfiguration:
udplog: Der Empfängertyp basierend auf dem Protokoll:udplogfür UDP-Syslogtcplogfür TCP-Syslog
0.0.0.0: IP-Adresse, auf der gelauscht werden soll:0.0.0.0, um auf allen Schnittstellen zu lauschen (empfohlen)- Bestimmte IP-Adresse, die auf einer Schnittstelle überwacht werden soll
514: Portnummer, auf der gelauscht werden soll (z. B.514,1514,6514)
Exporter-Konfiguration:
bro_tsv: Aussagekräftiger Name für den Exportercreds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):- Linux:
/opt/observiq-otel-collector/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
<customer_id>: Kundennummer aus dem vorherigen Schrittlocation: Ersetzen Sie<LOCATION>durch die Region Ihrer Google SecOps-Instanz (z. B.us,europeoderasia-southeast1). Der Exporter stellt diesem Wertchronicle.googleapis.comvoran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.project: Ersetzen Sie<PROJECT_NUMBER>durch die Projektnummer aus IAM & Verwaltung > Einstellungen.endpoint: Behalten Sie die Einstellungchronicle.googleapis.combei.BRO_TSV: Logtyp genau so, wie er in Chronicle angezeigt wirdingestion_labels: Optionale Labels im YAML-Format (z. B.env: production)
Pipeline-Konfiguration:
bro_to_chronicle: Aussagekräftiger Name für die Pipeline
Legacy-Ingestion-API-Exporter
Wenn Sie die Authentifizierungsdatei für die Datenaufnahme aus Option 2 verwenden, ersetzen Sie den Block
exportersdurch Folgendes. Legen Sie fürcreds_file_pathden Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Siemalachiteingestion-pa.googleapis.comdurch Ihren regionalen Endpunkt (z. B.europe-malachiteingestion-pa.googleapis.com).exporters: chronicle/bro_tsv: compression: gzip creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: BRO_TSV raw_log_field: body ingestion_labels: env: production
Konfigurationsdatei speichern
- Speichern Sie die Datei nach der Bearbeitung:
- Linux: Drücken Sie
Ctrl+O, dannEnterund dannCtrl+X. - Windows: Klicken Sie auf Datei > Speichern.
- Linux: Drücken Sie
Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.
Führen Sie den folgenden Befehl aus, um den Bindplane-Agenten unter Linux neu zu starten:
sudo systemctl restart observiq-otel-collectorPrüfen Sie, ob der Dienst ausgeführt wird:
sudo systemctl status observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
sudo journalctl -u observiq-otel-collector -f
Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:
Eingabeaufforderung oder PowerShell als Administrator:
net stop observiq-otel-collector && net start observiq-otel-collectorDienstkonsole:
- Drücken Sie
Win+R, geben Sieservices.mscein und drücken Sie die Eingabetaste. - Suchen Sie nach observIQ OpenTelemetry Collector.
- Rechtsklicken Sie und wählen Sie Neu starten aus.
Prüfen Sie, ob der Dienst ausgeführt wird:
sc query observiq-otel-collectorPrüfen Sie die Logs auf Fehler:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- Drücken Sie
Zeek-Syslog-Weiterleitung konfigurieren
Zeek generiert TSV-Logdateien lokal. Wenn Sie diese Logs mit syslog an den Bindplane-Agent weiterleiten möchten, konfigurieren Sie einen syslog-Daemon auf dem Zeek-Sensorhost.
- Melden Sie sich mit Root- oder sudo-Berechtigungen beim Zeek-Sensorhost an.
- Installieren und konfigurieren Sie
rsyslogodersyslog-ng, falls noch nicht vorhanden. Erstellen Sie eine rsyslog-Konfigurationsdatei, um Zeek-Logs weiterzuleiten:
sudo nano /etc/rsyslog.d/zeek-forward.confFügen Sie die folgende Konfiguration hinzu, um Zeek-Logs an den Bindplane-Agent weiterzuleiten:
module(load="imfile") input(type="imfile" File="/opt/zeek/logs/current/*.log" Tag="zeek:" Severity="info" Facility="local6") local6.* @<BINDPLANE_AGENT_IP>:514- Ersetzen Sie
<BINDPLANE_AGENT_IP>durch die IP-Adresse des Bindplane-Agent-Hosts. - Ersetzen Sie
/opt/zeek/logs/current/*.logdurch den tatsächlichen Pfad zu Ihren Zeek-Logdateien, falls dieser abweicht. - Verwenden Sie
@@anstelle von@für die TCP-Weiterleitung (muss mit dem Empfängertyp des Bindplane-Agents übereinstimmen).
- Ersetzen Sie
Starten Sie rsyslog neu, um die Änderungen zu übernehmen:
sudo systemctl restart rsyslogPrüfen Sie, ob Syslog-Nachrichten empfangen werden, indem Sie die Bindplane-Agent-Logs prüfen.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| rtt, operation, tunnel_type, action, cmd, arg, rows | additional.fields | Zusammengeführt aus additional_rtt, additional_op, additional_tt, additional_action, additional_cmd, additional_arg, additional_rows |
| extensions.auth.type | Legen Sie „AUTHTYPE_UNSPECIFIED“ fest. | |
| conn_state, action, error, desc | metadata.description | Auf conn_state-Beschreibung für bro_conn, Aktion für bro_smb_files, „KERBEROS: %{error}“ für bro_kerberos, desc für AsymPayloadFlow, Konstante für andere festgelegt |
| bro_type, qerror, next_protocol, protocol | metadata.event_type | Standardmäßig auf GENERIC_EVENT festgelegt, NETWORK_DNS für dns, NETWORK_CONNECTION für conn/ntlm/smb_mapping/dce_rpc/tunnel/mysql/ssh/udp/tcp, NETWORK_DHCP für dhcp, NETWORK_HTTP für http/ssl, wenn next_protocol http, NETWORK_UNCATEGORIZED für smb_files/files/x509, USER_LOGIN für radius, NETWORK_FTP für ftp, NETWORK_UNCATEGORIZED, wenn qerror query_not_present |
| bro_type, prod_event | metadata.product_event_type | Wert aus „bro_type“, falls nicht leer, andernfalls aus „prod_event“ |
| uid, id | metadata.product_log_id | Wert aus „uid“, falls verfügbar, andernfalls aus „id“ |
| metadata.product_name | Auf „Bro“ festgelegt | |
| metadata.vendor_name | Auf „Zeek“ festlegen | |
| service_proto, source | network.application_protocol | Zugeordnet von service_proto für conn, zugeordnet von source für files, konstant für andere |
| Hostname | network.dhcp.client_hostname | Wert direkt kopiert |
| lease_time | network.dhcp.lease_time_seconds | In uinteger umgewandelt |
| dhcp_info | network.dhcp.type | Auf „ACK“ festgelegt, wenn =~ „ACK“, „RELEASE“, wenn =~ „RELEASE“, „INFORM“, wenn =~ „INFORM“, „DISCOVER“, wenn =~ „DISCOVER“, „OFFER“, wenn =~ „OFFER“, „REQUEST“, wenn =~ „REQUEST“ |
| assigned_ip | network.dhcp.yiaddr | Wert direkt kopiert |
| direction | network.direction | Wert direkt kopiert |
| answer_list | network.dns.answers | Wert direkt kopiert |
| trans_id | network.dns.id | In uinteger umgewandelt |
| q | network.dns.questions | Aus q zusammengeführt |
| rcode | network.dns.response_code | Wird in uinteger konvertiert, wenn nicht „-“ |
| Befehl | network.ftp.command | Wert direkt kopiert |
| method | network.http.method | Wert direkt kopiert |
| referrer | network.http.referral_url | Wert direkt kopiert |
| status_code | network.http.response_code | In Ganzzahl umgewandelt |
| user_agent | network.http.user_agent | Wert direkt kopiert |
| proto, protocol | network.ip_protocol | Wert aus Proto für conn, „UDP“ für udp, „TCP“ für tcp |
| id_resp_bytes, received_bytes | network.received_bytes | Aus id_resp_bytes für conn, received_bytes für Dateien in uinteger konvertiert |
| id_orig_bytes | network.sent_bytes | In uinteger umgewandelt |
| uid | network.session_id | Wert direkt kopiert |
| cipher | network.tls.cipher | Wert direkt kopiert |
| client_issuer | network.tls.client.certificate.issuer | Wert direkt kopiert |
| client_subject | network.tls.client.certificate.subject | Wert direkt kopiert |
| Client | network.tls.client.certificate.version | Wert direkt kopiert |
| ja3 | network.tls.client.ja3 | Wert direkt kopiert |
| Kurve | network.tls.curve | Wert direkt kopiert |
| established | network.tls.established | Wert direkt kopiert |
| next_protocol | network.tls.next_protocol | Wert direkt kopiert |
| fortgesetzt | network.tls.resumed | Wert direkt kopiert |
| issuer, certificate.issuer | network.tls.server.certificate.issuer | Wert vom Aussteller für SSL, certificate.issuer für x509 |
| certificate.not_valid_after | network.tls.server.certificate.not_after | Mit Datumsfilter konvertiert |
| certificate.not_valid_before | network.tls.server.certificate.not_before | Mit Datumsfilter konvertiert |
| certificate.serial | network.tls.server.certificate.serial | Wert direkt kopiert |
| subject, certificate.subject | network.tls.server.certificate.subject | Wert aus „subject“ für SSL, „certificate.subject“ für x509 |
| certificate.version | network.tls.server.certificate.version | In String umgewandelt |
| ja3s | network.tls.server.ja3s | Wert direkt kopiert |
| Version | network.tls.version | Wert direkt kopiert |
| Domain | principal.administrative_domain | Wert direkt kopiert |
| file_size | principal.file.size | In uinteger umgewandelt |
| client_host, _system_name, _HostName | principal.hostname | Wert von client_host für Kerberos, _system_name für x509, _HostName, falls extrahiert |
| id.orig_h | principal.ip | Zusammengeführt aus id.orig_h |
| mac | principal.mac | Wert direkt kopiert |
| id.orig_p | principal.port | In Ganzzahl konvertiert, Wert aus id.orig_p oder umgekehrt für conn, wenn nicht local_orig |
| user_email | principal.user.email_addresses | Zusammengeführt aus user_email |
| user, username, user_name | principal.user.userid | Wert vom Nutzer für FTP, Nutzername für Radius, Nutzername für Kerberos |
| qclass | q.class | In uinteger umgewandelt |
| qname, q.name | q.name | Wert aus qname oder q.name |
| qtype | q.type | In uinteger umgewandelt |
| result, auth_success | security_result | Zusammengeführt aus security_result mit Aktion BLOCK für Radius fehlgeschlagen, ALLOW/BLOCK/UNKNOWN für SSH |
| uri | target.administrative_domain | Mit Grok aus URI extrahiert |
| full_file_path, fuid | target.file.full_path | Wert aus „full_file_path“ für „smb_files“, „fuid“ für Dateien |
| md5 | target.file.md5 | Wert direkt kopiert |
| mime_type | target.file.mime_type | Wert direkt kopiert |
| sha1 | target.file.sha1 | Wert direkt kopiert |
| size, file_size | target.file.size | Konvertiert in uinteger aus „size“ für smb_files, „file_size“ für Dateien |
| server_host, host, CN, server | target.hostname | Wert von server_host für Kerberos, Host für http, CN für x509, Server für ssh |
| id.resp_h | target.ip | Zusammengeführt aus id.resp_h |
| host_key, host_key_alg, kex_alg, mac_alg, compression_alg, cipher_alg, auth_attempts | target.labels | Aus verschiedenen Labelobjekten zusammengeführt |
| id.resp_p | target.port | In Ganzzahl konvertiert, Wert aus id.resp_p oder umgekehrt für conn, wenn nicht local_orig |
| path, named_pipe | target.resource.name | Wert aus Pfad für smb_mapping, named_pipe für dce_rpc |
| share_type | target.resource.type | Wert aus share_type für smb_mapping, „PIPE“ für dce_rpc |
| URL | target.url | Aus Host und URI verkettet |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten