Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Raccogli i log di Apache Hadoop

Versione parser: 3.0

Supportato in:

Google SecOps SIEM

Questo documento spiega come importare i log di Apache Hadoop in Google Security Operations utilizzando l'agente Bindplane. Il parser estrae innanzitutto i campi dai log Hadoop non elaborati utilizzando i pattern Grok basati sui formati di log Hadoop comuni. Dopodiché, mappa i campi estratti con i campi corrispondenti nello schema Unified Data Model (UDM), esegue le conversioni dei tipi di dati e arricchisce i dati con un contesto aggiuntivo.

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

Un'istanza Google SecOps
Un host Windows 2016 o versioni successive o Linux con systemd
Se l'agente viene eseguito dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane.
Accesso con privilegi ai file di configurazione del cluster Apache Hadoop

Ottieni le credenziali di Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

Nuovi deployment: utilizza l'API Chronicle (opzione 1).
Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (Opzione 2) fino alla dismissione dell'API Ingestion il 20 luglio 2027.

Opzione 1: crea un account di servizio per l'API Chronicle (consigliata)

Accedi alla consoleGoogle Cloud e seleziona il progetto Google Cloud collegato alla tua istanza Google SecOps.
Vai a IAM e amministrazione > Service account.
Fai clic su Crea service account.
Fornisci i seguenti dettagli di configurazione:
- Nome service account: inserisci un nome per l'account (ad esempio bindplane-ingest).
- Descrizione del service account: inserisci una descrizione (ad esempio, Bindplane agent log ingestion).
Fai clic su Crea e continua.
Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Chronicle Editor.
Fai clic su Continua, quindi su Fine.
Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
Fai clic su Aggiungi chiave > Crea nuova chiave.
Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul tuo computer.
Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) oppure aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
Vai a IAM e amministrazione > Impostazioni e copia il Numero progetto. Ti servirà per la configurazione dell'esportatore.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

Accedi alla console Google SecOps.
Vai a Impostazioni SIEM > Agenti di raccolta.
Scarica il file di autenticazione dell'acquisizione.
Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Recuperare l'ID cliente Google SecOps

Accedi alla console Google SecOps.
Vai a Impostazioni SIEM > Profilo.
Copia e salva l'ID cliente dalla sezione Dettagli organizzazione.

Installa l'agente Bindplane

Installa l'agente Bindplane sul tuo sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di finestre

Apri il prompt dei comandi o PowerShell come amministratore.

Esegui questo comando:

msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

Installazione di Linux

Apri un terminale con privilegi root o sudo.

Esegui questo comando:

sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione, consulta la guida all'installazione dell'agente Bindplane.

Configura l'agente Bindplane per importare Syslog e inviarlo a Google SecOps

Accedi al file di configurazione:
- Individua il file config.yaml. In genere, si trova nella directory /opt/observiq-otel-collector/ su Linux o nella directory di installazione su Windows.
- Apri il file utilizzando un editor di testo (ad esempio nano, vi o Blocco note).

Modifica il file config.yaml come segue:

receivers:
  udplog:
    # Replace the port and IP address as required
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    # Adjust the path to the credentials file you downloaded in Step 1
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    # Replace with your actual customer ID from Step 2
    customer_id: <CUSTOMER_ID>
    endpoint: chronicle.googleapis.com
    # Add optional ingestion labels for better organization
    log_type: 'HADOOP'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - udplog
      exporters:
        - chronicle/chronicle_w_labels

Sostituisci la porta e l'indirizzo IP in base alle esigenze della tua infrastruttura.
Sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore antepone chronicle.googleapis.com a questo valore.
Sostituisci <PROJECT_NUMBER> con il numero di progetto indicato in IAM e amministrazione > Impostazioni.
Sostituisci <CUSTOMER_ID> con l'ID cliente effettivo.
Aggiorna /path/to/ingestion-authentication-file.json con il percorso del file in cui è stato salvato il file della chiave del account di servizio (Opzione 1) nel Passaggio 1.

Esportatore API di importazione legacy

Se utilizzi il file di autenticazione dell'importazione dell'opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'acquisizione e, se l'istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con il tuo endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    # Adjust the path to the credentials file you downloaded in Step 1
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    # Replace with your actual customer ID from Step 2
    customer_id: <CUSTOMER_ID>
    endpoint: malachiteingestion-pa.googleapis.com
    # Add optional ingestion labels for better organization
    log_type: 'HADOOP'
    raw_log_field: body
    ingestion_labels:

Riavvia l'agente Bindplane per applicare le modifiche

Per riavviare l'agente Bindplane in Linux, esegui questo comando:
```
sudo systemctl restart observiq-otel-collector
```
Per riavviare l'agente Bindplane in Windows, puoi utilizzare la console Servizi o inserire il seguente comando:
```
net stop observiq-otel-collector && net start observiq-otel-collector
```

Configura l'inoltro di Syslog su Apache Hadoop

Apache Hadoop utilizza Log4j per il logging. Configura l'appender Syslog appropriato in base alla tua versione di Log4j in modo che i daemon Hadoop (NameNode, DataNode, ResourceManager, NodeManager ecc.) inoltrino i log direttamente al ricevitore syslog (host Bindplane). Log4j viene configurato tramite file (nessuna UI web).

Opzione 1: configurazione di Log4j 1.x

Individua il file log4j.properties (in genere in $HADOOP_CONF_DIR/log4j.properties).

Aggiungi la seguente configurazione SyslogAppender al file:

# Syslog appender (UDP example)
log4j.appender.SYSLOG=org.apache.log4j.net.SyslogAppender
log4j.appender.SYSLOG.SyslogHost=<BINDPLANE_HOST_IP>:514
log4j.appender.SYSLOG.Facility=LOCAL0
log4j.appender.SYSLOG.FacilityPrinting=true
log4j.appender.SYSLOG.layout=org.apache.log4j.PatternLayout
log4j.appender.SYSLOG.layout.ConversionPattern=%d{ISO8601} level=%p logger=%c thread=%t msg=%m%n

# Example: send NameNode logs to syslog
log4j.logger.org.apache.hadoop.hdfs.server.namenode=INFO,SYSLOG
log4j.additivity.org.apache.hadoop.hdfs.server.namenode=false

# Or attach to root logger to send all Hadoop logs
# log4j.rootLogger=INFO, SYSLOG

Sostituisci <BINDPLANE_HOST_IP> con l'indirizzo IP dell'host Bindplane.
Salva il file.
Riavvia i daemon Hadoop per applicare le modifiche alla configurazione.

Opzione 2: configurazione di Log4j 2.x

Individua il file log4j2.xml (in genere in $HADOOP_CONF_DIR/log4j2.xml).

Aggiungi al file la seguente configurazione di Syslog appender:

<Configuration status="WARN">
  <Appenders>
    <!-- UDP example; for TCP use protocol="TCP" -->
    <Syslog name="SYSLOG" format="RFC 5424"
            host="<BINDPLANE_HOST_IP>"
            port="514"
            protocol="UDP"
            facility="LOCAL0"
            appName="hadoop"
            enterpriseNumber="18060"
            mdcId="mdc">
      <PatternLayout pattern="%d{ISO8601} level=%p logger=%c thread=%t msg=%m %X%n"/>
    </Syslog>
  </Appenders>

  <Loggers>
    <!-- Send NameNode logs to syslog -->
    <Logger name="org.apache.hadoop.hdfs.server.namenode" level="info" additivity="false">
      <AppenderRef ref="SYSLOG"/>
    </Logger>

    <!-- Or send all Hadoop logs -->
    <Root level="info">
      <AppenderRef ref="SYSLOG"/>
    </Root>
  </Loggers>
</Configuration>

Sostituisci <BINDPLANE_HOST_IP> con l'indirizzo IP dell'host Bindplane.
Salva il file.
Riavvia i daemon Hadoop per applicare le modifiche alla configurazione.

Tabella di mappatura UDM

Campo log	Mappatura UDM	Logica
consentita	security_result.action	Se "false", l'azione è "BLOCK". Se "true", l'azione è "ALLOW".
auth_type	additional.fields.key = "auth_type", additional.fields.value.string_value	Estratto dal campo "ugi" utilizzando il pattern grok "%{DATA:suser}@.*auth:%{WORD:auth_type}". Le parentesi e "auth:" vengono rimossi.
chiamare	additional.fields.key = "Call#", additional.fields.value.string_value	Mappato direttamente.
call_context	additional.fields.key = "callerContext", additional.fields.value.string_value	Mappato direttamente.
cliIP	principal.ip	Mappato solo quando esiste il campo "json_data" e viene analizzato correttamente come JSON.
cmd	principal.process.command_line	Mappato direttamente.
cluster_name	target.hostname	Utilizzato come nome host di destinazione, se presente.
giorno	metadata.event_timestamp.seconds	Utilizzato con mese, anno, ore, minuti e secondi per creare event_timestamp.
descrizione	metadata.description	Mappato direttamente.
driver	additional.fields.key = "driver", additional.fields.value.string_value	Mappato direttamente.
dst	target.ip OR target.hostname OR target.file.full_path	Se l'analisi è stata eseguita correttamente come IP, viene mappato all'IP di destinazione. Se il valore inizia con "/user", viene mappato al percorso del file di destinazione. In caso contrario, viene mappato al nome host di destinazione.
dstport	target.port	Mappato e convertito direttamente in numero intero.
enforcer	security_result.rule_name	Mappato direttamente.
event_count	additional.fields.key = "event_count", additional.fields.value.string_value	Mappato e convertito direttamente in stringa.
fname	src.file.full_path	Mappato direttamente.
ore	metadata.event_timestamp.seconds	Utilizzato con mese, giorno, anno, minuti e secondi per creare event_timestamp.
id	additional.fields.key = "id", additional.fields.value.string_value	Mappato direttamente.
ip	principal.ip	Mappato all'IP principale dopo aver rimosso l'eventuale carattere "/" iniziale.
json_data		Analizzato come JSON. I campi estratti vengono mappati ai campi UDM corrispondenti.
logType	additional.fields.key = "logType", additional.fields.value.string_value	Mappato direttamente.
messaggio		Utilizzato per estrarre vari campi utilizzando i pattern grok.
metodo	network.http.method	Mappato direttamente.
minuti	metadata.event_timestamp.seconds	Utilizzato con mese, giorno, anno, ore e secondi per creare event_timestamp.
mese	metadata.event_timestamp.seconds	Utilizzato con giorno, anno, ore, minuti e secondi per creare event_timestamp.
observer	observer.hostname OR observer.ip	Se l'analisi come IP ha esito positivo, viene mappato all'IP dell'osservatore. In caso contrario, viene mappato al nome host dell'osservatore.
perm	additional.fields.key = "perm", additional.fields.value.string_value	Mappato direttamente.
policy	security_result.rule_id	Mappato e convertito direttamente in stringa.
prodotto	metadata.product_name	Mappato direttamente.
product_event	metadata.product_event_type	Mappato direttamente. Se "rename", il campo "dst" viene mappato a "target.file.full_path".
proto	network.application_protocol	Mappato direttamente e convertito in maiuscolo se non è "webhdfs".
motivo	security_result.summary	Mappato direttamente.
repo	additional.fields.key = "repo", additional.fields.value.string_value	Mappato direttamente.
resType	additional.fields.key = "resType", additional.fields.value.string_value	Mappato direttamente.
risultato	additional.fields.key = "result", additional.fields.value.string_value	Mappato e convertito direttamente in stringa.
Riprova	additional.fields.key = "Retry#", additional.fields.value.string_value	Mappato direttamente.
secondi	metadata.event_timestamp.seconds	Utilizzato con mese, giorno, anno, ore e minuti per creare event_timestamp.
seq_num	additional.fields.key = "seq_num", additional.fields.value.string_value	Mappato e convertito direttamente in stringa.
gravità	security_result.severity	Mappato a diversi livelli di gravità in base al valore: "INFO", "Info", "info" -> "INFORMATIONAL"; "Low", "low", "LOW" -> "LOW"; "error", "Error", "WARN", "Warn" -> "MEDIUM"; "High", "high", "HIGH" -> "HIGH"; "Critical", "critical", "CRITICAL" -> "CRITICAL".
shost	principal.hostname	Utilizzato come nome host principale se diverso da "src".
src	principal.ip OR principal.hostname OR observer.ip	Se l'analisi è stata eseguita correttamente come IP, mappato all'IP principale e all'IP osservatore. In caso contrario, viene mappato al nome host principale.
srcport	principal.port	Mappato direttamente e convertito in numero intero.
riepilogo	security_result.summary	Mappato direttamente.
suser	principal.user.userid	Mappato direttamente.
Tag	additional.fields.key = "tags", additional.fields.value.string_value	Mappato direttamente.
thread	additional.fields.key = "thread", additional.fields.value.string_value	Mappato direttamente.
mancia	target.ip	Mappato direttamente.
ugi	target.hostname	Utilizzato come nome host di destinazione se il campo "log_data" non contiene "·".
url	target.url	Mappato direttamente.
vendor	metadata.vendor_name	Mappato direttamente.
versione	metadata.product_version	Mappato direttamente.
anno	metadata.event_timestamp.seconds	Utilizzato con mese, giorno, ore, minuti e secondi per creare event_timestamp.
N/D	metadata.event_type	Impostato su "NETWORK_CONNECTION" per impostazione predefinita. Modificato in "STATUS_UPDATE" se non viene identificata alcuna destinazione.
N/D	metadata.log_type	Imposta "HADOOP".
N/D	security_result.alert_state	Imposta "ALERTING" se la gravità è "HIGH" o "CRITICAL".
N/D	is_alert	Imposta su "true" se la gravità è "HIGH" o "CRITICAL".
N/D	is_significant	Impostato su "true" se la gravità è "HIGH" o "CRITICAL".

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.