Raccogli i log DNS personalizzati

Parser Version: 1.0

Supportata in:

Questo documento spiega come importare i log DNS personalizzati in Google Security Operations utilizzando Cloud Storage V2.

DNS personalizzato è un tipo di log generico per i log del server DNS provenienti da implementazioni DNS personalizzate o non supportate. Acquisisce i dati delle query DNS e delle risposte, inclusi domini, tipi di record e informazioni sui client. Poiché questi log provengono da origini DNS non standard, devi esportarli in un bucket Cloud Storage e poi configurare un feed Google SecOps per l'importazione.

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

  • Un'istanza Google SecOps
  • Un progetto Google Cloud con l'API Storage di Cloud Storage abilitata
  • Autorizzazioni per creare e gestire i bucket Cloud Storage
  • Autorizzazioni per gestire le policy di Identity and Access Management (IAM) sui bucket Cloud Storage
  • Un server o un servizio DNS che genera log in un formato supportato (consigliato JSON)
  • Accesso amministrativo al server DNS per configurare le esportazioni dei log

Crea un bucket Cloud Storage

  1. Vai alla consoleGoogle Cloud .
  2. Seleziona il tuo progetto o creane uno nuovo.
  3. Nel menu di navigazione, vai a Cloud Storage > Bucket.
  4. Fai clic su Crea bucket.
  5. Fornisci i seguenti dettagli di configurazione:

    Impostazione Valore
    Assegna un nome al bucket Inserisci un nome globalmente univoco (ad esempio custom-dns-logs)
    Tipo di località Scegli in base alle tue esigenze (Regione, A due regioni, Multiregionale)
    Località Seleziona la località più vicina alla tua istanza Google SecOps (ad esempio, us-central1)
    Classe di archiviazione Standard (consigliato per i log ad accesso frequente)
    Controllo degli accessi Uniforme (consigliato)
    Strumenti di protezione (Facoltativo) Abilita il controllo delle versioni degli oggetti o la policy di conservazione
  6. Fai clic su Crea.

Configura un'esportazione automatizzata dei log DNS in Cloud Storage

Il metodo per esportare i log DNS dipende dall'implementazione del server DNS. Scegli l'approccio più adatto al tuo ambiente.

Opzione 1: sink di Cloud Logging (per i server DNS su Compute Engine)

Se il tuo server DNS viene eseguito su un'istanza Compute Engine e scrive i log in Logging, crea un sink di log per esportare i log DNS direttamente in Cloud Storage.

  1. Nella console Google Cloud , vai a Logging > Router dei log.
  2. Fai clic su Crea sink.
  3. Fornisci i seguenti dettagli di configurazione:

    Impostazione Valore
    Nome sink custom-dns-to-gcs
    Destinazione sink Bucket Cloud Storage
    Bucket custom-dns-logs
    Filtro di inclusione Un filtro corrispondente alle voci di log DNS (ad esempio, resource.type="gce_instance" AND logName="projects/YOUR_PROJECT_ID/logs/dns")
  4. Fai clic su Crea sink.

Opzione 2: Cloud Scheduler con Cloud Build (per server DNS on-premise)

Utilizza un trigger di build di Cloud Build attivato da Cloud Scheduler per eseguire un job di esportazione containerizzato che raccoglie i log DNS da un server remoto e li scrive in Cloud Storage.

  1. Crea un account di servizio per il job di esportazione:

    1. Nella console Google Cloud , vai a IAM e amministrazione > Account di servizio.
    2. Fai clic su Crea account di servizio.
    3. Fornisci i seguenti dettagli di configurazione:
      • Nome del service account: inserisci dns-log-export-sa
      • Descrizione service account: inserisci Service account for automated DNS log export to GCS
    4. Fai clic su Crea e continua.
    5. Aggiungi i seguenti ruoli:
      • Storage Object Admin (per scrivere file in Cloud Storage)
      • Cloud Build Editor (per eseguire i job Cloud Build)
    6. Fai clic su Fine.
  2. Crea un file di configurazione di Cloud Build (cloudbuild.yaml):

    steps:
      - name: 'gcr.io/cloud-builders/gcloud'
        entrypoint: 'bash'
        args:
          - '-c'
          - |
            # Collect DNS logs from your server
            # Replace with the actual command for your environment
            # Example: pull logs via syslog-ng, rsync from remote server, or query DNS log API
            curl -s -H "Authorization: Bearer $${API_TOKEN}" \
              "https://your-dns-server.example.com/api/logs?format=json" \
              -o /workspace/dns_logs.json
            # Upload to GCS
            gcloud storage cp /workspace/dns_logs.json \
              gs://${_BUCKET_NAME}/dns/dns_logs_$(date -u +%Y%m%d_%H%M%S).json
    substitutions:
      _BUCKET_NAME: 'custom-dns-logs'
    
  3. Crea un job Cloud Scheduler per attivare la build:

    1. Nella console Google Cloud , vai a Cloud Scheduler.
    2. Fai clic su Crea job.
    3. Fornisci i seguenti dettagli di configurazione:

      Impostazione Valore
      Nome dns-log-export-hourly
      Regione Seleziona la stessa regione del bucket Cloud Storage
      Frequenza 0 * * * * (ogni ora)
      Fuso orario UTC (consigliato)
      Tipo di target HTTP
      URL https://cloudbuild.googleapis.com/v1/projects/YOUR_PROJECT_ID/builds
      Metodo HTTP POST
      Intestazione Auth Aggiungi un token OAuth
      Service account dns-log-export-sa@YOUR_PROJECT_ID.iam.gserviceaccount.com
    4. Fai clic su Crea.

Opzione 3: Storage Transfer Service (per file system on-premise)

Se i log DNS vengono scritti in un file system locale, utilizza Storage Transfer Service con un agente di trasferimento per spostarli in Cloud Storage.

  1. Nella console Google Cloud , vai a Storage Transfer Service.
  2. Fai clic su Crea job di trasferimento.
  3. Seleziona File system POSIX come origine.
  4. Segui le istruzioni per installare l'agente di Storage Transfer sul server DNS o su una macchina con accesso ai file di log DNS.
  5. Configura il job di trasferimento:

    Impostazione Valore
    Directory di origine Percorso della directory dei file di log DNS
    Bucket di destinazione custom-dns-logs
    Percorso di destinazione dns/
    Programmazione Imposta una pianificazione ricorrente (ad esempio, ogni ora)
  6. Fai clic su Crea.

Recupera il account di servizio Google SecOps

  1. Vai a Impostazioni > Gestione dei dati > Feed. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Feed.
  2. Fai clic su Aggiungi nuovo feed di notizie.
  3. Fai clic su Configura un singolo feed.
  4. Nel campo Nome feed, inserisci un nome per il feed (ad es. Custom DNS Logs).
  5. Seleziona Google Cloud Storage V2 come Tipo di origine.
  6. Seleziona DNS personalizzato come Tipo di log.
  7. Fai clic su Ottieni service account.
  8. Verrà visualizzato un indirizzo email univoco del account di servizio, ad esempio:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  9. Copia questo indirizzo email per utilizzarlo nel passaggio successivo.

Concedi le autorizzazioni IAM al account di servizio Google SecOps

Il account di servizio Google SecOps deve avere il ruolo Storage Object Viewer nel bucket Cloud Storage.

  1. Vai a Cloud Storage > Bucket.
  2. Fai clic sul nome del bucket (ad esempio custom-dns-logs).
  3. Vai alla scheda Autorizzazioni.
  4. Fai clic su Concedi l'accesso.
  5. Fornisci i seguenti dettagli di configurazione:
    • Aggiungi entità: incolla l'indirizzo email del account di servizio Google SecOps (ad esempio, chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com).
    • Assegna ruoli: seleziona Visualizzatore oggetti Storage.
  6. Fai clic su Salva.

Configura il feed di Google SecOps

  1. Vai a Impostazioni > Gestione dei dati > Feed. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Feed.
  2. Fai clic su Aggiungi nuovo feed di notizie.
  3. Fai clic su Configura un singolo feed.
  4. Nel campo Nome feed, inserisci un nome per il feed (ad es. Custom DNS Logs).
  5. Seleziona Google Cloud Storage V2 come Tipo di origine.
  6. Seleziona DNS personalizzato come Tipo di log.
  7. Fai clic su Avanti.
  8. Specifica i valori per i seguenti parametri di input:

    • URI bucket di archiviazione: inserisci l'URI del bucket Cloud Storage:

      gs://custom-dns-logs/dns/
      
      • Sostituisci custom-dns-logs con il nome del tuo bucket Cloud Storage.
      • Sostituisci dns con il percorso del prefisso configurato.
    • Opzione di eliminazione dell'origine: seleziona l'opzione di eliminazione in base alle tue preferenze:

      • Mai: non elimina mai i file dopo i trasferimenti (opzione consigliata per i test).
      • Elimina i file trasferiti e le directory vuote: elimina i file e le directory vuote dopo il trasferimento riuscito.

    • Età massima del file: includi i file modificati negli ultimi giorni (il valore predefinito è 180 giorni).

    • Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.

    • Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.

  9. Fai clic su Avanti.

  10. Controlla la nuova configurazione del feed di notizie nella schermata Finalizza, quindi fai clic su Invia.

Tabella di mappatura UDM

Campo log Mappatura UDM Logica
receiveTimestamp metadata.event_timestamp Analizzato come RFC 3339
message metadata.event_type Mappatura: "dns_query" → NETWORK_DNS
jsonPayload.msg metadata.product_event_type Mappatura diretta
insertId metadata.product_log_id Mappatura diretta
message metadata.product_name Mappatura: "dns_query" → Custom DNS
message metadata.vendor_name Mappatura: "dns_query" → CUSTOM
message network.application_protocol Mappatura: "dns_query" → DNS
dns_answers network.dns.answers Unita
message network.dns.answers Mappatura: "dns_query" → dns_answers
dns_question network.dns.questions Unita
message network.dns.questions Mappatura: "dns_query" → dns_question
dns.response_code network.dns.response_code Rinominato/mappato
message principal.hostname Mappatura: "dns_query" → jsonPayload.dns_query.server
jsonPayload.dns_query.server principal.ip Unita
message principal.ip Mappatura: "dns_query" → jsonPayload.dns_query.server
message security_result Mappatura: "dns_query" → security_result
logName security_result.category_details Unita
message security_result.category_details Mappatura: "dns_query" → logName
message security_result.severity Mappatura: "dns_query" → INFORMATIONAL, "dns_query" → MEDIUM, "dns_query" → HIGH
labels.application target.application Mappatura diretta
message target.hostname Mappatura: "dns_query" → jsonPayload.dns_query.server
jsonPayload.dns_query.server target.ip Unita
message target.ip Mappatura: "dns_query" → jsonPayload.dns_query.server
component_label target.labels Unita
instance_group_label target.labels Unita
message target.labels Mappatura: "dns_query" → component_label, "dns_query" → instance_group_label
labels.region target.location.country_or_region Mappatura diretta
resource.labels.zone target.resource.attribute.cloud.availability_zone Mappatura diretta
message target.resource.attribute.cloud.environment Mappatura: "dns_query" → GOOGLE_CLOUD_PLATFORM
resource.labels.project_id target.resource.attribute.cloud.project.id Mappatura diretta
message target.resource.resource_type Mappatura: "dns_query" → VIRTUAL_MACHINE
N/D metadata.event_type Costante: NETWORK_DNS
N/D metadata.product_name Costante: Custom DNS
N/D metadata.vendor_name Costante: CUSTOM
N/D network.application_protocol Costante: DNS
N/D principal.hostname Costante: jsonPayload.dns_query.server
N/D security_result.severity Costante: INFORMATIONAL
N/D target.hostname Costante: jsonPayload.dns_query.server
N/D target.resource.attribute.cloud.environment Costante: GOOGLE_CLOUD_PLATFORM
N/D target.resource.resource_type Costante: VIRTUAL_MACHINE

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.