DHS-IOC-Logs erfassen

Parserversion: 1.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie IOC-Logs des Department of Homeland Security (DHS) mit Cloud Storage V2 in Google Security Operations aufnehmen.

Das DHS stellt Threat Intelligence über das AIS-Programm (Automated Indicator Sharing) bereit. Dabei werden Kompromittierungsindikatoren wie schädliche IP-Adressen, Domains, URLs und Datei-Hashes im STIX/TAXII-Format bereitgestellt. Da AIS IOC-Daten als herunterladbare STIX-Bundles bereitstellt, müssen Sie diese Dateien in einen Cloud Storage-Bucket exportieren und dann einen Google SecOps-Feed konfigurieren, um sie aufzunehmen.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Ein Google Cloud -Projekt mit aktivierter Cloud Storage API
  • Berechtigungen zum Erstellen und Verwalten von Cloud Storage-Buckets
  • Berechtigungen zum Verwalten von IAM-Richtlinien (Identity and Access Management) für Cloud Storage-Buckets
  • Ein aktives DHS-AIS-Teilnehmerkonto mit Zugriff auf den TAXII-Server oder das AIS-Portal
  • AIS-Clientzertifikat und private Schlüsseldateien für die TAXII-Serverauthentifizierung

Cloud Storage-Bucket erstellen

  1. Rufen Sie die Google Cloud Console auf.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.
  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. dhs-ioc-logs).
    Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Standort aus, der Ihrer Google SecOps-Instanz am nächsten liegt (z. B. us-central1).
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren
  6. Klicken Sie auf Erstellen.

Automatischen Export von DHS-IOC-Daten nach Cloud Storage konfigurieren

Das DHS verteilt STIX-formatierte IOC-Daten über seinen AIS-TAXII-Server. Konfigurieren Sie eine automatisierte Pipeline, um Indikatoren nach einem Zeitplan abzurufen und direkt in Cloud Storage zu schreiben.

Verwenden Sie Cloud Build, das von Cloud Scheduler ausgelöst wird, um einen containerisierten Job auszuführen, der STIX-Bundles vom AIS-TAXII-Server abruft und in Cloud Storage schreibt.

  1. Speichern Sie das AIS-Clientzertifikat und den Schlüssel in Secret Manager:

    1. Gehen Sie in der Google Cloud -Console zu Sicherheit > Secret Manager.
    2. Klicken Sie auf Secret erstellen.
    3. Erstellen Sie zwei Secrets:
      • Name: ais-client-cert, Wert: Inhalt der PEM-Datei Ihres AIS-Clientzertifikats.
      • Name: ais-client-key, Wert: Inhalt der PEM-Datei des privaten Schlüssels Ihres AIS-Clients.
  2. Erstellen Sie ein Dienstkonto für den Exportjob:

    1. Wechseln Sie in der Google Cloud Console zu IAM und Verwaltung > Dienstkonten.
    2. Klicken Sie auf Dienstkonto erstellen.
    3. Geben Sie die folgenden Konfigurationsdetails an:
      • Name des Dienstkontos: Geben Sie dhs-ioc-export-sa ein.
      • Beschreibung des Dienstkontos: Geben Sie Service account for automated DHS IOC export to GCS ein.
    4. Klicken Sie auf Erstellen und fortfahren.
    5. Fügen Sie die folgenden Rollen hinzu:
      • Storage-Objekt-Administrator (zum Schreiben von Dateien in Cloud Storage)
      • Cloud Build-Bearbeiter (zum Ausführen von Cloud Build-Jobs)
      • Secret Manager Secret Accessor (zum Lesen von AIS-Zertifikaten)
    6. Klicken Sie auf Fertig.
  3. Erstellen Sie eine Cloud Build-Konfigurationsdatei (cloudbuild.yaml):

    steps:
      - name: 'gcr.io/cloud-builders/gcloud'
        entrypoint: 'bash'
        args:
          - '-c'
          - |
            apt-get update && apt-get install -y curl
            # Retrieve AIS certificates from Secret Manager
            gcloud secrets versions access latest --secret=ais-client-cert > /tmp/ais-cert.pem
            gcloud secrets versions access latest --secret=ais-client-key > /tmp/ais-key.pem
            # Fetch IOC data from AIS TAXII server
            TIMESTAMP=$(date -u +%Y%m%d_%H%M%S)
            FROM=$(date -u -d '-60 minutes' +"%Y-%m-%dT%H:%M:%SZ")
            curl -s --cert /tmp/ais-cert.pem --key /tmp/ais-key.pem \
              -H "Accept: application/taxii+json;version=2.1" \
              "https://ais2.cisa.dhs.gov/taxii2/ais2/collections/${_COLLECTION_ID}/objects?added_after=$${FROM}" \
              -o /workspace/dhs_ioc_$${TIMESTAMP}.json
            # Upload to GCS
            gcloud storage cp /workspace/dhs_ioc_$${TIMESTAMP}.json \
              gs://${_BUCKET_NAME}/ioc-data/
            # Clean up certificates
            rm -f /tmp/ais-cert.pem /tmp/ais-key.pem
    substitutions:
      _BUCKET_NAME: 'dhs-ioc-logs'
      _COLLECTION_ID: 'YOUR_AIS_COLLECTION_ID'
    
  4. Erstellen Sie einen Cloud Scheduler-Job, um den Build auszulösen:

    1. Rufen Sie in der Google Cloud Console Cloud Scheduler auf.
    2. Klicken Sie auf Job erstellen.
    3. Geben Sie die folgenden Konfigurationsdetails an:

      Einstellung Wert
      Name dhs-ioc-export-hourly
      Region Wählen Sie dieselbe Region wie für Ihren Cloud Storage-Bucket aus.
      Frequenz 0 * * * * (jede Stunde)
      Zeitzone UTC (empfohlen)
      Zieltyp HTTP
      URL https://cloudbuild.googleapis.com/v1/projects/YOUR_PROJECT_ID/builds
      HTTP-Methode POST
      Auth-Header OAuth-Token hinzufügen
      Dienstkonto dhs-ioc-export-sa@YOUR_PROJECT_ID.iam.gserviceaccount.com
    4. Klicken Sie auf Erstellen.

Option 2: Compute Engine-VM mit Cron (Alternative)

Wenn Cloud Build nicht verfügbar ist, verwenden Sie eine kleine Compute Engine-VM mit einem Cronjob, um IOC-Daten abzurufen und in Cloud Storage zu schreiben.

  1. Eine Compute Engine-VM erstellen:

    1. Rufen Sie in der Google Cloud Console Compute Engine > VM-Instanzen auf.
    2. Klicken Sie auf Instanz erstellen.
    3. Wählen Sie einen kleinen Maschinentyp aus, z. B. e2-micro.
    4. Wählen Sie unter Identität und API-Zugriff ein Dienstkonto mit der Rolle Storage-Objekt-Administrator aus.
    5. Klicken Sie auf Erstellen.
  2. Stellen Sie eine SSH-Verbindung zur VM her und erstellen Sie ein Exportskript (/opt/dhs-ioc/export.sh):

    #!/usr/bin/env bash
    set -euo pipefail
    
    TAXII_URL="https://ais2.cisa.dhs.gov/taxii2"
    API_ROOT="ais2"
    COLLECTION_ID="YOUR_AIS_COLLECTION_ID"
    CERT="/etc/ais/client-cert.pem"
    KEY="/etc/ais/client-key.pem"
    BUCKET="dhs-ioc-logs"
    
    TIMESTAMP=$(date -u +%Y%m%d_%H%M%S)
    FROM=$(date -u -d '-60 minutes' +"%Y-%m-%dT%H:%M:%SZ")
    
    curl -s --cert "$CERT" --key "$KEY" \
      -H "Accept: application/taxii+json;version=2.1" \
      "${TAXII_URL}/${API_ROOT}/collections/${COLLECTION_ID}/objects?added_after=${FROM}" \
      -o "/tmp/dhs_ioc_${TIMESTAMP}.json"
    
    gcloud storage cp "/tmp/dhs_ioc_${TIMESTAMP}.json" "gs://${BUCKET}/ioc-data/"
    rm -f "/tmp/dhs_ioc_${TIMESTAMP}.json"
    
  3. Machen Sie das Script ausführbar und planen Sie es mit cron:

    chmod +x /opt/dhs-ioc/export.sh
    (crontab -l ; echo "0 * * * * /opt/dhs-ioc/export.sh >> /var/log/dhs-ioc-export.log 2>&1") | crontab -
    

Google SecOps-Dienstkonto abrufen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. DHS IOC Feed.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Department of Homeland Security als Protokolltyp aus.
  7. Klicken Sie auf Dienstkonto abrufen.
  8. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  9. Kopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren Cloud Storage-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets (z. B. dhs-ioc-logs).
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E-Mail-Adresse des Google SecOps-Dienstkontos ein (z. B. chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
  6. Klicken Sie auf Speichern.

Google SecOps-Feed konfigurieren

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. DHS IOC Feed.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie Department of Homeland Security als Protokolltyp aus.
  7. Klicken Sie auf Weiter.
  8. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den Cloud Storage-Bucket-URI ein:

      gs://dhs-ioc-logs/ioc-data/
      
      • Ersetzen Sie dhs-ioc-logs durch den Namen des Cloud Storage-Buckets.
      • Ersetzen Sie ioc-data durch den konfigurierten Präfixpfad.
    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

      • Nie: Nach Übertragungen werden keine Dateien gelöscht (für Tests empfohlen).
      • Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.

    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage).

    • Asset-Namespace: Der Asset-Namespace.

    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  9. Klicken Sie auf Weiter.

  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
entity.application Name oder Kennung der Anwendung
observable_id entity.asset.asset_id Asset-ID
object_id entity.asset.product_object_id Produktobjekt-ID
hash_value entity.file.md5 MD5-Hash der Datei
hash_value entity.file.sha1 SHA1-Hash der Datei
hash_value entity.file.sha256 SHA256-Hash der Datei
file_size entity.file.size Größe der Datei in Byte
fuzzy_hash_value entity.file.ssdeep SSDEEP-Hash der Datei
file_path entity.file.full_path Vollständiger Dateipfad
ip_address_value entity.ip IP-Adresse
country entity.location.country_or_region Land oder Region
administrativeArea entity.location.state Bundesland
Port entity.port Portnummer
file_name_label entity.resource.attribute.labels Attributlabels für die Ressource
URL entity.url URL
organisationInfo entity.user.department Abteilung
email_address, email entity.user.email_addresses E-Mail-Adressen
organisationName entity.user.userid Nutzer-ID
ioc.domain_and_ports.domain Domainname
indicator_type, confidence_value ioc.feed_name Feedname
ip_address_value, target_ip ioc.ip_and_ports.ip_address IP-Adresse
Port ioc.ip_and_ports.ports Ports
description, desc1, ttp_description metadata.description Beschreibung
entity_type metadata.entity_type Typ des Rechtssubjekts
start_time metadata.interval.start_time Beginn des Intervalls
object_id metadata.product_entity_id Produktentitäts-ID
sightings_count_label metadata.source_labels Quelllabels
security_result_data, ttp_security_result metadata.threat Gefahreninformationen
metadata.vendor_name Name des Anbieters oder Unternehmens
metadata.product_name Produktname
address_label, subject_label, file_label security_result.about.labels Labels zum Sicherheitsergebnis
indicator_type security_result_data.category_details Kategoriedetails
desc1 security_result_data.description Beschreibung
confidence_value security_result_data.severity Wichtigkeitsstufe
host, domain_name target.hostname Ziel-Hostname
target_ip target.ip Ziel-IP-Adresse
domain_name target.url Ziel-URL
malware_category ttp_security_result.category_details Kategoriedetails für TTP
ttp_id_label ttp_security_result.detection_fields Erkennungsfelder für TTP
ttp_description ttp_security_result.description Beschreibung für TTP
ttp_summary ttp_security_result.summary Zusammenfassung für TTP

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten