DHS-IOC-Logs erfassen
Parserversion: 1.0
In diesem Dokument wird beschrieben, wie Sie IOC-Logs des Department of Homeland Security (DHS) mit Cloud Storage V2 in Google Security Operations aufnehmen.
Das DHS stellt Threat Intelligence über das AIS-Programm (Automated Indicator Sharing) bereit. Dabei werden Kompromittierungsindikatoren wie schädliche IP-Adressen, Domains, URLs und Datei-Hashes im STIX/TAXII-Format bereitgestellt. Da AIS IOC-Daten als herunterladbare STIX-Bundles bereitstellt, müssen Sie diese Dateien in einen Cloud Storage-Bucket exportieren und dann einen Google SecOps-Feed konfigurieren, um sie aufzunehmen.
Hinweis
Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:
- Eine Google SecOps-Instanz
- Ein Google Cloud -Projekt mit aktivierter Cloud Storage API
- Berechtigungen zum Erstellen und Verwalten von Cloud Storage-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien (Identity and Access Management) für Cloud Storage-Buckets
- Ein aktives DHS-AIS-Teilnehmerkonto mit Zugriff auf den TAXII-Server oder das AIS-Portal
- AIS-Clientzertifikat und private Schlüsseldateien für die TAXII-Serverauthentifizierung
Cloud Storage-Bucket erstellen
- Rufen Sie die Google Cloud Console auf.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. dhs-ioc-logs).Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Standort aus, der Ihrer Google SecOps-Instanz am nächsten liegt (z. B. us-central1).Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffssteuerung Einheitlich (empfohlen) Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Automatischen Export von DHS-IOC-Daten nach Cloud Storage konfigurieren
Das DHS verteilt STIX-formatierte IOC-Daten über seinen AIS-TAXII-Server. Konfigurieren Sie eine automatisierte Pipeline, um Indikatoren nach einem Zeitplan abzurufen und direkt in Cloud Storage zu schreiben.
Option 1: Cloud Scheduler mit Cloud Build (empfohlen)
Verwenden Sie Cloud Build, das von Cloud Scheduler ausgelöst wird, um einen containerisierten Job auszuführen, der STIX-Bundles vom AIS-TAXII-Server abruft und in Cloud Storage schreibt.
Speichern Sie das AIS-Clientzertifikat und den Schlüssel in Secret Manager:
- Gehen Sie in der Google Cloud -Console zu Sicherheit > Secret Manager.
- Klicken Sie auf Secret erstellen.
- Erstellen Sie zwei Secrets:
- Name:
ais-client-cert, Wert: Inhalt der PEM-Datei Ihres AIS-Clientzertifikats. - Name:
ais-client-key, Wert: Inhalt der PEM-Datei des privaten Schlüssels Ihres AIS-Clients.
- Name:
Erstellen Sie ein Dienstkonto für den Exportjob:
- Wechseln Sie in der Google Cloud Console zu IAM und Verwaltung > Dienstkonten.
- Klicken Sie auf Dienstkonto erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie
dhs-ioc-export-saein. - Beschreibung des Dienstkontos: Geben Sie
Service account for automated DHS IOC export to GCSein.
- Name des Dienstkontos: Geben Sie
- Klicken Sie auf Erstellen und fortfahren.
- Fügen Sie die folgenden Rollen hinzu:
- Storage-Objekt-Administrator (zum Schreiben von Dateien in Cloud Storage)
- Cloud Build-Bearbeiter (zum Ausführen von Cloud Build-Jobs)
- Secret Manager Secret Accessor (zum Lesen von AIS-Zertifikaten)
- Klicken Sie auf Fertig.
Erstellen Sie eine Cloud Build-Konfigurationsdatei (
cloudbuild.yaml):steps: - name: 'gcr.io/cloud-builders/gcloud' entrypoint: 'bash' args: - '-c' - | apt-get update && apt-get install -y curl # Retrieve AIS certificates from Secret Manager gcloud secrets versions access latest --secret=ais-client-cert > /tmp/ais-cert.pem gcloud secrets versions access latest --secret=ais-client-key > /tmp/ais-key.pem # Fetch IOC data from AIS TAXII server TIMESTAMP=$(date -u +%Y%m%d_%H%M%S) FROM=$(date -u -d '-60 minutes' +"%Y-%m-%dT%H:%M:%SZ") curl -s --cert /tmp/ais-cert.pem --key /tmp/ais-key.pem \ -H "Accept: application/taxii+json;version=2.1" \ "https://ais2.cisa.dhs.gov/taxii2/ais2/collections/${_COLLECTION_ID}/objects?added_after=$${FROM}" \ -o /workspace/dhs_ioc_$${TIMESTAMP}.json # Upload to GCS gcloud storage cp /workspace/dhs_ioc_$${TIMESTAMP}.json \ gs://${_BUCKET_NAME}/ioc-data/ # Clean up certificates rm -f /tmp/ais-cert.pem /tmp/ais-key.pem substitutions: _BUCKET_NAME: 'dhs-ioc-logs' _COLLECTION_ID: 'YOUR_AIS_COLLECTION_ID'Erstellen Sie einen Cloud Scheduler-Job, um den Build auszulösen:
- Rufen Sie in der Google Cloud Console Cloud Scheduler auf.
- Klicken Sie auf Job erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Name dhs-ioc-export-hourlyRegion Wählen Sie dieselbe Region wie für Ihren Cloud Storage-Bucket aus. Frequenz 0 * * * *(jede Stunde)Zeitzone UTC (empfohlen) Zieltyp HTTP URL https://cloudbuild.googleapis.com/v1/projects/YOUR_PROJECT_ID/buildsHTTP-Methode POST Auth-Header OAuth-Token hinzufügen Dienstkonto dhs-ioc-export-sa@YOUR_PROJECT_ID.iam.gserviceaccount.comKlicken Sie auf Erstellen.
Option 2: Compute Engine-VM mit Cron (Alternative)
Wenn Cloud Build nicht verfügbar ist, verwenden Sie eine kleine Compute Engine-VM mit einem Cronjob, um IOC-Daten abzurufen und in Cloud Storage zu schreiben.
Eine Compute Engine-VM erstellen:
- Rufen Sie in der Google Cloud Console Compute Engine > VM-Instanzen auf.
- Klicken Sie auf Instanz erstellen.
- Wählen Sie einen kleinen Maschinentyp aus, z. B.
e2-micro. - Wählen Sie unter Identität und API-Zugriff ein Dienstkonto mit der Rolle Storage-Objekt-Administrator aus.
- Klicken Sie auf Erstellen.
Stellen Sie eine SSH-Verbindung zur VM her und erstellen Sie ein Exportskript (
/opt/dhs-ioc/export.sh):#!/usr/bin/env bash set -euo pipefail TAXII_URL="https://ais2.cisa.dhs.gov/taxii2" API_ROOT="ais2" COLLECTION_ID="YOUR_AIS_COLLECTION_ID" CERT="/etc/ais/client-cert.pem" KEY="/etc/ais/client-key.pem" BUCKET="dhs-ioc-logs" TIMESTAMP=$(date -u +%Y%m%d_%H%M%S) FROM=$(date -u -d '-60 minutes' +"%Y-%m-%dT%H:%M:%SZ") curl -s --cert "$CERT" --key "$KEY" \ -H "Accept: application/taxii+json;version=2.1" \ "${TAXII_URL}/${API_ROOT}/collections/${COLLECTION_ID}/objects?added_after=${FROM}" \ -o "/tmp/dhs_ioc_${TIMESTAMP}.json" gcloud storage cp "/tmp/dhs_ioc_${TIMESTAMP}.json" "gs://${BUCKET}/ioc-data/" rm -f "/tmp/dhs_ioc_${TIMESTAMP}.json"Machen Sie das Script ausführbar und planen Sie es mit cron:
chmod +x /opt/dhs-ioc/export.sh (crontab -l ; echo "0 * * * * /opt/dhs-ioc/export.sh >> /var/log/dhs-ioc-export.log 2>&1") | crontab -
Google SecOps-Dienstkonto abrufen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
DHS IOC Feed. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Department of Homeland Security als Protokolltyp aus.
- Klicken Sie auf Dienstkonto abrufen.
Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren Cloud Storage-Bucket.
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (z. B.
dhs-ioc-logs). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E-Mail-Adresse des Google SecOps-Dienstkontos ein (z. B.
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com). - Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
- Hauptkonten hinzufügen: Fügen Sie die E-Mail-Adresse des Google SecOps-Dienstkontos ein (z. B.
Klicken Sie auf Speichern.
Google SecOps-Feed konfigurieren
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
DHS IOC Feed. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
- Wählen Sie Department of Homeland Security als Protokolltyp aus.
- Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den Cloud Storage-Bucket-URI ein:
gs://dhs-ioc-logs/ioc-data/- Ersetzen Sie
dhs-ioc-logsdurch den Namen des Cloud Storage-Buckets. - Ersetzen Sie
ioc-datadurch den konfigurierten Präfixpfad.
- Ersetzen Sie
Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
- Nie: Nach Übertragungen werden keine Dateien gelöscht (für Tests empfohlen).
Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.
Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage).
Asset-Namespace: Der Asset-Namespace.
Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| entity.application | Name oder Kennung der Anwendung | |
| observable_id | entity.asset.asset_id | Asset-ID |
| object_id | entity.asset.product_object_id | Produktobjekt-ID |
| hash_value | entity.file.md5 | MD5-Hash der Datei |
| hash_value | entity.file.sha1 | SHA1-Hash der Datei |
| hash_value | entity.file.sha256 | SHA256-Hash der Datei |
| file_size | entity.file.size | Größe der Datei in Byte |
| fuzzy_hash_value | entity.file.ssdeep | SSDEEP-Hash der Datei |
| file_path | entity.file.full_path | Vollständiger Dateipfad |
| ip_address_value | entity.ip | IP-Adresse |
| country | entity.location.country_or_region | Land oder Region |
| administrativeArea | entity.location.state | Bundesland |
| Port | entity.port | Portnummer |
| file_name_label | entity.resource.attribute.labels | Attributlabels für die Ressource |
| URL | entity.url | URL |
| organisationInfo | entity.user.department | Abteilung |
| email_address, email | entity.user.email_addresses | E-Mail-Adressen |
| organisationName | entity.user.userid | Nutzer-ID |
| ioc.domain_and_ports.domain | Domainname | |
| indicator_type, confidence_value | ioc.feed_name | Feedname |
| ip_address_value, target_ip | ioc.ip_and_ports.ip_address | IP-Adresse |
| Port | ioc.ip_and_ports.ports | Ports |
| description, desc1, ttp_description | metadata.description | Beschreibung |
| entity_type | metadata.entity_type | Typ des Rechtssubjekts |
| start_time | metadata.interval.start_time | Beginn des Intervalls |
| object_id | metadata.product_entity_id | Produktentitäts-ID |
| sightings_count_label | metadata.source_labels | Quelllabels |
| security_result_data, ttp_security_result | metadata.threat | Gefahreninformationen |
| metadata.vendor_name | Name des Anbieters oder Unternehmens | |
| metadata.product_name | Produktname | |
| address_label, subject_label, file_label | security_result.about.labels | Labels zum Sicherheitsergebnis |
| indicator_type | security_result_data.category_details | Kategoriedetails |
| desc1 | security_result_data.description | Beschreibung |
| confidence_value | security_result_data.severity | Wichtigkeitsstufe |
| host, domain_name | target.hostname | Ziel-Hostname |
| target_ip | target.ip | Ziel-IP-Adresse |
| domain_name | target.url | Ziel-URL |
| malware_category | ttp_security_result.category_details | Kategoriedetails für TTP |
| ttp_id_label | ttp_security_result.detection_fields | Erkennungsfelder für TTP |
| ttp_description | ttp_security_result.description | Beschreibung für TTP |
| ttp_summary | ttp_security_result.summary | Zusammenfassung für TTP |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten