DomainTools Iris Investigate-Ergebnisse erfassen

Parserversion: 1.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie DomainTools Iris Investigate-Ergebnisse mit Google Cloud Storage in Google Security Operations aufnehmen. Der Parser wandelt JSON-Rohdaten aus der Iris API von DomainTools in ein strukturiertes Format um, das dem Unified Data Model (UDM) von Google SecOps entspricht. Es werden Informationen zu Domaindetails, Kontaktdaten, Sicherheitsrisiken, SSL-Zertifikaten und anderen relevanten Attributen extrahiert und den entsprechenden UDM-Feldern zugeordnet, um eine konsistente Analyse und Threat Intelligence zu ermöglichen.

Hinweis

Folgende Voraussetzungen müssen erfüllt sein:

  • Eine Google SecOps-Instanz
  • Privilegierter Zugriff auf das DomainTools-Unternehmenskonto (API-Zugriff auf Iris Investigate)
  • Ein GCP-Projekt mit aktivierter Cloud Storage API
  • Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
  • Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
  • Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs

DomainTools-API-Schlüssel und -Endpunkt abrufen

  1. Melden Sie sich im DomainTools API-Dashboard an. Nur das API-Inhaberkonto kann den API-Schlüssel zurücksetzen.
  2. Wählen Sie im Bereich Mein Konto auf dem Tab Kontozusammenfassung den Link API-Dashboard aufrufen aus.
  3. Rufen Sie den Bereich API Username auf, um Ihren Nutzernamen zu erhalten.
  4. Suchen Sie auf demselben Tab nach Ihrem API-Schlüssel.

  5. Kopieren Sie den Schlüssel und speichern Sie ihn an einem sicheren Ort. Wenn Sie einen neuen Schlüssel benötigen, wählen Sie API-Schlüssel zurücksetzen aus.

  6. Notieren Sie sich den Iris Investigate-Endpunkt: https://api.domaintools.com/v1/iris-investigate/.

Google Cloud Storage-Bucket erstellen

  1. Gehen Sie zur Google Cloud Console.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.

  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. domaintools-iris).
    Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Standort aus (z. B. us-central1).
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

  6. Klicken Sie auf Erstellen.

Dienstkonto für die Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

  1. Rufen Sie in der GCP Console die Seite IAM und Verwaltung > Dienstkonten auf.
  2. Klicken Sie auf Dienstkonto erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Dienstkontoname: Geben Sie domaintools-iris-collector-sa ein.
    • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect DomainTools Iris Investigate logs ein.
  4. Klicken Sie auf Erstellen und fortfahren.
  5. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
    1. Klicken Sie auf Rolle auswählen.
    2. Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
    3. Klicken Sie auf + Weitere Rolle hinzufügen.
    4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
    5. Klicken Sie auf + Weitere Rolle hinzufügen.
    6. Suchen Sie nach Cloud Functions-Aufrufer und wählen Sie die Rolle aus.
  6. Klicken Sie auf Weiter.
  7. Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

  • Storage-Objekt-Administrator: Logs in den GCS-Bucket schreiben und Statusdateien verwalten
  • Cloud Run-Aufrufer: Pub/Sub erlauben, die Funktion aufzurufen
  • Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket gewähren

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. domaintools-iris-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage Object Admin aus.
  6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler Nachrichten veröffentlicht und das die Cloud Run-Funktion abonniert.

  1. Wechseln Sie in der GCP Console zu Pub/Sub > Themen.
  2. Klicken Sie auf Thema erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Themen-ID: Geben Sie domaintools-iris-trigger ein.
    • Übernehmen Sie die anderen Einstellungen.
  4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der DomainTools Iris Investigate API abzurufen und in GCS zu schreiben.

  1. Rufen Sie in der GCP Console Cloud Run auf.
  2. Klicken Sie auf Dienst erstellen.
  3. Wählen Sie Funktion aus (Funktion mit einem Inline-Editor erstellen).

  4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Dienstname domaintools-iris-collector
    Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
    Laufzeit Wählen Sie Python 3.12 oder höher aus.

  5. Im Abschnitt Trigger (optional):

    1. Klicken Sie auf + Trigger hinzufügen.
    2. Wählen Sie Cloud Pub/Sub aus.
    3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (domaintools-iris-trigger) aus.
    4. Klicken Sie auf Speichern.

  6. Im Abschnitt Authentifizierung:

    1. Wählen Sie Authentifizierung erforderlich aus.
    2. Prüfen Sie Identity and Access Management (IAM).

  7. Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.

  8. Rufen Sie den Tab Sicherheit auf:

    • Dienstkonto: Wählen Sie das Dienstkonto (domaintools-iris-collector-sa) aus.

  9. Rufen Sie den Tab Container auf:

    1. Klicken Sie auf Variablen und Secrets.
    2. Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:
    Variablenname Beispielwert Beschreibung
    GCS_BUCKET domaintools-iris Name des GCS-Buckets, in dem Daten gespeichert werden.
    GCS_PREFIX domaintools/iris/ Optionales GCS-Präfix (Unterordner) für Objekte.
    STATE_KEY domaintools/iris/state.json Optionaler Schlüssel für die Status-/Prüfpunktdatei.
    DT_API_KEY DT-XXXXXXXXXXXXXXXXXXXX DomainTools-API-Schlüssel.
    USE_MODE HASH Wählen Sie den gewünschten Modus aus: HASH, DOMAINS oder QUERY. Es kann jeweils nur ein Modus aktiv sein.
    SEARCH_HASHES hash1;hash2;hash3 Erforderlich, wenn USE_MODE=HASH. Durch Semikolons getrennte Liste der gespeicherten Such-Hashes aus der Iris-Benutzeroberfläche.
    DOMAINS example.com;domaintools.com Erforderlich, wenn USE_MODE=DOMAINS. Durch Semikolons getrennte Liste von Domains.
    QUERY_LIST ip=1.1.1.1;ip=8.8.8.8;domain=example.org Erforderlich, wenn USE_MODE=QUERY. Durch Semikolons getrennte Liste von Abfragestrings (k=v&k2=v2).
    PAGE_SIZE 500 Zeilen pro Seite (Standard: 500).
    MAX_PAGES 20 Maximale Anzahl von Seiten pro Anfrage.

  10. Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:

    • Zeitüberschreitung bei Anfrage: Geben Sie 900 Sekunden (15 Minuten) ein.

  11. Rufen Sie den Tab Einstellungen auf:

    • Im Abschnitt Ressourcen:
      • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
      • CPU: Wählen Sie 1 aus.

  12. Im Abschnitt Versionsskalierung:

    • Mindestanzahl von Instanzen: Geben Sie 0 ein.
    • Maximale Anzahl von Instanzen: Geben Sie 100 ein oder passen Sie den Wert an die erwartete Last an.

  13. Klicken Sie auf Erstellen.

  14. Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.

  15. Nachdem der Dienst erstellt wurde, wird der Inline-Code-Editor automatisch geöffnet.

Funktionscode hinzufügen

  1. Geben Sie unter Funktionseinstiegspunkt den Wert main ein.

  2. Erstellen Sie im Inline-Code-Editor zwei Dateien:

    • Erste Datei: main.py:
    import functions_framework
from google.cloud import storage
import json
import os
import urllib.parse
from urllib.request import Request, urlopen
from urllib.error import HTTPError
import time
from datetime import datetime, timezone

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get("GCS_BUCKET", "").strip()
GCS_PREFIX = os.environ.get("GCS_PREFIX", "domaintools/iris/").strip()
STATE_KEY = os.environ.get("STATE_KEY", "domaintools/iris/state.json").strip()
DT_API_KEY = os.environ.get("DT_API_KEY", "").strip()
USE_MODE = os.environ.get("USE_MODE", "HASH").strip().upper()
SEARCH_HASHES = [h.strip() for h in os.environ.get("SEARCH_HASHES", "").split(";") if h.strip()]
DOMAINS = [d.strip() for d in os.environ.get("DOMAINS", "").split(";") if d.strip()]
QUERY_LIST = [q.strip() for q in os.environ.get("QUERY_LIST", "").split(";") if q.strip()]
PAGE_SIZE = int(os.environ.get("PAGE_SIZE", "500"))
MAX_PAGES = int(os.environ.get("MAX_PAGES", "20"))
USE_NEXT = os.environ.get("USE_NEXT", "true").lower() == "true"
HTTP_TIMEOUT = int(os.environ.get("HTTP_TIMEOUT", "60"))
RETRIES = int(os.environ.get("HTTP_RETRIES", "2"))

BASE_URL = "https://api.domaintools.com/v1/iris-investigate/"
HDRS = {
    "X-Api-Key": DT_API_KEY,
    "Accept": "application/json",
}

def _http_post(url: str, body: dict) -> dict:
    """Make HTTP POST request with form-encoded body."""
    req = Request(url, method="POST")
    for k, v in HDRS.items():
        req.add_header(k, v)
    req.add_header("Content-Type", "application/x-www-form-urlencoded")

    encoded_body = urllib.parse.urlencode(body, doseq=True).encode('utf-8')

    attempt = 0
    while True:
        try:
            with urlopen(req, data=encoded_body, timeout=HTTP_TIMEOUT) as r:
                return json.loads(r.read().decode("utf-8"))
        except HTTPError as e:
            if e.code in (429, 500, 502, 503, 504) and attempt < RETRIES:
                delay = int(e.headers.get("Retry-After", "2"))
                time.sleep(max(1, delay))
                attempt += 1
                continue
            raise

def _write_page(bucket, obj: dict, label: str, page: int) -> str:
    ts = time.strftime("%Y/%m/%d/%H%M%S", time.gmtime())
    key = f"{GCS_PREFIX.rstrip('/')}/{ts}-{label}-p{page:05d}.json"
    blob = bucket.blob(key)
    blob.upload_from_string(
        json.dumps(obj, separators=(",", ":")),
        content_type="application/json"
    )
    return key

def _first_page_params() -> dict:
    params = {"page_size": str(PAGE_SIZE)}
    if USE_NEXT:
        params["next"] = "true"
    return params

def _paginate(bucket, label: str, params: dict) -> tuple:
    pages = 0
    total = 0

    while pages < MAX_PAGES:
        data = _http_post(BASE_URL, params)
        _write_page(bucket, data, label, pages)
        resp = data.get("response") or {}
        results = resp.get("results") or []
        total += len(results)
        pages += 1

        next_url = resp.get("next") if isinstance(resp, dict) else None
        if next_url:
            parsed = urllib.parse.urlparse(next_url)
            params = dict(urllib.parse.parse_qsl(parsed.query))
            continue

        if resp.get("has_more_results") and resp.get("position"):
            base = _first_page_params()
            base.pop("next", None)
            base["position"] = resp["position"]
            params = base
            continue
        break
    return pages, total

def run_hashes(bucket, hashes: list) -> dict:
    agg_pages = agg_results = 0
    for h in hashes:
        params = _first_page_params()
        params["search_hash"] = h
        p, r = _paginate(bucket, f"hash-{h}", params)
        agg_pages += p
        agg_results += r
    return {"pages": agg_pages, "results": agg_results}

def run_domains(bucket, domains: list) -> dict:
    agg_pages = agg_results = 0
    for d in domains:
        params = _first_page_params()
        params["domain"] = d
        p, r = _paginate(bucket, f"domain-{d}", params)
        agg_pages += p
        agg_results += r
    return {"pages": agg_pages, "results": agg_results}

def run_queries(bucket, queries: list) -> dict:
    agg_pages = agg_results = 0
    for q in queries:
        base = _first_page_params()
        for k, v in urllib.parse.parse_qsl(q, keep_blank_values=True):
            base.setdefault(k, v)
        p, r = _paginate(bucket, f"query-{q.replace('=', '-')}", base)
        agg_pages += p
        agg_results += r
    return {"pages": agg_pages, "results": agg_results}

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch DomainTools Iris Investigate results and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not GCS_BUCKET:
        print("Error: GCS_BUCKET environment variable not set")
        return

    try:
        bucket = storage_client.bucket(GCS_BUCKET)

        if USE_MODE == "HASH" and SEARCH_HASHES:
            res = run_hashes(bucket, SEARCH_HASHES)
        elif USE_MODE == "DOMAINS" and DOMAINS:
            res = run_domains(bucket, DOMAINS)
        elif USE_MODE == "QUERY" and QUERY_LIST:
            res = run_queries(bucket, QUERY_LIST)
        else:
            raise ValueError(
                "Invalid USE_MODE or missing parameters. Set USE_MODE to HASH | DOMAINS | QUERY "
                "and provide SEARCH_HASHES | DOMAINS | QUERY_LIST accordingly."
            )

        print(f"Successfully processed: {json.dumps({'ok': True, 'mode': USE_MODE, **res})}")

    except Exception as e:
        print(f"Error processing DomainTools Iris data: {str(e)}")
        raise
    • Zweite Datei: requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*

  3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

  1. Rufen Sie in der GCP Console die Option Cloud Scheduler auf.
  2. Klicken Sie auf Job erstellen.

  3. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Name domaintools-iris-1h
    Region Wählen Sie dieselbe Region wie für die Cloud Run-Funktion aus.
    Frequenz 0 * * * * (stündlich zur vollen Stunde)
    Zeitzone Zeitzone auswählen (UTC empfohlen)
    Zieltyp Pub/Sub
    Thema Wählen Sie das Pub/Sub-Thema (domaintools-iris-trigger) aus.
    Inhalt der Nachricht {} (leeres JSON-Objekt)

  4. Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

  • Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

    Häufigkeit Cron-Ausdruck Anwendungsfall
    Alle 5 Minuten */5 * * * * Hohes Volumen, niedrige Latenz
    Alle 15 Minuten */15 * * * * Mittleres Suchvolumen
    Stündlich 0 * * * * Standard (empfohlen)
    Alle 6 Stunden 0 */6 * * * Batchverarbeitung mit geringem Volumen
    Täglich 0 0 * * * Erhebung von Verlaufsdaten

Integration testen

  1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
  2. Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
  3. Warte einige Sekunden.
  4. Rufen Sie Cloud Run > Dienste auf.
  5. Klicken Sie auf den Namen Ihrer Funktion (domaintools-iris-collector).
  6. Klicken Sie auf den Tab Logs.

  7. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:

    Successfully processed: {"ok": true, "mode": "HASH", "pages": X, "results": Y}

  8. Rufen Sie Cloud Storage > Buckets auf.

  9. Klicken Sie auf den Namen Ihres Buckets.

  10. Rufen Sie den Präfixordner (domaintools/iris/) auf.

  11. Prüfen Sie, ob neue .json-Dateien mit dem aktuellen Zeitstempel erstellt wurden.

Wenn Sie Fehler in den Logs sehen:

  • HTTP 401: DomainTools API-Anmeldedaten in Umgebungsvariablen prüfen
  • HTTP 403: Prüfen Sie, ob das Konto die erforderlichen Berechtigungen für die Iris Investigate API hat.
  • HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
  • Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.
  • Ungültiger USE_MODE: Prüfen Sie, ob USE_MODE auf HASH, DOMAINS oder QUERY festgelegt ist und die entsprechenden Parameter angegeben sind.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E‑Mail-Adresse des Dienstkontos abrufen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. DomainTools Iris Investigate.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie DomainTools Threat Intelligence als Protokolltyp aus.

  7. Klicken Sie auf Dienstkonto abrufen. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  8. Kopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
    • Rollen zuweisen: Wählen Sie Storage Object Viewer aus.

  6. Klicken Sie auf Speichern.

Feed in Google SecOps konfigurieren, um DomainTools Iris Investigate-Ergebnisse aufzunehmen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. DomainTools Iris Investigate.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie DomainTools Threat Intelligence als Protokolltyp aus.
  7. Klicken Sie auf Weiter.

  8. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:

      gs://domaintools-iris/domaintools/iris/

      • Ersetzen Sie:

        • domaintools-iris: Der Name Ihres GCS-Buckets.
        • domaintools/iris/: Optionaler Präfix-/Ordnerpfad, in dem Logs gespeichert werden (leer lassen für Stammverzeichnis).

      • Beispiele:

        • Root-Bucket: gs://domaintools-iris/
        • Mit Präfix: gs://domaintools-iris/domaintools/iris/

    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

      • Nie: Nach Übertragungen werden keine Dateien gelöscht (empfohlen für Tests).
      • Übertragene Dateien löschen: Dateien werden nach erfolgreicher Übertragung gelöscht.

      • Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.

    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.

    • Asset-Namespace: domaintools.threat_intel

    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  9. Klicken Sie auf Weiter.

  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Unterstützte DomainTools Iris Investigate-Beispiellogs

  • Standard-Domainanreicherung (einfach)

    {
  "domain": "example-sanitized-01.com",
  "whois_url": "https://whois.domaintools.com/example-sanitized-01.com",
  "active": false,
  "admin_contact": {
    "name": {
      "value": "REDACTED_NAME"
    },
    "org": {
      "value": "Sanitized Corp"
    },
    "email": [
      {
        "value": "admin@example-sanitized.com"
      }
    ]
  },
  "ip": [
    {
      "address": {
        "value": "192.168.1.100"
      },
      "asn": [
        {
          "value": 12345
        }
      ],
      "isp": {
        "value": "Generic ISP"
      }
    }
  ],
  "domain_risk": {
    "risk_score": 46,
    "components": [
      {
        "name": "proximity",
        "risk_score": 5
      },
      {
        "name": "threat_profile_phishing",
        "risk_score": 46
      }
    ]
  },
  "timestamp": "2023-11-21T12:15:50.130728Z"
}

  • Erweitertes Marketing-/Tracking-Schema

    {
  "domain": "analytics-tracker-sample.com",
  "google_analytics": {
    "value": "UA-000000-0"
  },
  "ga4": [
    {
      "value": "G-YYYYYYYYYX"
    }
  ],
  "gtm_codes": [
    {
      "value": "GTM-YYYX"
    }
  ],
  "fb_codes": [
    {
      "value": "1234567890"
    }
  ],
  "baidu_codes": [
    {
      "value": "hash_masked_value"
    }
  ],
  "yandex_codes": [
    {
      "value": "98765432"
    }
  ],
  "matomo_codes": [
    {
      "value": "https://analytics.internal-sanitized.net/"
    }
  ]
}

  • Getaggtes und überwachtes Schema

    {
  "domain": "monitored-threat.net",
  "monitor_domain": true,
  "monitoring_domain_list_name": "Watchlist_Alpha",
  "tags": [
    {
      "label": "Sanitized_Tag",
      "scope": "group",
      "tagged_at": "2020-12-02T13:33:40Z"
    }
  ],
  "registrar": {
    "value": "Safe-Registrar LLC"
  }
}

  • SSL- und Webantwortschema mit hohem Risiko

    {
  "domain": "high-risk-malware.org",
  "domain_risk": {
    "risk_score": 100,
    "components": [
      {
        "name": "threat_profile_malware",
        "risk_score": 95
      }
    ]
  },
  "ssl_info": [
    {
      "hash": {
        "value": "sha1_masked_hash_sequence"
      },
      "common_name": {
        "value": "www.sanitized-cert.com"
      },
      "issuer_common_name": {
        "value": "Sanitized CA"
      },
      "not_after": {
        "value": 20251231
      }
    }
  ],
  "website_response": 200,
  "server_type": "Sanitized-Server-v1.0",
  "website_title": "Sanitized Landing Page"
}

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
Aktiv principal.domain.status Wird direkt aus dem aktiven Feld im Rohlog zugeordnet.
additional_whois_email.[].value about.labels.additional_whois_email Aus dem Array „additional_whois_email“ extrahiert und als Label im Objekt „about“ hinzugefügt.
adsense.value about.labels.adsense Aus adsense.value extrahiert und als Label im about-Objekt hinzugefügt.
admin_contact.city.value principal.domain.admin.office_address.city Wird direkt aus dem Feld „admin_contact.city.value“ im Rohlog zugeordnet.
admin_contact.country.value principal.domain.admin.office_address.country_or_region Wird direkt aus dem Feld „admin_contact.country.value“ im Rohlog zugeordnet.
admin_contact.email.[].value principal.domain.admin.email_addresses Aus dem Array „admin_contact.email“ extrahiert und dem Feld „email_addresses“ hinzugefügt.
admin_contact.fax.value principal.domain.admin.attribute.labels.fax Wird aus „admin_contact.fax.value“ extrahiert und als Label mit dem Schlüssel „fax“ im Attribut „admin“ hinzugefügt.
admin_contact.name.value principal.domain.admin.user_display_name Wird direkt aus dem Feld „admin_contact.name.value“ im Rohlog zugeordnet.
admin_contact.org.value principal.domain.admin.company_name Wird direkt aus dem Feld „admin_contact.org.value“ im Rohlog zugeordnet.
admin_contact.phone.value principal.domain.admin.phone_numbers Wird direkt aus dem Feld „admin_contact.phone.value“ im Rohlog zugeordnet.
admin_contact.postal.value principal.domain.admin.attribute.labels.postal Wird aus admin_contact.postal.value extrahiert und als Label mit dem Schlüssel „postal“ im Attribut „admin“ hinzugefügt.
admin_contact.state.value principal.domain.admin.office_address.state Wird direkt aus dem Feld „admin_contact.state.value“ im Rohlog zugeordnet.
admin_contact.street.value principal.domain.admin.office_address.name Wird direkt aus dem Feld „admin_contact.street.value“ im Rohlog zugeordnet.
alexa about.labels.alexa Wird direkt aus dem Feld „alexa“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
baidu_codes.[].value about.labels.baidu_codes Aus dem Array „baidu_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
billing_contact.city.value principal.domain.billing.office_address.city Wird direkt aus dem Feld „billing_contact.city.value“ im Rohlog zugeordnet.
billing_contact.country.value principal.domain.billing.office_address.country_or_region Wird direkt aus dem Feld „billing_contact.country.value“ im Rohlog zugeordnet.
billing_contact.email.[].value principal.domain.billing.email_addresses Wird aus dem Array „billing_contact.email“ extrahiert und dem Feld „email_addresses“ hinzugefügt.
billing_contact.fax.value principal.domain.billing.attribute.labels.fax Wird aus „billing_contact.fax.value“ extrahiert und als Label mit dem Schlüssel „fax“ im Abrechnungsattribut hinzugefügt.
billing_contact.name.value principal.domain.billing.user_display_name Wird direkt aus dem Feld „billing_contact.name.value“ im Rohlog zugeordnet.
billing_contact.org.value principal.domain.billing.company_name Wird direkt aus dem Feld „billing_contact.org.value“ im Rohlog zugeordnet.
billing_contact.phone.value principal.domain.billing.phone_numbers Wird direkt aus dem Feld „billing_contact.phone.value“ im Rohlog zugeordnet.
billing_contact.postal.value principal.domain.billing.attribute.labels.postal Wird aus „billing_contact.postal.value“ extrahiert und als Label mit dem Schlüssel „postal“ im Abrechnungsattribut hinzugefügt.
billing_contact.state.value principal.domain.billing.office_address.state Wird direkt aus dem Feld „billing_contact.state.value“ im Rohlog zugeordnet.
billing_contact.street.value principal.domain.billing.office_address.name Wird direkt aus dem Feld „billing_contact.street.value“ im Rohlog zugeordnet.
create_date.value principal.domain.creation_time Wird aus dem Feld „create_date.value“ im Rohlog in das Zeitstempelformat konvertiert.
data_updated_timestamp principal.domain.audit_update_time Aus dem Feld „data_updated_timestamp“ im Rohlog in das Zeitstempelformat konvertiert.
Domain principal.hostname Direkt aus dem Domainfeld im Rohlog zugeordnet.
domain_risk.components.[].evidence security_result.detection_fields.evidence Wird aus dem Array „domain_risk.components.[].evidence“ extrahiert und als Erkennungsfeld mit dem Schlüssel „evidence“ im Objekt „security_result“ hinzugefügt.
domain_risk.components.[].name security_result.category_details Wird direkt aus dem Feld „domain_risk.components.[].name“ im Rohlog zugeordnet.
domain_risk.components.[].risk_score security_result.risk_score Wird direkt aus dem Feld „domain_risk.components.[].risk_score“ im Rohlog zugeordnet.
domain_risk.components.[].threats security_result.threat_name Das erste Element des Arrays „domain_risk.components.[].threats“ wird „security_result.threat_name“ zugeordnet.
domain_risk.components.[].threats security_result.detection_fields.threats Die verbleibenden Elemente des Arrays „domain_risk.components.[].threats“ werden als Erkennungsfelder mit dem Schlüssel „threats“ im Objekt „security_result“ hinzugefügt.
domain_risk.risk_score security_result.risk_score Wird direkt aus dem Feld „domain_risk.risk_score“ im Rohlog zugeordnet.
email_domain.[].value about.labels.email_domain Wird aus dem Array „email_domain“ extrahiert und als Label im Objekt „about“ hinzugefügt.
expiration_date.value principal.domain.expiration_time Wird aus dem Feld „expiration_date.value“ im Rohlog in das Zeitstempelformat konvertiert.
fb_codes.[].value about.labels.fb_codes Aus dem fb_codes-Array extrahiert und als Label im about-Objekt hinzugefügt.
first_seen.value principal.domain.first_seen_time Wird aus dem Feld „first_seen.value“ im Rohlog in das Zeitstempelformat konvertiert.
ga4.[].value about.labels.ga4 Aus dem ga4-Array extrahiert und als Label im about-Objekt hinzugefügt.
google_analytics.value about.labels.google_analytics Aus google_analytics.value extrahiert und als Label im about-Objekt hinzugefügt.
gtm_codes.[].value about.labels.gtm_codes Aus dem gtm_codes-Array extrahiert und als Label im about-Objekt hinzugefügt.
hotjar_codes.[].value about.labels.hotjar_codes Aus dem Array „hotjar_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
ip.[].address.value principal.ip Das erste Element des IP-Arrays wird „principal.ip“ zugeordnet.
ip.[].address.value about.labels.ip_address Die verbleibenden Elemente des IP-Arrays werden als Labels mit dem Schlüssel „ip_address“ im Objekt „about“ hinzugefügt.
ip.[].asn.[].value network.asn Das erste Element des ersten ip.asn-Arrays wird network.asn zugeordnet.
ip.[].asn.[].value about.labels.asn Die verbleibenden Elemente der ip.asn-Arrays werden als Labels mit dem Schlüssel „asn“ im Objekt „about“ hinzugefügt.
ip.[].country_code.value principal.location.country_or_region Der „country_code.value“ des ersten Elements im „ip“-Array wird „principal.location.country_or_region“ zugeordnet.
ip.[].country_code.value about.location.country_or_region Der „country_code.value“ der verbleibenden Elemente im „ip“-Array wird „about.location.country_or_region“ zugeordnet.
ip.[].isp.value principal.labels.isp Der isp.value des ersten Elements im ip-Array wird principal.labels.isp zugeordnet.
ip.[].isp.value about.labels.isp Der isp.value der verbleibenden Elemente im ip-Array wird about.labels.isp zugeordnet.
matomo_codes.[].value about.labels.matomo_codes Aus dem Array „matomo_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
monitor_domain about.labels.monitor_domain Wird direkt aus dem Feld „monitor_domain“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
monitoring_domain_list_name about.labels.monitoring_domain_list_name Wird direkt aus dem Feld „monitoring_domain_list_name“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
mx.[].domain.value about.domain.name Direkt aus dem Feld „mx.[].domain.value“ im Rohlog zugeordnet.
mx.[].host.value about.hostname Wird direkt aus dem Feld „mx.[].host.value“ im Rohlog zugeordnet.
mx.[].ip.[].value about.ip Aus dem Array „mx.[].ip“ extrahiert und dem Feld „ip“ hinzugefügt.
mx.[].priority about.security_result.priority_details Direkt aus dem Feld „mx.[].priority“ im Rohlog zugeordnet.
name_server.[].domain.value about.labels.name_server_domain Wird aus name_server.[].domain.value extrahiert und als Label mit dem Schlüssel „name_server_domain“ im Objekt „about“ hinzugefügt.
name_server.[].host.value principal.domain.name_server Aus name_server.[].host.value extrahiert und dem Feld name_server hinzugefügt.
name_server.[].host.value about.domain.name_server Aus name_server.[].host.value extrahiert und dem Feld name_server hinzugefügt.
name_server.[].ip.[].value about.labels.ip Aus dem Array „name_server.[].ip“ extrahiert und als Label mit dem Schlüssel „ip“ im Objekt „about“ hinzugefügt.
popularity_rank about.labels.popularity_rank Wird direkt aus dem Feld „popularity_rank“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
redirect.value about.labels.redirect Aus redirect.value extrahiert und als Label im about-Objekt hinzugefügt.
redirect_domain.value about.labels.redirect_domain Wird aus redirect_domain.value extrahiert und als Label im about-Objekt hinzugefügt.
registrant_contact.city.value principal.domain.registrant.office_address.city Wird direkt aus dem Feld „registrant_contact.city.value“ im Rohlog zugeordnet.
registrant_contact.country.value principal.domain.registrant.office_address.country_or_region Wird direkt aus dem Feld „registrant_contact.country.value“ im Rohlog zugeordnet.
registrant_contact.email.[].value principal.domain.registrant.email_addresses Aus dem Array „registrant_contact.email“ extrahiert und dem Feld „email_addresses“ hinzugefügt.
registrant_contact.fax.value principal.domain.registrant.attribute.labels.fax Aus „registrant_contact.fax.value“ extrahiert und als Label mit dem Schlüssel „fax“ im Attribut „registrant“ hinzugefügt.
registrant_contact.name.value principal.domain.registrant.user_display_name Wird direkt aus dem Feld „registrant_contact.name.value“ im Rohlog zugeordnet.
registrant_contact.org.value principal.domain.registrant.company_name Wird direkt aus dem Feld „registrant_contact.org.value“ im Rohprotokoll zugeordnet.
registrant_contact.phone.value principal.domain.registrant.phone_numbers Wird direkt aus dem Feld „registrant_contact.phone.value“ im Rohlog zugeordnet.
registrant_contact.postal.value principal.domain.registrant.attribute.labels.postal Wird aus registrant_contact.postal.value extrahiert und als Label mit dem Schlüssel „postal“ im Registrantenattribut hinzugefügt.
registrant_contact.state.value principal.domain.registrant.office_address.state Wird direkt aus dem Feld „registrant_contact.state.value“ im Rohlog zugeordnet.
registrant_contact.street.value principal.domain.registrant.office_address.name Wird direkt aus dem Feld „registrant_contact.street.value“ im Rohlog zugeordnet.
registrant_name.value about.labels.registrant_name Aus registrant_name.value extrahiert und als Label im about-Objekt hinzugefügt.
registrant_org.value about.labels.registrant_org Wird aus registrant_org.value extrahiert und als Label im Objekt „about“ hinzugefügt.
registrar.value principal.domain.registrar Wird direkt aus dem Feld „registrar.value“ im Rohlog zugeordnet.
registrar_status about.labels.registrar_status Aus dem Array „registrar_status“ extrahiert und als Label im Objekt „about“ hinzugefügt.
server_type network.tls.client.server_name Wird direkt aus dem Feld „server_type“ im Rohlog zugeordnet.
soa_email.[].value principal.user.email_addresses Aus dem soa_email-Array extrahiert und dem Feld email_addresses hinzugefügt.
spf_info about.labels.spf_info Wird direkt aus dem Feld „spf_info“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
ssl_email.[].value about.labels.ssl_email Aus dem ssl_email-Array extrahiert und als Label im about-Objekt hinzugefügt.
ssl_info.[].alt_names.[].value about.labels.alt_names Aus dem Array „ssl_info.[].alt_names“ extrahiert und als Label im „about“-Objekt hinzugefügt.
ssl_info.[].common_name.value about.labels.common_name Wird aus ssl_info.[].common_name.value extrahiert und als Label im about-Objekt hinzugefügt.
ssl_info.[].duration.value about.labels.duration Wird aus ssl_info.[].duration.value extrahiert und als Label im about-Objekt hinzugefügt.
ssl_info.[].email.[].value about.labels.ssl_info_email Aus dem Array „ssl_info.[].email“ extrahiert und als Label mit dem Schlüssel „ssl_info_email“ im „about“-Objekt hinzugefügt.
ssl_info.[].hash.value network.tls.server.certificate.sha1 Der hash.value des ersten Elements im ssl_info-Array wird network.tls.server.certificate.sha1 zugeordnet.
ssl_info.[].hash.value about.labels.hash Der hash.value der verbleibenden Elemente im ssl_info-Array wird about.labels.hash zugeordnet.
ssl_info.[].issuer_common_name.value network.tls.server.certificate.issuer Der Wert von issuer_common_name.value des ersten Elements im ssl_info-Array wird network.tls.server.certificate.issuer zugeordnet.
ssl_info.[].issuer_common_name.value about.labels.issuer_common_name Der „issuer_common_name.value“ der verbleibenden Elemente im Array „ssl_info“ wird „about.labels.issuer_common_name“ zugeordnet.
ssl_info.[].not_after.value network.tls.server.certificate.not_after Der Wert „not_after.value“ des ersten Elements im Array „ssl_info“ wird in das Zeitstempelformat konvertiert und „network.tls.server.certificate.not_after“ zugeordnet.
ssl_info.[].not_after.value about.labels.not_after Der Wert „not_after.value“ der verbleibenden Elemente im Array „ssl_info“ wird „about.labels.not_after“ zugeordnet.
ssl_info.[].not_before.value network.tls.server.certificate.not_before Der Wert „not_before.value“ des ersten Elements im Array „ssl_info“ wird in das Zeitstempelformat konvertiert und „network.tls.server.certificate.not_before“ zugeordnet.
ssl_info.[].not_before.value about.labels.not_before Der Wert „not_before.value“ der verbleibenden Elemente im Array „ssl_info“ wird „about.labels.not_before“ zugeordnet.
ssl_info.[].organization.value network.organization_name Der Wert „organization.value“ des ersten Elements im Array „ssl_info“ wird „network.organization_name“ zugeordnet.
ssl_info.[].organization.value about.labels.organization Der organization.value der verbleibenden Elemente im ssl_info-Array wird about.labels.organization zugeordnet.
ssl_info.[].subject.value about.labels.subject Wird aus ssl_info.[].subject.value extrahiert und als Label im about-Objekt hinzugefügt.
statcounter_project_codes.[].value about.labels.statcounter_project_codes Aus dem Array „statcounter_project_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
statcounter_security_codes.[].value about.labels.statcounter_security_codes Aus dem Array „statcounter_security_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
tags.[].label about.file.tags Aus tags.[].label extrahiert und dem Feld „tags“ hinzugefügt.
tags.[].scope security_result.detection_fields.scope Aus tags.[].scope extrahiert und als Erkennungsfeld mit dem Schlüssel „scope“ im security_result-Objekt hinzugefügt.
tags.[].tagged_at security_result.detection_fields.tagged_at Wird aus „tags.[].tagged_at“ extrahiert und als Erkennungsfeld mit dem Schlüssel „tagged_at“ im Objekt „security_result“ hinzugefügt.
technical_contact.city.value principal.domain.tech.office_address.city Wird direkt aus dem Feld „technical_contact.city.value“ im Rohlog zugeordnet.
technical_contact.country.value principal.domain.tech.office_address.country_or_region Wird direkt aus dem Feld „technical_contact.country.value“ im Rohlog zugeordnet.
technical_contact.email.[].value principal.domain.tech.email_addresses Wird aus dem Array „technical_contact.email“ extrahiert und dem Feld „email_addresses“ hinzugefügt.
technical_contact.fax.value principal.domain.tech.attribute.labels.fax Wird aus „technical_contact.fax.value“ extrahiert und als Label mit dem Schlüssel „fax“ im Attribut „tech“ hinzugefügt.
technical_contact.name.value principal.domain.tech.user_display_name Wird direkt aus dem Feld „technical_contact.name.value“ im Rohlog zugeordnet.
technical_contact.org.value principal.domain.tech.company_name Wird direkt aus dem Feld „technical_contact.org.value“ im Rohlog zugeordnet.
technical_contact.phone.value principal.domain.tech.phone_numbers Wird direkt aus dem Feld „technical_contact.phone.value“ im Rohlog zugeordnet.
technical_contact.postal.value principal.domain.tech.attribute.labels.postal Wird aus „technical_contact.postal.value“ extrahiert und als Label mit dem Schlüssel „postal“ im Attribut „tech“ hinzugefügt.
technical_contact.state.value principal.domain.tech.office_address.state Wird direkt aus dem Feld „technical_contact.state.value“ im Rohlog zugeordnet.
technical_contact.street.value principal.domain.tech.office_address.name Wird direkt aus dem Feld „technical_contact.street.value“ im Rohlog zugeordnet.
tld about.labels.tld Wird direkt aus dem Feld „tld“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
timestamp about.labels.timestamp Wird direkt aus dem Zeitstempelfeld im Rohlog zugeordnet und als Label im „about“-Objekt hinzugefügt.
website_response principal.network.http.response_code Wird direkt aus dem Feld „website_response“ im Rohlog zugeordnet.
website_title about.labels.website_title Wird direkt aus dem Feld „website_title“ im Rohlog zugeordnet und als Label im Objekt „about“ hinzugefügt.
whois_url principal.domain.whois_server Direkt aus dem Feld „whois_url“ im Rohlog zugeordnet.
yandex_codes.[].value about.labels.yandex_codes Aus dem Array „yandex_codes“ extrahiert und als Label im Objekt „about“ hinzugefügt.
edr.client.hostname Legen Sie den Wert des Domainfelds fest.
edr.client.ip_addresses Wird auf den Wert des ersten Elements im IP-Array festgelegt, insbesondere ip.[0].address.value.
edr.raw_event_name Wird auf „STATUS_UPDATE“ gesetzt, wenn „principal.hostname“ vorhanden ist, andernfalls auf „GENERIC_EVENT“.
metadata.event_timestamp Aus dem Feld „create_time“ auf oberster Ebene im Rohlog kopiert.
metadata.event_type Wird auf „STATUS_UPDATE“ gesetzt, wenn „principal.hostname“ vorhanden ist, andernfalls auf „GENERIC_EVENT“.
metadata.log_type Legen Sie diesen Wert auf „DOMAINTOOLS_THREATINTEL“ fest.
metadata.product_name Legen Sie diesen Wert auf „DOMAINTOOLS“ fest.
metadata.vendor_name Legen Sie diesen Wert auf „DOMAINTOOLS“ fest.

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten