Censys ASM-Logs erfassen

Parserversion: 1.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Censys-Logs mit Google Cloud Storage V2 in Google Security Operations aufnehmen.

Censys bietet über seine API umfassendes Angriffsflächen-Management und Internet-Intelligence. Mit dieser Integration können Sie Host-Erkennungsereignisse, Risikoereignisse und Asset-Änderungen von Censys ASM erfassen und zur Analyse und Überwachung an Google SecOps weiterleiten.

Hinweis

Folgende Voraussetzungen müssen erfüllt sein:

  • Eine Google SecOps-Instanz
  • Ein GCP-Projekt mit aktivierter Cloud Storage API
  • Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
  • Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
  • Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
  • Privilegierter Zugriff auf Censys ASM

Censys API-Anmeldedaten erfassen

  1. Melden Sie sich unter app.censys.io in der Censys ASM Console an.
  2. Gehen Sie oben auf der Seite zu Integrationen.
  3. Kopieren und speichern Sie Ihren API-Schlüssel und Ihre Organisations-ID.
  4. Notieren Sie sich die API-Basis-URL: https://api.platform.censys.io.

Google Cloud Storage-Bucket erstellen

  1. Gehen Sie zur Google Cloud Console.
  2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
  3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
  4. Klicken Sie auf Bucket erstellen.

  5. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. censys-logs).
    Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region).
    Standort Wählen Sie den Standort aus (z. B. us-central1).
    Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
    Zugriffssteuerung Einheitlich (empfohlen)
    Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

  6. Klicken Sie auf Erstellen.

Dienstkonto für die Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket.

Dienstkonto erstellen

  1. Rufen Sie in der GCP Console die Seite IAM und Verwaltung > Dienstkonten auf.
  2. Klicken Sie auf Dienstkonto erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Dienstkontoname: Geben Sie censys-data-collector-sa ein.
    • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Censys logs ein.
  4. Klicken Sie auf Erstellen und fortfahren.
  5. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
    1. Klicken Sie auf Rolle auswählen.
    2. Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
    3. Klicken Sie auf + Weitere Rolle hinzufügen.
    4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
    5. Klicken Sie auf + Weitere Rolle hinzufügen.
    6. Suchen Sie nach Cloud Functions-Aufrufer und wählen Sie die Rolle aus.
  6. Klicken Sie auf Weiter.
  7. Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

  • Storage-Objekt-Administrator: Logs in den GCS-Bucket schreiben und Statusdateien verwalten
  • Cloud Run-Aufrufer: Pub/Sub erlauben, die Funktion aufzurufen
  • Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket gewähren

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. censys-data-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
    • Rollen zuweisen: Wählen Sie Storage Object Admin aus.
  6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler Nachrichten veröffentlicht und das die Cloud Run-Funktion abonniert.

  1. Wechseln Sie in der GCP Console zu Pub/Sub > Themen.
  2. Klicken Sie auf Thema erstellen.
  3. Geben Sie die folgenden Konfigurationsdetails an:
    • Themen-ID: Geben Sie censys-data-trigger ein.
    • Übernehmen Sie die anderen Einstellungen.
  4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der Censys ASM API abzurufen und in GCS zu schreiben.

  1. Rufen Sie in der GCP Console Cloud Run auf.
  2. Klicken Sie auf Dienst erstellen.
  3. Wählen Sie Funktion aus (Funktion mit einem Inline-Editor erstellen).

  4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Dienstname censys-data-collector
    Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
    Laufzeit Wählen Sie Python 3.12 oder höher aus.

  5. Im Abschnitt Trigger (optional):

    1. Klicken Sie auf + Trigger hinzufügen.
    2. Wählen Sie Cloud Pub/Sub aus.
    3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (censys-data-trigger) aus.
    4. Klicken Sie auf Speichern.

  6. Im Abschnitt Authentifizierung:

    • Wählen Sie Authentifizierung erforderlich aus.
    • Prüfen Sie Identity and Access Management (IAM).
  1. Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
  2. Rufen Sie den Tab Sicherheit auf:
    • Dienstkonto: Wählen Sie das Dienstkonto (censys-data-collector-sa) aus.

  3. Rufen Sie den Tab Container auf:

    1. Klicken Sie auf Variablen und Secrets.

    2. Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:

      Variablenname Beispielwert
      GCS_BUCKET censys-logs
      GCS_PREFIX censys/
      STATE_KEY censys/state.json
      CENSYS_API_KEY your-censys-api-key
      CENSYS_ORG_ID your-organization-id
      API_BASE https://api.platform.censys.io

  4. Scrollen Sie auf dem Tab Variablen und Secrets nach unten zu Anfragen:

    • Zeitüberschreitung bei Anfrage: Geben Sie 600 Sekunden (10 Minuten) ein.

  5. Rufen Sie unter Container den Tab Einstellungen auf:

    • Im Abschnitt Ressourcen:
      • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
      • CPU: Wählen Sie 1 aus.
    • Klicken Sie auf Fertig.

  6. Scrollen Sie zu Ausführungsumgebung:

    • Wählen Sie Standard (empfohlen) aus.

  7. Im Abschnitt Versionsskalierung:

    • Mindestanzahl von Instanzen: Geben Sie 0 ein.
    • Maximale Anzahl von Instanzen: Geben Sie 100 ein oder passen Sie den Wert an die erwartete Last an.

  8. Klicken Sie auf Erstellen.

  9. Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.

  10. Nachdem der Dienst erstellt wurde, wird der Inline-Code-Editor automatisch geöffnet.

Funktionscode hinzufügen

  1. Geben Sie unter Funktionseinstiegspunkt den Wert main ein.

  2. Erstellen Sie im Inline-Code-Editor zwei Dateien:

    • Erste Datei: main.py:
    import functions_framework
from google.cloud import storage
import json
import urllib3
import gzip
import os
from datetime import datetime, timedelta, timezone
from typing import Dict, List, Any, Optional
from urllib.parse import urlencode

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch logs from Censys ASM API and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'censys/')
    state_key = os.environ.get('STATE_KEY', 'censys/state.json')
    censys_api_key = os.environ.get('CENSYS_API_KEY')
    censys_org_id = os.environ.get('CENSYS_ORG_ID')
    api_base = os.environ.get('API_BASE', 'https://api.platform.censys.io')

    if not all([bucket_name, censys_api_key, censys_org_id]):
        print('Error: Missing required environment variables')
        return

    try:
        collector = CensysCollector(
            bucket_name=bucket_name,
            prefix=prefix,
            state_key=state_key,
            api_key=censys_api_key,
            org_id=censys_org_id,
            api_base=api_base
        )

        # Get last collection time
        last_collection_time = collector.get_last_collection_time()
        current_time = datetime.now(timezone.utc)

        print(f'Collecting events since {last_collection_time}')

        # Collect different types of events
        logbook_events = collector.collect_logbook_events()
        risk_events = collector.collect_risks_events()

        # Save events to GCS
        collector.save_events_to_gcs(logbook_events, 'logbook')
        collector.save_events_to_gcs(risk_events, 'risks')

        # Update state
        collector.save_collection_time(current_time)

        print(f'Successfully processed {len(logbook_events)} logbook events and {len(risk_events)} risk events')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

class CensysCollector:
    def __init__(self, bucket_name: str, prefix: str, state_key: str, 
                 api_key: str, org_id: str, api_base: str):
        self.bucket_name = bucket_name
        self.prefix = prefix
        self.state_key = state_key
        self.headers = {
            'Authorization': f'Bearer {api_key}',
            'X-Organization-ID': org_id,
            'Content-Type': 'application/json'
        }
        self.api_base = api_base
        self.bucket = storage_client.bucket(bucket_name)

    def get_last_collection_time(self) -> Optional[datetime]:
        """Get the last collection timestamp from GCS state file."""
        try:
            blob = self.bucket.blob(self.state_key)
            if blob.exists():
                state_data = blob.download_as_text()
                state = json.loads(state_data)
                return datetime.fromisoformat(state.get('last_collection_time', '2024-01-01T00:00:00Z'))
        except Exception as e:
            print(f'No state file found or error reading state: {e}')
        return datetime.now(timezone.utc) - timedelta(hours=1)

    def save_collection_time(self, collection_time: datetime):
        """Save the current collection timestamp to GCS state file."""
        state = {'last_collection_time': collection_time.strftime('%Y-%m-%dT%H:%M:%SZ')}
        blob = self.bucket.blob(self.state_key)
        blob.upload_from_string(
            json.dumps(state),
            content_type='application/json'
        )

    def collect_logbook_events(self, cursor: str = None) -> List[Dict[str, Any]]:
        """Collect logbook events from Censys ASM API using cursor-based pagination."""
        events = []
        url = f"{self.api_base}/v3/logbook"

        params = {}
        if cursor:
            params['cursor'] = cursor

        try:
            query_string = urlencode(params) if params else ''
            full_url = f"{url}?{query_string}" if query_string else url

            response = http.request('GET', full_url, headers=self.headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', '60'))
                print(f'Rate limited (429). Retrying after {retry_after}s...')
                import time
                time.sleep(retry_after)
                return self.collect_logbook_events(cursor)

            if response.status != 200:
                print(f'API request failed with status {response.status}: {response.data}')
                return []

            data = json.loads(response.data.decode('utf-8'))
            events.extend(data.get('logbook_entries', []))

            # Handle cursor-based pagination
            next_cursor = data.get('next_cursor')
            if next_cursor:
                events.extend(self.collect_logbook_events(next_cursor))

            print(f'Collected {len(events)} logbook events')
            return events

        except Exception as e:
            print(f'Error collecting logbook events: {e}')
            return []

    def collect_risks_events(self) -> List[Dict[str, Any]]:
        """Collect risk events from Censys ASM API."""
        events = []
        url = f"{self.api_base}/v3/risks"

        try:
            response = http.request('GET', url, headers=self.headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', '60'))
                print(f'Rate limited (429). Retrying after {retry_after}s...')
                import time
                time.sleep(retry_after)
                return self.collect_risks_events()

            if response.status != 200:
                print(f'API request failed with status {response.status}: {response.data}')
                return []

            data = json.loads(response.data.decode('utf-8'))
            events.extend(data.get('risks', []))

            print(f'Collected {len(events)} risk events')
            return events

        except Exception as e:
            print(f'Error collecting risk events: {e}')
            return []

    def save_events_to_gcs(self, events: List[Dict[str, Any]], event_type: str):
        """Save events to GCS in compressed NDJSON format."""
        if not events:
            return

        timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S')
        filename = f"{self.prefix}{event_type}_{timestamp}.json.gz"

        try:
            # Convert events to newline-delimited JSON
            ndjson_content = '\n'.join(json.dumps(event, separators=(',', ':')) for event in events)

            # Compress with gzip
            gz_bytes = gzip.compress(ndjson_content.encode('utf-8'))

            blob = self.bucket.blob(filename)
            blob.upload_from_string(
                gz_bytes,
                content_type='application/gzip'
            )

            print(f'Saved {len(events)} {event_type} events to {filename}')

        except Exception as e:
            print(f'Error saving {event_type} events to GCS: {e}')
            raise
    • Zweite Datei: requirements.txt:
    functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

  3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

  4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

  1. Rufen Sie in der GCP Console die Option Cloud Scheduler auf.
  2. Klicken Sie auf Job erstellen.

  3. Geben Sie die folgenden Konfigurationsdetails an:

    Einstellung Wert
    Name censys-data-collector-hourly
    Region Wählen Sie dieselbe Region wie für die Cloud Run-Funktion aus.
    Frequenz 0 * * * * (stündlich zur vollen Stunde)
    Zeitzone Zeitzone auswählen (UTC empfohlen)
    Zieltyp Pub/Sub
    Thema Wählen Sie das Pub/Sub-Thema (censys-data-trigger) aus.
    Inhalt der Nachricht {} (leeres JSON-Objekt)

  4. Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

  • Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

    Häufigkeit Cron-Ausdruck Anwendungsfall
    Alle 5 Minuten */5 * * * * Hohes Volumen, niedrige Latenz
    Alle 15 Minuten */15 * * * * Mittleres Suchvolumen
    Stündlich 0 * * * * Standard (empfohlen)
    Alle 6 Stunden 0 */6 * * * Batchverarbeitung mit geringem Volumen
    Täglich 0 0 * * * Erhebung von Verlaufsdaten

Integration testen

  1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
  2. Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
  3. Warte einige Sekunden.
  4. Rufen Sie Cloud Run > Dienste auf.
  5. Klicken Sie auf den Namen Ihrer Funktion (censys-data-collector).
  6. Klicken Sie auf den Tab Logs.

  7. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:

    Collecting events since YYYY-MM-DDTHH:MM:SS+00:00
Collected X logbook events
Collected X risk events
Saved X logbook events to censys/logbook_YYYYMMDD_HHMMSS.json.gz
Saved X risks events to censys/risks_YYYYMMDD_HHMMSS.json.gz
Successfully processed X logbook events and X risk events

  8. Rufen Sie Cloud Storage > Buckets auf.

  9. Klicken Sie auf den Namen Ihres Buckets.

  10. Rufen Sie den Präfixordner (censys/) auf.

  11. Prüfen Sie, ob neue .json.gz-Dateien mit dem aktuellen Zeitstempel erstellt wurden.

Wenn Sie Fehler in den Logs sehen:

  • HTTP 401: API-Anmeldedaten in Umgebungsvariablen prüfen
  • HTTP 403: Prüfen Sie, ob das Konto die erforderlichen Berechtigungen hat.
  • HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
  • Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E‑Mail-Adresse des Dienstkontos abrufen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Censys logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie CENSYS als Logtyp aus.
  7. Klicken Sie auf Dienstkonto abrufen.

  8. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com

  9. Kopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

  1. Rufen Sie Cloud Storage > Buckets auf.
  2. Klicken Sie auf den Namen Ihres Buckets.
  3. Wechseln Sie zum Tab Berechtigungen.
  4. Klicken Sie auf Zugriff erlauben.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
    • Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
  6. Klicken Sie auf Speichern.

Feed in Google SecOps konfigurieren, um Censys-Logs aufzunehmen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf Einzelnen Feed konfigurieren.
  4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Censys logs.
  5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
  6. Wählen Sie CENSYS als Logtyp aus.
  7. Klicken Sie auf Weiter.

  8. Geben Sie Werte für die folgenden Eingabeparameter an:

    • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:

      gs://censys-logs/censys/

      • Ersetzen Sie:

        • censys-logs: Der Name Ihres GCS-Buckets.
        • censys/: Optionaler Präfix-/Ordnerpfad, in dem Logs gespeichert werden (leer lassen für Stammverzeichnis).

      • Beispiele:

        • Root-Bucket: gs://censys-logs/
        • Mit Präfix: gs://censys-logs/censys/

    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

      • Nie: Nach Übertragungen werden keine Dateien gelöscht (empfohlen für Tests).
      • Übertragene Dateien löschen: Dateien werden nach erfolgreicher Übertragung gelöscht.

      • Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.

    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.

    • Asset-Namespace: Der Asset-Namespace.

    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.

  9. Klicken Sie auf Weiter.

  10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
assetId read_only_udm.principal.asset.hostname Wenn das Feld „assetId“ keine IP-Adresse ist, wird es „principal.asset.hostname“ zugeordnet.
assetId read_only_udm.principal.asset.ip Wenn das Feld „assetId“ eine IP-Adresse ist, wird es „principal.asset.ip“ zugeordnet.
assetId read_only_udm.principal.hostname Wenn das Feld „assetId“ keine IP-Adresse ist, wird es „principal.hostname“ zugeordnet.
assetId read_only_udm.principal.ip Wenn das Feld „assetId“ eine IP-Adresse ist, wird es „principal.ip“ zugeordnet.
associatedAt read_only_udm.security_result.detection_fields.value Das Feld „associatedAt“ wird „security_result.detection_fields.value“ zugeordnet.
autonomousSystem.asn read_only_udm.additional.fields.value.string_value Das Feld „autonomousSystem.asn“ wird in einen String konvertiert und mit dem Schlüssel „autonomousSystem_asn“ dem Feld „additional.fields.value.string_value“ zugeordnet.
autonomousSystem.bgpPrefix read_only_udm.additional.fields.value.string_value Das Feld „autonomousSystem.bgpPrefix“ wird „additional.fields.value.string_value“ mit dem Schlüssel „autonomousSystem_bgpPrefix“ zugeordnet.
Banner read_only_udm.principal.resource.attribute.labels.value Das Bannerfeld wird mit dem Schlüssel „banner“ auf „principal.resource.attribute.labels.value“ abgebildet.
Cloud read_only_udm.metadata.vendor_name Das Feld „cloud“ wird „metadata.vendor_name“ zugeordnet.
comments.refUrl read_only_udm.network.http.referral_url Das Feld „comments.refUrl“ wird „network.http.referral_url“ zugeordnet.
data.cve read_only_udm.additional.fields.value.string_value Das Feld „data.cve“ wird mit dem Schlüssel „data_cve“ dem Feld „additional.fields.value.string_value“ zugeordnet.
data.cvss read_only_udm.additional.fields.value.string_value Das Feld „data.cvss“ wird mit dem Schlüssel „data_cvss“ „additional.fields.value.string_value“ zugeordnet.
data.ipAddress read_only_udm.principal.asset.ip Wenn das Feld „data.ipAddress“ nicht mit dem Feld „assetId“ übereinstimmt, wird es „principal.asset.ip“ zugeordnet.
data.ipAddress read_only_udm.principal.ip Wenn das Feld „data.ipAddress“ nicht mit dem Feld „assetId“ übereinstimmt, wird es „principal.ip“ zugeordnet.
data.location.city read_only_udm.principal.location.city Wenn das Feld „location.city“ leer ist, wird das Feld „data.location.city“ dem Feld „principal.location.city“ zugeordnet.
data.location.countryCode read_only_udm.principal.location.country_or_region Wenn das Feld „location.country“ leer ist, wird das Feld „data.location.countryCode“ dem Feld „principal.location.country_or_region“ zugeordnet.
data.location.latitude read_only_udm.principal.location.region_coordinates.latitude Wenn die Felder „location.coordinates.latitude“ und „location.geoCoordinates.latitude“ leer sind, wird das Feld „data.location.latitude“ in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.latitude“ zugeordnet.
data.location.longitude read_only_udm.principal.location.region_coordinates.longitude Wenn die Felder „location.coordinates.longitude“ und „location.geoCoordinates.longitude“ leer sind, wird das Feld „data.location.longitude“ in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.longitude“ zugeordnet.
data.location.province read_only_udm.principal.location.state Wenn das Feld „location.province“ leer ist, wird das Feld „data.location.province“ dem Feld „principal.location.state“ zugeordnet.
data.mailServers read_only_udm.additional.fields.value.list_value.values.string_value Jedes Element im Array „data.mailServers“ wird einem separaten Eintrag „additional.fields“ mit dem Schlüssel „Mail Servers“ und dem Wert „value.list_value.values.string_value“ zugeordnet, der auf den Elementwert festgelegt ist.
data.names.forwardDns[].name read_only_udm.network.dns.questions.name Jedes Element im Array „data.names.forwardDns“ wird einem separaten „network.dns.questions“-Eintrag zugeordnet, wobei das Feld „name“ auf das Feld „name“ des Elements festgelegt ist.
data.nameServers read_only_udm.additional.fields.value.list_value.values.string_value Jedes Element im Array „data.nameServers“ wird einem separaten Eintrag „additional.fields“ mit dem Schlüssel „Name nameServers“ und dem Wert „value.list_value.values.string_value“ zugeordnet, der auf den Elementwert festgelegt ist.
data.protocols[].transportProtocol read_only_udm.network.ip_protocol Wenn das Feld „data.protocols[].transportProtocol“ TCP, EIGRP, ESP, ETHERIP, GRE, ICMP, IGMP, IP6IN4, PIM, UDP oder VRRP ist, wird es „network.ip_protocol“ zugeordnet.
data.protocols[].transportProtocol read_only_udm.principal.resource.attribute.labels.value Das Feld „data.protocols[].transportProtocol“ wird „principal.resource.attribute.labels.value“ mit dem Schlüssel „data_protocols {index}“ zugeordnet.
http.request.headers[].key, http.request.headers[].value.headers.0 read_only_udm.network.http.user_agent Wenn das Feld „http.request.headers[].key“ den Wert „User-Agent“ hat, wird das entsprechende Feld „http.request.headers[].value.headers.0“ dem Feld „network.http.user_agent“ zugeordnet.
http.request.headers[].key, http.request.headers[].value.headers.0 read_only_udm.network.http.parsed_user_agent Wenn das Feld „http.request.headers[].key“ den Wert „User-Agent“ hat, wird das entsprechende Feld „http.request.headers[].value.headers.0“ als User-Agent-String geparst und „network.http.parsed_user_agent“ zugeordnet.
http.request.headers[].key, http.request.headers[].value.headers.0 read_only_udm.principal.resource.attribute.labels.key, read_only_udm.principal.resource.attribute.labels.value Für jedes Element im Array „http.request.headers“ wird das Feld „key“ „principal.resource.attribute.labels.key“ und das Feld „value.headers.0“ „principal.resource.attribute.labels.value“ zugeordnet.
http.request.uri read_only_udm.principal.asset.hostname Der Hostnamen-Teil des Felds „http.request.uri“ wird extrahiert und „principal.asset.hostname“ zugeordnet.
http.request.uri read_only_udm.principal.hostname Der Hostnamen-Teil des Felds „http.request.uri“ wird extrahiert und „principal.hostname“ zugeordnet.
http.response.body read_only_udm.principal.resource.attribute.labels.value Das Feld „http.response.body“ wird „principal.resource.attribute.labels.value“ mit dem Schlüssel „http_response_body“ zugeordnet.
http.response.headers[].key, http.response.headers[].value.headers.0 read_only_udm.target.hostname Wenn das Feld „http.response.headers[].key“ den Wert „Server“ hat, wird das entsprechende Feld „http.response.headers[].value.headers.0“ dem Feld „target.hostname“ zugeordnet.
http.response.headers[].key, http.response.headers[].value.headers.0 read_only_udm.principal.resource.attribute.labels.key, read_only_udm.principal.resource.attribute.labels.value Für jedes Element im Array „http.response.headers“ wird das Feld „key“ dem Feld „principal.resource.attribute.labels.key“ und das Feld „value.headers.0“ dem Feld „principal.resource.attribute.labels.value“ zugeordnet.
http.response.statusCode read_only_udm.network.http.response_code Das Feld „http.response.statusCode“ wird in eine Ganzzahl konvertiert und „network.http.response_code“ zugeordnet.
ip read_only_udm.target.asset.ip Das Feld „ip“ wird „target.asset.ip“ zugeordnet.
ip read_only_udm.target.ip Das Feld „ip“ ist „target.ip“ zugeordnet.
isSeed read_only_udm.additional.fields.value.string_value Das Feld „isSeed“ wird in einen String konvertiert und mit dem Schlüssel „isSeed“ „additional.fields.value.string_value“ zugeordnet.
location.city read_only_udm.principal.location.city Das Feld „location.city“ ist „principal.location.city“ zugeordnet.
location.continent read_only_udm.additional.fields.value.string_value Das Feld „location.continent“ wird mit dem Schlüssel „location_continent“ „additional.fields.value.string_value“ zugeordnet.
location.coordinates.latitude read_only_udm.principal.location.region_coordinates.latitude Das Feld „location.coordinates.latitude“ wird in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.latitude“ zugeordnet.
location.coordinates.longitude read_only_udm.principal.location.region_coordinates.longitude Das Feld „location.coordinates.longitude“ wird in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.longitude“ zugeordnet.
location.country read_only_udm.principal.location.country_or_region Das Feld „location.country“ wird „principal.location.country_or_region“ zugeordnet.
location.geoCoordinates.latitude read_only_udm.principal.location.region_coordinates.latitude Wenn das Feld „location.coordinates.latitude“ leer ist, wird das Feld „location.geoCoordinates.latitude“ in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.latitude“ zugeordnet.
location.geoCoordinates.longitude read_only_udm.principal.location.region_coordinates.longitude Wenn das Feld „location.coordinates.longitude“ leer ist, wird das Feld „location.geoCoordinates.longitude“ in einen Gleitkommawert konvertiert und „principal.location.region_coordinates.longitude“ zugeordnet.
location.postalCode read_only_udm.additional.fields.value.string_value Das Feld „location.postalCode“ wird „additional.fields.value.string_value“ mit dem Schlüssel „Postleitzahl“ zugeordnet.
location.province read_only_udm.principal.location.state Das Feld „location.province“ ist „principal.location.state“ zugeordnet.
Vorgang read_only_udm.security_result.action_details Das Feld „operation“ wird „security_result.action_details“ zugeordnet.
perspectiveId read_only_udm.principal.group.product_object_id Das Feld „perspectiveId“ ist „principal.group.product_object_id“ zugeordnet.
Port read_only_udm.principal.port Das Portfeld wird in eine Ganzzahl konvertiert und „principal.port“ zugeordnet.
risks[].severity, risks[].title read_only_udm.security_result.category_details Das Feld „risks[].severity“ wird mit dem Feld „risks[].title“ verkettet und „security_result.category_details“ zugeordnet.
serviceName read_only_udm.network.application_protocol Wenn das Feld „serviceName“ „HTTP“ oder „HTTPS“ ist, wird es network.application_protocol zugeordnet.
sourceIp read_only_udm.principal.asset.ip Das Feld „sourceIp“ wird „principal.asset.ip“ zugeordnet.
sourceIp read_only_udm.principal.ip Das Feld „sourceIp“ ist „principal.ip“ zugeordnet.
timestamp read_only_udm.metadata.event_timestamp Das Zeitstempelfeld wird als Zeitstempel geparst und metadata.event_timestamp zugeordnet.
transportFingerprint.id read_only_udm.metadata.product_log_id Das Feld „transportFingerprint.id“ wird in einen String konvertiert und „metadata.product_log_id“ zugeordnet.
transportFingerprint.raw read_only_udm.additional.fields.value.string_value Das Feld „transportFingerprint.raw“ wird mit dem Schlüssel „transportFingerprint_raw“ auf „additional.fields.value.string_value“ abgebildet.
Typ read_only_udm.metadata.product_event_type Das Feld „type“ wird „metadata.product_event_type“ zugeordnet.
- read_only_udm.metadata.product_name Der Wert „CENSYS_ASM“ wird metadata.product_name zugewiesen.
- read_only_udm.metadata.vendor_name Der Wert „CENSYS“ wird „metadata.vendor_name“ zugewiesen.
- read_only_udm.metadata.event_type Der Ereignistyp wird anhand des Vorhandenseins bestimmter Felder bestimmt: NETWORK_CONNECTION, wenn „has_princ_machine_id“ und „has_target_machine“ „true“ und „has_network_flow“ „false“ sind, NETWORK_DNS, wenn „has_network_flow“ „true“ ist, STATUS_UPDATE, wenn „has_princ_machine_id“ „true“ ist, und andernfalls GENERIC_EVENT.

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten