Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

URLScan IO-Protokolle erfassen

Unterstützt in:

Google SecOps SIEM

In diesem Dokument wird beschrieben, wie Sie URLScan IO-Logs mit Google Cloud Storage in Google Security Operations aufnehmen. URLScan IO ist ein Dienst, der Websites analysiert und detaillierte Informationen zu ihrem Verhalten, ihrer Sicherheit und ihrer Leistung bereitstellt. Es scannt URLs und generiert umfassende Berichte, einschließlich Screenshots, HTTP-Transaktionen, DNS-Einträgen und Threat Intelligence-Daten.

Hinweis

Folgende Voraussetzungen müssen erfüllt sein:

Eine Google SecOps-Instanz
Ein GCP-Projekt mit aktivierter Cloud Storage API
Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
Privilegierter Zugriff auf URLScan IO-Mandanten

Voraussetzungen für URLScan IO

Melden Sie sich in URLScan IO an.
Klicke auf dein Profilsymbol.
Wählen Sie im Menü die Option API-Schlüssel aus.
Wenn Sie noch keinen API-Schlüssel haben:
1. Klicken Sie auf den Button API-Schlüssel erstellen.
2. Geben Sie eine Beschreibung für den API-Schlüssel ein (z. B. Google SecOps Integration).
3. Klicken Sie auf API-Schlüssel generieren.
Kopieren Sie die folgenden Details und speichern Sie sie an einem sicheren Ort:
- API_KEY: Der generierte API-Schlüsselstring (Format: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
- API-Basis-URL: https://urlscan.io/api/v1 (dieser Wert ist für alle Nutzer gleich)
Beachten Sie die API-Kontingentlimits:
- Für kostenlose und Pro-Konten gelten Limits pro Minute, Stunde und Tag, die je nach Aktion variieren. Prüfen Sie Ihre persönlichen Kontingente oder die Header für die API-Ratenbegrenzung, um Ihre genauen Limits zu erfahren.
- Weitere Informationen finden Sie in der Dokumentation zu den URLScan IO API-Ratenbegrenzungen.
Wenn Sie die Suche auf die Scans Ihrer Organisation beschränken möchten, notieren Sie sich Folgendes:
- Nutzer-ID: Ihr Nutzername oder Ihre E-Mail-Adresse (für die Verwendung mit dem Suchfilter user:)
- Teamkennung: Wenn Sie die Teamfunktion verwenden (für die Verwendung mit dem Suchfilter team:)
Hinweis: Suchfilter wie user: und team: sind Teil der dokumentierten Suchsyntax von URLScan IO und können davon abhängen, ob Sie angemeldet sind oder Pro-Funktionen haben. Informationen zum Erstellen erweiterter Abfragen finden Sie in der Dokumentation zur URLScan IO Search API.

API-Zugriff prüfen

Testen Sie Ihren API-Schlüssel, bevor Sie mit der Integration fortfahren:

# Replace with your actual API key
API_KEY="your-api-key-here"

# Test API access
curl -v -H "API-Key: ${API_KEY}" "https://urlscan.io/api/v1/search/?q=date:>now-1h&size=1"

Erwartete Antwort: HTTP 200 mit JSON, das Suchergebnisse enthält.

Wenn Sie HTTP 401 oder 403 erhalten, prüfen Sie, ob Ihr API-Schlüssel korrekt und nicht abgelaufen ist.

Google Cloud Storage-Bucket erstellen

Gehen Sie zur Google Cloud Console.
Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
Klicken Sie auf Bucket erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Bucket benennen	Geben Sie einen global eindeutigen Namen ein (z. B. `urlscan-logs-bucket`).
Standorttyp	Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region).
Standort	Wählen Sie den Standort aus (z. B. `us-central1`).
Speicherklasse	Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
Zugriffssteuerung	Einheitlich (empfohlen)
Schutztools	Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

Klicken Sie auf Erstellen.

Dienstkonto für die Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

Rufen Sie in der GCP Console die Seite IAM und Verwaltung > Dienstkonten auf.
Klicken Sie auf Dienstkonto erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Dienstkontoname: Geben Sie urlscan-collector-sa ein.
- Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect URLScan IO logs ein.
Klicken Sie auf Erstellen und fortfahren.
Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
1. Klicken Sie auf Rolle auswählen.
2. Suchen Sie nach Storage Object Admin und wählen Sie die Rolle aus.
3. Klicken Sie auf + Weitere Rolle hinzufügen.
4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
5. Klicken Sie auf + Weitere Rolle hinzufügen.
6. Suchen Sie nach Cloud Functions-Aufrufer und wählen Sie die Rolle aus.
Klicken Sie auf Weiter.
Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

Storage-Objekt-Administrator: Logs in den GCS-Bucket schreiben und Statusdateien verwalten
Cloud Run-Aufrufer: Pub/Sub erlauben, die Funktion aufzurufen
Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket gewähren

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. urlscan-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
- Rollen zuweisen: Wählen Sie Storage Object Admin aus.
Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler Nachrichten veröffentlicht und das die Cloud Run-Funktion abonniert.

Wechseln Sie in der GCP Console zu Pub/Sub > Themen.
Klicken Sie auf Thema erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie urlscan-logs-trigger ein.
- Übernehmen Sie die anderen Einstellungen.
Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der URLScan IO API abzurufen und in GCS zu schreiben.

Rufen Sie in der GCP Console Cloud Run auf.
Klicken Sie auf Dienst erstellen.
Wählen Sie Funktion aus (Funktion mit einem Inline-Editor erstellen).
Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

Einstellung Wert

Dienstname urlscan-collector

Region Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).

Laufzeit Wählen Sie Python 3.12 oder höher aus.
Im Abschnitt Trigger (optional):
1. Klicken Sie auf + Trigger hinzufügen.
2. Wählen Sie Cloud Pub/Sub aus.
3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (urlscan-logs-trigger) aus.
4. Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
1. Wählen Sie Authentifizierung erforderlich aus.
2. Prüfen Sie Identity and Access Management (IAM).
Hinweis: Pub/Sub übernimmt die Authentifizierung beim Aufrufen der Funktion automatisch.
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie das Dienstkonto (urlscan-collector-sa) aus.

Einstellung	Wert
Dienstname	`urlscan-collector`
Region	Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. `us-central1`).
Laufzeit	Wählen Sie Python 3.12 oder höher aus.

Rufen Sie den Tab Container auf:

Klicken Sie auf Variablen und Secrets.
Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:

Variablenname	Beispielwert	Beschreibung
`GCS_BUCKET`	`urlscan-logs-bucket`	Name des GCS-Buckets
`GCS_PREFIX`	`urlscan/`	Präfix für Logdateien
`STATE_KEY`	`urlscan/state.json`	Pfad der Statusdatei
`API_KEY`	`your-urlscan-api-key`	URLScan IO-API-Schlüssel
`API_BASE`	`https://urlscan.io/api/v1`	API-Basis-URL
`SEARCH_QUERY`	`date:>now-1h`	Filter für Suchanfrage
`PAGE_SIZE`	`100`	Einträge pro Seite
`MAX_PAGES`	`10`	Maximale Anzahl der abzurufenden Seiten

Scrollen Sie im Bereich Variablen und Secrets nach unten zu Anfragen:
- Zeitüberschreitung bei Anfrage: Geben Sie 600 Sekunden (10 Minuten) ein.
Rufen Sie den Tab Einstellungen auf:
- Im Abschnitt Ressourcen:
  - Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
  - CPU: Wählen Sie 1 aus.
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie 0 ein.
- Maximale Anzahl von Instanzen: Geben Sie 100 ein oder passen Sie den Wert an die erwartete Last an.
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird der Inline-Code-Editor automatisch geöffnet.

Funktionscode hinzufügen

Geben Sie unter Funktionseinstiegspunkt den Wert main ein.

Erstellen Sie im Inline-Code-Editor zwei Dateien:

Erste Datei: main.py:

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timedelta, timezone
import time

# Initialize HTTP client with timeouts
http = urllib3.PoolManager(
    timeout=urllib3.Timeout(connect=5.0, read=30.0),
    retries=False,
)

# Initialize Storage client
storage_client = storage.Client()

# Environment variables
GCS_BUCKET = os.environ.get('GCS_BUCKET')
GCS_PREFIX = os.environ.get('GCS_PREFIX', 'urlscan/')
STATE_KEY = os.environ.get('STATE_KEY', 'urlscan/state.json')
API_KEY = os.environ.get('API_KEY')
API_BASE = os.environ.get('API_BASE', 'https://urlscan.io/api/v1')
SEARCH_QUERY = os.environ.get('SEARCH_QUERY', 'date:>now-1h')
PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
MAX_PAGES = int(os.environ.get('MAX_PAGES', '10'))

def parse_datetime(value: str) -> datetime:
    """Parse ISO datetime string to datetime object."""
    if value.endswith("Z"):
        value = value[:-1] + "+00:00"
    return datetime.fromisoformat(value)

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch URLScan IO results and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    if not all([GCS_BUCKET, API_KEY]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(GCS_BUCKET)

        # Load state
        state = load_state(bucket, STATE_KEY)
        last_run = state.get('last_run')

        # Adjust search query based on last run
        search_query = SEARCH_QUERY
        if last_run:
            try:
                search_time = parse_datetime(last_run)
                time_diff = datetime.now(timezone.utc) - search_time
                hours = int(time_diff.total_seconds() / 3600) + 1
                search_query = f'date:>now-{hours}h'
            except Exception as e:
                print(f'Warning: Could not parse last_run: {e}')

        print(f'Searching with query: {search_query}')

        # Fetch logs
        records, newest_event_time = fetch_logs(
            api_base=API_BASE,
            api_key=API_KEY,
            search_query=search_query,
            page_size=PAGE_SIZE,
            max_pages=MAX_PAGES,
        )

        if not records:
            print("No new log records found.")
            now = datetime.now(timezone.utc)
            save_state(bucket, STATE_KEY, now.isoformat())
            return

        # Write to GCS as NDJSON
        now = datetime.now(timezone.utc)
        file_key = f"{GCS_PREFIX}year={now.year}/month={now.month:02d}/day={now.day:02d}/hour={now.hour:02d}/urlscan_{now.strftime('%Y%m%d_%H%M%S')}.json"

        ndjson_content = '\n'.join([json.dumps(r, separators=(',', ':')) for r in records])

        blob = bucket.blob(file_key)
        blob.upload_from_string(
            ndjson_content,
            content_type='application/x-ndjson'
        )

        print(f"Uploaded {len(records)} results to gs://{GCS_BUCKET}/{file_key}")

        # Update state with newest event time
        if newest_event_time:
            save_state(bucket, STATE_KEY, newest_event_time)
        else:
            save_state(bucket, STATE_KEY, now.isoformat())

        print(f'Successfully processed {len(records)} scan results')

    except Exception as e:
        print(f'Error processing logs: {str(e)}')
        raise

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {}

def save_state(bucket, key, last_event_time_iso: str):
    """Save the last event timestamp to GCS state file."""
    try:
        state = {'last_run': last_event_time_iso}
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, indent=2),
            content_type='application/json'
        )
        print(f"Saved state: last_run={last_event_time_iso}")
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

def fetch_logs(api_base: str, api_key: str, search_query: str, page_size: int, max_pages: int):
    """
    Fetch logs from URLScan IO API with pagination and rate limiting.

    Args:
        api_base: API base URL
        api_key: URLScan IO API key
        search_query: Search query string
        page_size: Number of records per page
        max_pages: Maximum total pages to fetch

    Returns:
        Tuple of (records list, newest_event_time ISO string)
    """

    headers = {
        'API-Key': api_key,
        'Accept': 'application/json',
        'User-Agent': 'GoogleSecOps-URLScanCollector/1.0'
    }

    all_results = []
    newest_time = None
    page_num = 0
    backoff = 1.0
    offset = 0

    while page_num < max_pages:
        page_num += 1

        # Build search URL with pagination
        search_url = f"{api_base}/search/"
        params = [
            f"q={search_query}",
            f"size={page_size}",
            f"offset={offset}"
        ]
        url = f"{search_url}?{'&'.join(params)}"

        try:
            response = http.request('GET', url, headers=headers)

            # Handle rate limiting with exponential backoff
            if response.status == 429:
                retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                print(f"Rate limited (429). Retrying after {retry_after}s...")
                time.sleep(retry_after)
                backoff = min(backoff * 2, 30.0)
                continue

            backoff = 1.0

            if response.status != 200:
                print(f"Search failed: {response.status}")
                response_text = response.data.decode('utf-8')
                print(f"Response body: {response_text}")
                break

            search_data = json.loads(response.data.decode('utf-8'))
            results = search_data.get('results', [])

            if not results:
                print(f"No more results (empty page)")
                break

            print(f"Page {page_num}: Retrieved {len(results)} scan results")

            # Fetch full result for each scan
            for result in results:
                task = result.get('task', {})
                uuid = task.get('uuid')
                if uuid:
                    result_url = f"{api_base}/result/{uuid}/"

                    try:
                        result_response = http.request('GET', result_url, headers=headers)

                        # Handle rate limiting
                        if result_response.status == 429:
                            retry_after = int(result_response.headers.get('Retry-After', '5'))
                            print(f"Rate limited on result fetch. Retrying after {retry_after}s...")
                            time.sleep(retry_after)
                            result_response = http.request('GET', result_url, headers=headers)

                        if result_response.status == 200:
                            full_result = json.loads(result_response.data.decode('utf-8'))
                            all_results.append(full_result)

                            # Track newest event time
                            try:
                                event_time = task.get('time')
                                if event_time:
                                    if newest_time is None or parse_datetime(event_time) > parse_datetime(newest_time):
                                        newest_time = event_time
                            except Exception as e:
                                print(f"Warning: Could not parse event time: {e}")
                        else:
                            print(f"Failed to fetch result for {uuid}: {result_response.status}")
                    except Exception as e:
                        print(f"Error fetching result for {uuid}: {e}")

            # Check if we have more pages
            total = search_data.get('total', 0)
            if offset + len(results) >= total or len(results) < page_size:
                print(f"Reached last page (offset={offset}, results={len(results)}, total={total})")
                break

            offset += len(results)

        except Exception as e:
            print(f"Error fetching logs: {e}")
            return [], None

    print(f"Retrieved {len(all_results)} total records from {page_num} pages")
    return all_results, newest_time

Zweite Datei: requirements.txt:

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Hinweis: Bei der Konfiguration des Pub/Sub-Triggers werden automatisch die erforderlichen Abos und Berechtigungen erstellt.

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema, wodurch die Cloud Run-Funktion ausgelöst wird.

Rufen Sie in der GCP Console die Option Cloud Scheduler auf.
Klicken Sie auf Job erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Name	`urlscan-collector-hourly`
Region	Wählen Sie dieselbe Region wie für die Cloud Run-Funktion aus.
Frequenz	`0 * * * *` (stündlich zur vollen Stunde)
Zeitzone	Zeitzone auswählen (UTC empfohlen)
Zieltyp	Pub/Sub
Thema	Wählen Sie das Pub/Sub-Thema (`urlscan-logs-trigger`) aus.
Inhalt der Nachricht	`{}` (leeres JSON-Objekt)

Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

Häufigkeit	Cron-Ausdruck	Anwendungsfall
Alle 5 Minuten	`/5 * * *`	Hohes Volumen, niedrige Latenz
Alle 15 Minuten	`/15 * * *`	Mittleres Suchvolumen
Stündlich	`0 * * * *`	Standard (empfohlen)
Alle 6 Stunden	`0 /6 * *`	Batchverarbeitung mit geringem Volumen
Täglich	`0 0 * * *`	Erhebung von Verlaufsdaten

Integration testen

Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job (urlscan-collector-hourly).
Klicken Sie auf Ausführung erzwingen, um den Job manuell auszulösen.
Warte einige Sekunden.
Rufen Sie Cloud Run > Dienste auf.
Klicken Sie auf den Funktionsnamen (urlscan-collector).
Klicken Sie auf den Tab Logs.

Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:

Searching with query: date:>now-1h
Page 1: Retrieved X scan results
Uploaded X results to gs://bucket-name/urlscan/year=YYYY/month=MM/day=DD/hour=HH/urlscan_YYYYMMDD_HHMMSS.json
Successfully processed X scan results

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Rufen Sie den Präfixordner (urlscan/) auf.
Prüfen Sie, ob eine neue .json-Datei mit dem aktuellen Zeitstempel erstellt wurde.

Wenn Sie Fehler in den Logs sehen:

HTTP 401: API-Schlüssel in Umgebungsvariablen prüfen
HTTP 403: Prüfen Sie, ob der API-Schlüssel abgelaufen ist.
HTTP 429: Ratenbegrenzung – die Funktion wird automatisch mit Backoff wiederholt.
Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.
Suche fehlgeschlagen: Prüfen Sie, ob die Syntax der Suchanfrage korrekt ist.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E‑Mail-Adresse des Dienstkontos abrufen

Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. URLScan IO logs.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie URLScan IO als Logtyp aus.
Klicken Sie auf Dienstkonto abrufen. Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Kopieren Sie diese E-Mail-Adresse, um sie im nächsten Schritt zu verwenden.

Hinweis: Jede Google SecOps-Instanz hat ein eindeutiges Dienstkonto. Verwenden Sie keine Dienstkonten aus anderen Dokumentationen oder Beispielen.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
Klicken Sie auf Speichern.

Hinweis: Wenn Sie die Löschoption „Übertragene Dateien löschen“ oder „Übertragene Dateien und leere Verzeichnisse löschen“ verwenden möchten, weisen Sie die Rolle Storage Object Admin anstelle von „Storage Object Viewer“ zu.

Feed in Google SecOps konfigurieren, um URLScan IO-Logs aufzunehmen

Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. URLScan IO logs.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie URLScan IO als Logtyp aus.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
- Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
```
gs://urlscan-logs-bucket/urlscan/
```
  - Ersetzen Sie:
    - urlscan-logs-bucket: Der Name Ihres GCS-Buckets.
    - urlscan/: Optionaler Präfix-/Ordnerpfad, in dem Logs gespeichert werden (leer lassen für Stammverzeichnis).
      
      Beispiele:
      - Root-Bucket: gs://urlscan-logs-bucket/
      - Mit Präfix: gs://urlscan-logs-bucket/urlscan/
  Hinweis: Fügen Sie am Ende des URI immer einen abschließenden Schrägstrich (/) ein.
- Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
  - Nie: Nach Übertragungen werden keine Dateien gelöscht (empfohlen für Tests).
  - Übertragene Dateien löschen: Dateien werden nach erfolgreicher Übertragung gelöscht.
  - Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.
    
    Hinweis: Wenn Sie eine Löschoption auswählen, muss das Dienstkonto die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ haben. Aktualisieren Sie die IAM-Berechtigungen entsprechend.
- Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
- Asset-Namespace: Der Asset-Namespace.
- Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Logfeld	UDM-Zuordnung	Logik
`_additional`	`additional`	Umbenannt/zugeordnet
`has_principal`	`metadata.event_type`	Zugeordnet: `true` → `NETWORK_CONNECTION`, `true` → `STATUS_UPDATE`
`_network`	`network`	Umbenannt/zugeordnet
`_principal`	`principal`	Umbenannt/zugeordnet
`_target`	`target`	Umbenannt/zugeordnet
–	`metadata.event_type`	Konstante: `GENERIC_EVENT`
–	`metadata.product_name`	Konstante: `URLSCAN.IO`
–	`metadata.vendor_name`	Konstante: `URLSCAN.IO`

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten