Team Cymru Scout Threat Intelligence-Logs erfassen

Unterstützt in:

Google SecOps SIEM

In diesem Dokument wird beschrieben, wie Sie Team Cymru Scout Threat Intelligence-Daten mit Google Cloud Storage in Google Security Operations aufnehmen. Team Cymru Scout bietet Threat Intelligence-Daten, einschließlich Messwerten zur Kontonutzung, Abfragelimits und Statistiken zu Foundation-Abfragen, damit Unternehmen ihren Sicherheitsstatus und den Verbrauch von Threat Intelligence-Daten im Blick behalten können.

Hinweis

Prüfen Sie, ob die folgenden Voraussetzungen erfüllt sind:

Eine Google SecOps-Instanz
Ein GCP-Projekt mit aktivierter Cloud Storage API
Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
Privilegierter Zugriff auf den Team Cymru Scout-Mandanten

Google Cloud Storage-Bucket erstellen

Rufen Sie die Google Cloud Console auf.
Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
Klicken Sie auf Bucket erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Bucket benennen	Geben Sie einen global eindeutigen Namen ein, z. B. `team-cymru-scout-ti`.
Standorttyp	Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region).
Standort	Wählen Sie den Speicherort aus, z. B. `us-central1`.
Speicherklasse	Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
Zugriffssteuerung	Einheitlich (empfohlen)
Schutzmaßnahmen	Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

Klicken Sie auf Erstellen.

Team Cymru Scout API-Anmeldedaten erfassen

Melden Sie sich in der Team Cymru Scout Platform an.
Rufen Sie die Seite API-Schlüssel auf.
Klicken Sie auf Erstellen.
Geben Sie bei Bedarf eine Beschreibung für den Schlüssel an.
Klicken Sie auf die Schaltfläche Schlüssel erstellen, um den API-Schlüssel zu generieren.
Kopieren Sie die folgenden Details und speichern Sie sie an einem sicheren Ort:
- SCOUT_API_TOKEN: API-Zugriffstoken
- SCOUT_BASE_URL: Scout API-Basis-URL (in der Regel https://scout.cymru.com)
Hinweis :Das API-Token wird von der Cloud Run-Funktion verwendet, um sich mit dem Headerformat Authorization: Token <api_token> bei der Team Cymru Scout API zu authentifizieren. Team Cymru Scout unterstützt auch die Basisauthentifizierung mit Nutzername/Passwort als Alternative zur Token-Authentifizierung, aber diese Integration verwendet die Token-Authentifizierung.

API-Zugriff testen

Testen Sie Ihre Anmeldedaten, bevor Sie mit der Integration fortfahren:

# Replace with your actual credentials
SCOUT_API_TOKEN="your-api-token"
SCOUT_BASE_URL="https://scout.cymru.com"

# Test API access to usage endpoint
curl -v --request GET \
  --url "${SCOUT_BASE_URL}/api/scout/usage" \
  --header "Authorization: Token ${SCOUT_API_TOKEN}"

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket.

Dienstkonto erstellen

Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
Klicken Sie auf Dienstkonto erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Name des Dienstkontos: Geben Sie team-cymru-scout-ti-sa ein.
- Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Team Cymru Scout Threat Intelligence data ein.
Klicken Sie auf Erstellen und fortfahren.
Im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen:
1. Klicken Sie auf Rolle auswählen.
2. Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
3. Klicken Sie auf + Weitere Rolle hinzufügen.
4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
5. Klicken Sie auf + Weitere Rolle hinzufügen.
6. Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
Klicken Sie auf Weiter.
Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket erteilen

Gewähren Sie dem Dienstkonto Schreibberechtigungen für den GCS-Bucket:

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. team-cymru-scout-ti-sa@PROJECT_ID.iam.gserviceaccount.com).
- Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.

Rufen Sie in der GCP Console Pub/Sub > Themen auf.
Klicken Sie auf Thema erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
- Themen-ID: Geben Sie team-cymru-scout-ti-trigger ein.
- Übernehmen Sie die anderen Einstellungen.
Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Threat Intelligence-Daten erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Threat Intelligence-Daten von der Team Cymru Scout API abzurufen und in GCS zu schreiben.

Rufen Sie in der GCP Console Cloud Run auf.
Klicken Sie auf Dienst erstellen.
Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.

Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

Einstellung	Wert
Dienstname	`team-cymru-scout-ti-collector`
Region	Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. `us-central1`).
Laufzeit	Wählen Sie Python 3.12 oder höher aus.

Im Abschnitt Trigger (optional):
1. Klicken Sie auf + Trigger hinzufügen.
2. Wählen Sie Cloud Pub/Sub aus.
3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Thema team-cymru-scout-ti-trigger aus.
4. Klicken Sie auf Speichern.
Im Abschnitt Authentifizierung:
1. Wählen Sie Authentifizierung erforderlich aus.
2. Identitäts- und Zugriffsverwaltung
Hinweis: Pub/Sub übernimmt die Authentifizierung beim Aufrufen der Funktion automatisch.
Scrollen Sie nach unten und maximieren Sie Container, Netzwerk, Sicherheit.
Rufen Sie den Tab Sicherheit auf:
- Dienstkonto: Wählen Sie das Dienstkonto team-cymru-scout-ti-sa aus.

Rufen Sie den Tab Container auf:

Klicken Sie auf Variablen und Secrets.
Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:

Variablenname	Beispielwert
`GCS_BUCKET`	`team-cymru-scout-ti`
`GCS_PREFIX`	`team-cymru/scout-ti/`
`STATE_KEY`	`team-cymru/scout-ti/state.json`
`SCOUT_BASE_URL`	`https://scout.cymru.com`
`SCOUT_API_TOKEN`	`your-scout-api-token`
`COLLECTION_INTERVAL_HOURS`	`1`
`HTTP_TIMEOUT`	`60`
`HTTP_RETRIES`	`3`

Scrollen Sie auf dem Tab Variablen und Secrets nach unten zu Anfragen:
- Zeitlimit für Anfragen: Geben Sie 600 Sekunden (10 Minuten) ein.
Rufen Sie den Tab Einstellungen unter Container auf:
- Im Abschnitt Ressourcen:
  - Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
  - CPU: Wählen Sie 1 aus.
- Klicken Sie auf Fertig.
Scrollen Sie nach unten zu Ausführungsumgebung:
- Wählen Sie Standard aus (empfohlen).
Im Abschnitt Versionsskalierung:
- Mindestanzahl von Instanzen: Geben Sie 0 ein.
- Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).
Klicken Sie auf Erstellen.
Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.
Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.

Funktionscode hinzufügen

Geben Sie main unter Funktionseinstiegspunkt ein.

Erstellen Sie im Inline-Codeeditor zwei Dateien:

Erste Datei: main.py::

import functions_framework
from google.cloud import storage
import json
import os
import urllib3
from datetime import datetime, timezone
import time

# Initialize HTTP client
http = urllib3.PoolManager()

# Initialize Storage client
storage_client = storage.Client()

@functions_framework.cloud_event
def main(cloud_event):
    """
    Cloud Run function triggered by Pub/Sub to fetch usage data from Team Cymru Scout API and write to GCS.

    Args:
        cloud_event: CloudEvent object containing Pub/Sub message
    """

    # Get environment variables
    bucket_name = os.environ.get('GCS_BUCKET')
    prefix = os.environ.get('GCS_PREFIX', 'team-cymru/scout-ti/')
    state_key = os.environ.get('STATE_KEY', 'team-cymru/scout-ti/state.json')
    collection_interval_hours = int(os.environ.get('COLLECTION_INTERVAL_HOURS', '1'))
    http_timeout = int(os.environ.get('HTTP_TIMEOUT', '60'))
    http_retries = int(os.environ.get('HTTP_RETRIES', '3'))

    # Team Cymru Scout API credentials
    scout_base_url = os.environ.get('SCOUT_BASE_URL', 'https://scout.cymru.com')
    scout_api_token = os.environ.get('SCOUT_API_TOKEN')

    if not all([bucket_name, scout_api_token]):
        print('Error: Missing required environment variables')
        return

    try:
        # Get GCS bucket
        bucket = storage_client.bucket(bucket_name)

        # Load state (last collection timestamp)
        state = load_state(bucket, state_key)
        now = time.time()
        last_collection = state.get('last_collection_ts', now - (collection_interval_hours * 3600))

        print(f'Collecting usage data at {iso_format(now)} (last collection: {iso_format(last_collection)})')

        # Fetch usage data from Team Cymru Scout API
        usage_data = fetch_usage_data(
            scout_base_url, 
            scout_api_token, 
            http_timeout,
            http_retries
        )

        if usage_data:
            # Add timestamp and event type
            usage_data['event_type'] = 'account_usage'
            usage_data['collection_timestamp'] = iso_format(now)

            # Write to GCS
            write_to_gcs(bucket, prefix, usage_data, now)

            # Update state
            save_state(bucket, state_key, {'last_collection_ts': now})

            print(f'Successfully collected and stored usage data')
        else:
            print('No usage data retrieved')

    except Exception as e:
        print(f'Error processing usage data: {str(e)}')
        raise

def iso_format(ts):
    """Convert Unix timestamp to ISO 8601 format."""
    return time.strftime('%Y-%m-%dT%H:%M:%SZ', time.gmtime(ts))

def load_state(bucket, key):
    """Load state from GCS."""
    try:
        blob = bucket.blob(key)
        if blob.exists():
            state_data = blob.download_as_text()
            return json.loads(state_data)
    except Exception as e:
        print(f'Warning: Could not load state: {str(e)}')
    return {}

def save_state(bucket, key, state):
    """Save state to GCS."""
    try:
        blob = bucket.blob(key)
        blob.upload_from_string(
            json.dumps(state, separators=(',', ':')),
            content_type='application/json'
        )
    except Exception as e:
        print(f'Warning: Could not save state: {str(e)}')

def http_request(url, method='GET', body=None, headers=None, timeout=60, retries=3):
    """Make HTTP request with retry logic."""
    attempt = 0
    while True:
        try:
            req_headers = headers or {}
            if body is not None:
                req_headers['Content-Type'] = 'application/json'
                body_bytes = body.encode('utf-8') if isinstance(body, str) else body
            else:
                body_bytes = None

            response = http.request(
                method,
                url,
                body=body_bytes,
                headers=req_headers,
                timeout=timeout
            )

            if response.status == 200:
                return response.data, response.headers.get('Content-Type', 'application/json')
            elif response.status in (429, 500, 502, 503, 504) and attempt < retries:
                delay = 1 + attempt
                retry_after = response.headers.get('Retry-After')
                if retry_after:
                    try:
                        delay = int(retry_after)
                    except:
                        pass
                time.sleep(max(1, delay))
                attempt += 1
                continue
            else:
                raise Exception(f'HTTP {response.status}: {response.data.decode("utf-8")}')
        except urllib3.exceptions.HTTPError as e:
            if attempt < retries:
                time.sleep(1 + attempt)
                attempt += 1
                continue
            raise

def fetch_usage_data(base_url, api_token, timeout, retries):
    """
    Fetch usage data from Team Cymru Scout API.

    Implementation mirrors the official Scout API example:
    curl --request GET --url 'https://scout.cymru.com/api/scout/usage' --header 'Authorization: Token valid_api_token'
    """
    # Use the documented /api/scout/usage endpoint
    url = f'{base_url}/api/scout/usage'

    # Use Token authentication as documented
    headers = {
        'Authorization': f'Token {api_token}',
        'Accept': 'application/json'
    }

    print(f'Fetching usage data from {url}')

    try:
        # Fetch data
        blob_data, content_type = http_request(url, method='GET', headers=headers, timeout=timeout, retries=retries)

        # Parse response
        usage_data = json.loads(blob_data.decode('utf-8'))

        print(f'Retrieved usage data: used_queries={usage_data.get("used_queries")}, query_limit={usage_data.get("query_limit")}')

        return usage_data

    except Exception as e:
        print(f'Error fetching usage data: {e}')
        return None

def write_to_gcs(bucket, prefix, data, timestamp):
    """Write data to GCS."""
    # Create date-based path
    date_path = time.strftime('%Y/%m/%d', time.gmtime(timestamp))
    key = f'{prefix}{date_path}/usage_{int(timestamp)}.json'

    # Write as JSON
    blob = bucket.blob(key)
    blob.upload_from_string(
        json.dumps(data, separators=(',', ':')),
        content_type='application/json'
    )
    print(f'Wrote data to gs://{bucket.name}/{key}')

Zweite Datei: requirements.txt::

functions-framework==3.*
google-cloud-storage==2.*
urllib3>=2.0.0

Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.
Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Hinweis :Bei der Konfiguration des Pub/Sub-Triggers werden automatisch die erforderlichen Abos und Berechtigungen erstellt. Bei dieser Implementierung wird der dokumentierte Team Cymru Scout API-Endpunkt /api/scout/usage mit Authorization: Token <api_token>-Authentifizierung verwendet, wie in der offiziellen Scout API-Dokumentation beschrieben.

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

Rufen Sie in der GCP Console Cloud Scheduler auf.
Klicken Sie auf Job erstellen.

Geben Sie die folgenden Konfigurationsdetails an:

Einstellung	Wert
Name	`team-cymru-scout-ti-hourly`
Region	Dieselbe Region wie für die Cloud Run-Funktion auswählen
Frequenz	`0 * * * *` (jede Stunde, zur vollen Stunde)
Zeitzone	Zeitzone auswählen (UTC empfohlen)
Zieltyp	Pub/Sub
Thema	Wählen Sie das Thema `team-cymru-scout-ti-trigger` aus.
Nachrichtentext	`{}` (leeres JSON-Objekt)

Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

Wählen Sie die Häufigkeit basierend auf dem Datenvolumen und den Latenzanforderungen aus:

Häufigkeit	Cron-Ausdruck	Anwendungsfall
Alle 5 Minuten	`/5 * * *`	Hochfrequenz-Monitoring
Alle 15 Minuten	`/15 * * *`	Mittlere Häufigkeit
Stündlich	`0 * * * *`	Standard (empfohlen)
Alle 6 Stunden	`0 /6 * *`	Niedrige Häufigkeit
Täglich	`0 0 * * *`	Tägliches Nutzungs-Tracking

Scheduler-Job testen

Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job.
Klicken Sie auf Force run (Ausführung erzwingen), um die Ausführung manuell auszulösen.
Warten Sie einige Sekunden und rufen Sie Cloud Run > Dienste > team-cymru-scout-ti-collector > Logs auf.
Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde.
Prüfen Sie im GCS-Bucket, ob Nutzungsdaten geschrieben wurden.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E-Mail-Adresse des Dienstkontos abrufen

Rufen Sie die SIEM-Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Team Cymru Scout Threat Intelligence.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie Team Cymru Scout Threat Intelligence als Log type (Protokolltyp) aus.
Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:
```
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
```
Kopieren Sie diese E‑Mail-Adresse für den nächsten Schritt.

Hinweis :Jede Google SecOps-Instanz hat ein eindeutiges Dienstkonto. Verwenden Sie keine Dienstkonten aus anderer Dokumentation oder anderen Beispielen.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

Rufen Sie Cloud Storage > Buckets auf.
Klicken Sie auf den Namen Ihres Buckets.
Wechseln Sie zum Tab Berechtigungen.
Klicken Sie auf Zugriff erlauben.
Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
Klicken Sie auf Speichern.

Hinweis: Wenn Sie die Löschoption „Übertragene Dateien löschen“ oder „Übertragene Dateien und leere Verzeichnisse löschen“ verwenden möchten, weisen Sie die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ zu.

Feed in Google SecOps konfigurieren, um Daten aus Team Cymru Scout Threat Intelligence aufzunehmen

Rufen Sie die SIEM-Einstellungen > Feeds auf.
Klicken Sie auf Neuen Feed hinzufügen.
Klicken Sie auf Einzelnen Feed konfigurieren.
Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Team Cymru Scout Threat Intelligence.
Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie Team Cymru Scout Threat Intelligence als Log type (Protokolltyp) aus.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
- Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
```
gs://team-cymru-scout-ti/team-cymru/scout-ti/
```
  - Ersetzen Sie:
    - team-cymru-scout-ti: Der Name Ihres GCS-Buckets.
    - team-cymru/scout-ti/: Präfix/Ordnerpfad, in dem Logs gespeichert werden.
  Hinweis :Fügen Sie immer den Schrägstrich (/) am Ende des URI ein.
- Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
  - Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
  - Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
  - Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.
    
    Hinweis :Wenn Sie eine Löschoption auswählen, muss das Dienstkonto die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ haben. Aktualisieren Sie die IAM-Berechtigungen entsprechend.
- Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
- Asset-Namespace: Der Asset-Namespace.
- Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten