Team Cymru Scout Threat Intelligence-Daten erfassen

Unterstützt in:

Google SecOps SIEM

Hinweis: Dieses Feature unterliegt den Bedingungen des Pre-GA-Angebots in den dienstspezifischen Nutzungsbedingungen für Google Security Operations. Pre-GA-Features werden eventuell nur eingeschränkt unterstützt und Änderungen an diesen Features sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie in den Richtlinien für den technischen Support von Google SecOps und den dienstspezifischen Nutzungsbedingungen für Google SecOps.

In diesem Dokument wird beschrieben, wie Sie Team Cymru Scout Threat Intelligence-Daten mit Amazon S3 in Google Security Operations aufnehmen.

Hinweise

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

• Eine Google SecOps-Instanz
• Privilegierter Zugriff auf den Team Cymru Scout-Mandanten
• Privilegierter Zugriff auf AWS (S3, IAM, Lambda, EventBridge)

Voraussetzungen für Team Cymru Scout

1. Melden Sie sich in der Team Cymru Scout Platform an.
2. Rufen Sie die Webseite für API-Schlüssel auf.
3. Klicken Sie auf Erstellen.
4. Geben Sie bei Bedarf die Beschreibung für den Schlüssel an.
5. Klicken Sie auf die Schaltfläche Schlüssel erstellen, um den API-Schlüssel zu generieren.
6. Kopieren und speichern Sie die folgenden Details an einem sicheren Ort:
   • SCOUT_API_KEY: API-Zugriffsschlüssel
   • SCOUT_BASE_URL: Basis-URL der Scout API

AWS S3-Bucket und IAM für Google SecOps konfigurieren

1. Erstellen Sie einen Amazon S3-Bucket. Folgen Sie dazu der Anleitung unter Bucket erstellen.
2. Speichern Sie den Namen und die Region des Buckets zur späteren Verwendung (z. B. team-cymru-scout-ti).
3. Erstellen Sie einen Nutzer gemäß dieser Anleitung: IAM-Nutzer erstellen.
4. Wählen Sie den erstellten Nutzer aus.
5. Wählen Sie den Tab Sicherheitsanmeldedaten aus.
6. Klicken Sie im Abschnitt Zugriffsschlüssel auf Zugriffsschlüssel erstellen.
7. Wählen Sie Drittanbieterdienst als Anwendungsfall aus.
8. Klicken Sie auf Weiter.
9. Optional: Fügen Sie ein Beschreibungstag hinzu.
10. Klicken Sie auf Zugriffsschlüssel erstellen.
11. Klicken Sie auf CSV-Datei herunterladen, um den Access Key (Zugriffsschlüssel) und den Secret Access Key (geheimer Zugriffsschlüssel) für die zukünftige Verwendung zu speichern.
12. Klicken Sie auf Fertig.
13. Wählen Sie den Tab Berechtigungen aus.
14. Klicken Sie im Bereich Berechtigungsrichtlinien auf Berechtigungen hinzufügen.
15. Wählen Sie Berechtigungen hinzufügen aus.
16. Wählen Sie Richtlinien direkt anhängen aus.
17. Suchen Sie nach der Richtlinie AmazonS3FullAccess.
18. Wählen Sie die Richtlinie aus.
19. Klicken Sie auf Weiter.
20. Klicken Sie auf Berechtigungen hinzufügen.

IAM-Richtlinie und ‑Rolle für S3-Uploads konfigurieren

1. Rufen Sie in der AWS-Konsole IAM > Richtlinien auf.
2. Klicken Sie auf Richtlinie erstellen> Tab „JSON“.

3. Geben Sie die folgende Richtlinie ein:

   {
   "Version": "2012-10-17",
   "Statement": [
       {
       "Sid": "AllowPutObjects",
       "Effect": "Allow",
       "Action": "s3:PutObject",
       "Resource": "arn:aws:s3:::team-cymru-scout-ti/*"
       },
       {
       "Sid": "AllowGetStateObject",
       "Effect": "Allow",
       "Action": "s3:GetObject",
       "Resource": "arn:aws:s3:::team-cymru-scout-ti/team-cymru/scout-ti/state.json"
       }
   ]
   }
   

   • Ersetzen Sie team-cymru-scout-ti, wenn Sie einen anderen Bucket-Namen eingegeben haben.

4. Klicken Sie auf Weiter > Richtlinie erstellen.

5. Rufen Sie IAM > Rollen > Rolle erstellen > AWS-Service > Lambda auf.

6. Hängen Sie die neu erstellte Richtlinie an.

7. Geben Sie der Rolle den Namen TeamCymruScoutToS3Role und klicken Sie auf Rolle erstellen.

Lambda-Funktion erstellen

1. Rufen Sie in der AWS Console Lambda > Funktionen > Funktion erstellen auf.
2. Klicken Sie auf Von Grund auf erstellen.

3. Geben Sie die folgenden Konfigurationsdetails an:

   Einstellung	Wert
   Name	team_cymru_scout_ti_to_s3
   Laufzeit	Python 3.13
   Architektur	x86_64
   Ausführungsrolle	TeamCymruScoutToS3Role

4. Nachdem die Funktion erstellt wurde, öffnen Sie den Tab Code, löschen Sie den Stub und geben Sie den folgenden Code ein (team_cymru_scout_ti_to_s3.py):

   ```python
   #!/usr/bin/env python3
   # Lambda: Pull Team Cymru Scout Threat Intelligence exports to S3 (no transform)
   
   import os, json, time
   from urllib.request import Request, urlopen
   from urllib.error import HTTPError, URLError
   import boto3
   
   S3_BUCKET    = os.environ["S3_BUCKET"]
   S3_PREFIX    = os.environ.get("S3_PREFIX", "team-cymru/scout-ti/")
   STATE_KEY    = os.environ.get("STATE_KEY", "team-cymru/scout-ti/state.json")
   WINDOW_SEC   = int(os.environ.get("WINDOW_SECONDS", "3600"))
   HTTP_TIMEOUT = int(os.environ.get("HTTP_TIMEOUT", "60"))
   HTTP_RETRIES = int(os.environ.get("HTTP_RETRIES", "3"))
   MODE         = os.environ.get("MODE", "GET").upper()
   API_HEADERS  = json.loads(os.environ.get("API_HEADERS", "{}"))
   MAX_PAGES    = int(os.environ.get("MAX_PAGES", "10"))
   
   # GET mode
   DOWNLOAD_URL_TEMPLATE = os.environ.get("DOWNLOAD_URL_TEMPLATE", "")
   # POST_JSON mode
   API_URL            = os.environ.get("API_URL", "")
   JSON_BODY_TEMPLATE = os.environ.get("JSON_BODY_TEMPLATE", "")
   
   # Team Cymru Scout specific
   SCOUT_BASE_URL = os.environ.get("SCOUT_BASE_URL", "https://api.scout.cymru.com")
   SCOUT_API_KEY  = os.environ.get("SCOUT_API_KEY", "")
   
   s3 = boto3.client("s3")
   
   def _iso(ts: float) -> str:
       return time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime(ts))
   
   def _get_state() -> dict:
       try:
           obj = s3.get_object(Bucket=S3_BUCKET, Key=STATE_KEY)
           b = obj["Body"].read()
           return json.loads(b) if b else {}
       except Exception:
           return {}
   
   def _put_state(st: dict):
       s3.put_object(
           Bucket=S3_BUCKET, Key=STATE_KEY,
           Body=json.dumps(st, separators=(",", ":")).encode("utf-8"),
           ContentType="application/json",
       )
   
   def _http(url: str, method: str = "GET", body: bytes | None = None) -> tuple[bytes, str]:
       attempt = 0
       while True:
           try:
               req = Request(url, method=method)
               # Add headers
               headers = API_HEADERS.copy()
               if SCOUT_API_KEY and "Authorization" not in headers:
                   headers["Authorization"] = f"Bearer {SCOUT_API_KEY}"
               headers.setdefault("Accept", "application/json")
   
               for k, v in headers.items():
                   req.add_header(k, v)
   
               if body is not None:
                   req.add_header("Content-Type", "application/json")
   
               with urlopen(req, data=body, timeout=HTTP_TIMEOUT) as r:
                   return r.read(), r.headers.get("Content-Type", "application/json")
           except HTTPError as e:
               if e.code in (429, 500, 502, 503, 504) and attempt < HTTP_RETRIES:
                   delay = 1 + attempt
                   try:
                       delay = int(e.headers.get("Retry-After", delay))
                   except Exception:
                       pass
                   time.sleep(max(1, delay))
                   attempt += 1
                   continue
               raise
           except URLError:
               if attempt < HTTP_RETRIES:
                   time.sleep(1 + attempt)
                   attempt += 1
                   continue
               raise
   
   def _write(blob: bytes, ctype: str, from_ts: float, to_ts: float, page: int) -> str:
       date_path = time.strftime("%Y/%m/%d", time.gmtime(to_ts))
       key = f"{S3_PREFIX}/{date_path}/scout_ti_{int(from_ts)}_{int(to_ts)}_p{page:03d}.json"
       s3.put_object(Bucket=S3_BUCKET, Key=key, Body=blob, ContentType=ctype or "application/json")
       return key
   
   def _next_cursor(obj: dict) -> str | None:
       if not isinstance(obj, dict):
           return None
   
       for container in (obj, obj.get("meta", {}) or {}, obj.get("metadata", {}) or {}):
           for k in ("next", "next_cursor", "nextCursor", "nextPageToken", "continuation", "cursor", "pagedResultsCookie"):
               v = container.get(k)
               if v:
                   return str(v)
       return None
   
   def _loop(from_ts: float, to_ts: float) -> dict:
       cursor, page, written = None, 0, 0
   
       while page < MAX_PAGES:
           if MODE == "GET":
               if DOWNLOAD_URL_TEMPLATE:
                   url = (DOWNLOAD_URL_TEMPLATE
                       .replace("{FROM}", _iso(from_ts))
                       .replace("{TO}", _iso(to_ts))
                       .replace("{CURSOR}", cursor or ""))
               else:
                   # Default Scout API endpoint (adjust based on actual API)
                   url = f"{SCOUT_BASE_URL}/v1/threat-intelligence?start={_iso(from_ts)}&end={_iso(to_ts)}"
                   if cursor:
                       url += f"&cursor={cursor}"
               blob, ctype = _http(url, method="GET")
           else:
               assert API_URL and JSON_BODY_TEMPLATE, "API_URL and JSON_BODY_TEMPLATE required for MODE=POST_JSON"
               body = (JSON_BODY_TEMPLATE
                       .replace("{FROM}", _iso(from_ts))
                       .replace("{TO}", _iso(to_ts))
                       .replace("{CURSOR}", cursor or "")).encode("utf-8")
               blob, ctype = _http(API_URL, method="POST", body=body)
   
           # Normalize to JSON bytes for storage
           try:
               parsed = json.loads(blob.decode("utf-8"))
               normalized = json.dumps(parsed, separators=(",", ":")).encode("utf-8")
               ctype_out = "application/json"
           except Exception:
               normalized = blob
               ctype_out = ctype or "application/octet-stream"
   
           _ = _write(normalized, ctype_out, from_ts, to_ts, page)
           written += 1
           page += 1
   
           # Follow cursor if JSON and cursor exists
           try:
               if parsed and isinstance(parsed, dict):
                   cursor = _next_cursor(parsed)
               if not cursor:
                   break
           except Exception:
               break
   
       return {"pages": page, "objects": written}
   
   def lambda_handler(event=None, context=None):
       st = _get_state()
       now = time.time()
       from_ts = st.get("last_to_ts") or (now - WINDOW_SEC)
       to_ts = now
       res = _loop(from_ts, to_ts)
       st["last_to_ts"] = to_ts
       _put_state(st)
       return {"ok": True, "window": {"from": _iso(from_ts), "to": _iso(to_ts)}, **res}
   
   if __name__ == "__main__":
       print(lambda_handler())
   ```
   

5. Rufen Sie Konfiguration > Umgebungsvariablen auf.

6. Klicken Sie auf Bearbeiten> Neue Umgebungsvariable hinzufügen.

7. Geben Sie die folgenden Umgebungsvariablen ein und ersetzen Sie die Platzhalter durch Ihre Werte.

   Schlüssel	Beispielwert
   S3_BUCKET	team-cymru-scout-ti
   S3_PREFIX	team-cymru/scout-ti/
   STATE_KEY	team-cymru/scout-ti/state.json
   SCOUT_BASE_URL	https://api.scout.cymru.com
   SCOUT_API_KEY	your-scout-api-key
   WINDOW_SECONDS	3600
   HTTP_TIMEOUT	60
   HTTP_RETRIES	3
   MODE	GET oder POST_JSON
   API_HEADERS	{"Authorization":"Bearer <token>","Accept":"application/json"}
   DOWNLOAD_URL_TEMPLATE	(GET-Modus) Benutzerdefinierte URL-Vorlage mit {FROM}, {TO}, {CURSOR}
   API_URL	API-Endpunkt-URL (POST_JSON-Modus)
   JSON_BODY_TEMPLATE	(POST_JSON-Modus) JSON-Body mit {FROM}, {TO}, {CURSOR}
   MAX_PAGES	10

8. Bleiben Sie nach dem Erstellen der Funktion auf der zugehörigen Seite oder öffnen Sie Lambda > Funktionen > Ihre Funktion.

9. Wählen Sie den Tab Konfiguration aus.

10. Klicken Sie im Bereich Allgemeine Konfiguration auf Bearbeiten.

11. Ändern Sie Zeitlimit in 5 Minuten (300 Sekunden) und klicken Sie auf Speichern.

    Hinweis :Das Zeitlimit ist eine harte Obergrenze. Wenn die Funktion also noch ausgeführt wird, wenn der Timer 5 Minuten erreicht, wird sie von AWS Lambda beendet. Kürzere Ausführungen werden einfach normal beendet. Ihnen wird nur die tatsächliche Laufzeit in Rechnung gestellt.

EventBridge-Zeitplan erstellen

1. Gehen Sie zu Amazon EventBridge > Scheduler > Create schedule (Amazon EventBridge > Scheduler > Zeitplan erstellen).
2. Geben Sie die folgenden Konfigurationsdetails an:
   • Wiederkehrender Zeitplan: Preis (1 hour).
   • Ziel: Ihre Lambda-Funktion team_cymru_scout_ti_to_s3.
   • Name: team-cymru-scout-ti-1h.
3. Klicken Sie auf Zeitplan erstellen.

Optional: IAM-Nutzer mit Lesezugriff und Schlüssel für Google SecOps erstellen

1. Rufen Sie die AWS-Konsole > IAM > Nutzer > Nutzer hinzufügen auf.
2. Klicken Sie auf Add users (Nutzer hinzufügen).
3. Geben Sie die folgenden Konfigurationsdetails an:
   • Nutzer: Geben Sie secops-reader ein.
   • Zugriffstyp: Wählen Sie Zugriffsschlüssel – programmatischer Zugriff aus.
4. Klicken Sie auf Nutzer erstellen.
5. Minimale Leseberechtigung (benutzerdefiniert) anhängen: Nutzer > secops-reader > Berechtigungen > Berechtigungen hinzufügen > Richtlinien direkt anhängen > Richtlinie erstellen.

6. Geben Sie im JSON-Editor die folgende Richtlinie ein:

   {
   "Version": "2012-10-17",
   "Statement": [
       {
       "Effect": "Allow",
       "Action": ["s3:GetObject"],
       "Resource": "arn:aws:s3:::team-cymru-scout-ti/*"
       },
       {
       "Effect": "Allow",
       "Action": ["s3:ListBucket"],
       "Resource": "arn:aws:s3:::team-cymru-scout-ti"
       }
   ]
   }
   

7. Legen Sie secops-reader-policy als Name fest.

8. Gehen Sie zu Richtlinie erstellen > suchen/auswählen > Weiter > Berechtigungen hinzufügen.

9. Rufen Sie Sicherheitsanmeldedaten > Zugriffsschlüssel > Zugriffsschlüssel erstellen auf.

10. Laden Sie die CSV herunter (diese Werte werden in den Feed eingegeben).

Feed in Google SecOps konfigurieren, um Team Cymru Scout Threat Intelligence aufzunehmen

1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
2. Klicken Sie auf Neuen Feed hinzufügen.
3. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Team Cymru Scout Threat Intelligence.
4. Wählen Sie Amazon S3 V2 als Quelltyp aus.
5. Wählen Sie Team Cymru Scout Threat Intelligence als Log type (Protokolltyp) aus.
6. Klicken Sie auf Weiter.
7. Geben Sie Werte für die folgenden Eingabeparameter an:
   • S3-URI: s3://team-cymru-scout-ti/team-cymru/scout-ti/
   • Optionen zum Löschen von Quellen: Wählen Sie die gewünschte Option zum Löschen aus.
   • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
   • Zugriffsschlüssel-ID: Der Nutzerzugriffsschlüssel mit Zugriff auf den S3-Bucket.
   • Geheimer Zugriffsschlüssel: Der geheime Schlüssel des Nutzers mit Zugriff auf den S3-Bucket.
   • Asset-Namespace: Der Asset-Namespace.
   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet wird.
8. Klicken Sie auf Weiter.
9. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

Unterstützte Logformate für Team Cymru Scout Threat Intelligence

Der Team Cymru Scout Threat Intelligence-Parser unterstützt Protokolle im KV- (LEEF) und CSV-Format.

Unterstützte Team Cymru Scout Threat Intelligence-Beispiellogs

• JSON

  {
    "account_name": "dummy_secops_user",
    "account_type": "basic_auth",
    "used_queries": 1414,
    "remaining_queries": 48586,
    "used_queries_percentage": 2.828,
    "query_limit": 50000,
    "used_foundation_queries": 4224,
    "remaining_foundation_queries": 5776,
    "foundation_query_limit": 10000,
    "used_foundation_queries_percentage": 42.24,
    "event_type": "account_usage"
  }
  

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten