Fastly CDN-Logs erfassen
Parserversion: 2.0
In diesem Dokument wird beschrieben, wie Sie Fastly CDN-Logs mit Amazon S3 in Google Security Operations aufnehmen.
Fastly ist ein Content Delivery Network (CDN) und eine Edge-Cloud-Plattform, die Echtzeit-Inhaltsbereitstellung, Sicherheit und Edge-Computing-Dienste bietet. Mit der Funktion „Real-Time Log Streaming“ von Fastly können CDN-Zugriffslogs, WAF-Ereignisse und andere Telemetriedaten an verschiedene Ziele gesendet werden, einschließlich Amazon S3 für Sicherheitsmonitoring und -analysen.
Hinweis
Folgende Voraussetzungen müssen erfüllt sein:
- Eine Google SecOps-Instanz
- Privilegierter Zugriff auf das Steuerfeld oder die API von Fastly
- Privilegierter Zugriff auf AWS (S3, IAM)
- Ein Fastly API-Token mit dem Bereich
globaloderglobal:read
Fastly API-Token erstellen
- Melden Sie sich unter https://manage.fastly.com im Fastly-Steuerfeld an.
- Klicken Sie rechts oben auf Ihr Nutzersymbol.
- Klicken Sie auf Konto > Persönliche API-Tokens.
- Klicken Sie auf Token erstellen.
- Geben Sie im Dialogfeld API-Token erstellen Folgendes an:
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
Google SecOps S3 Logging Configuration). - Typ: Wählen Sie Nutzertoken aus.
- Umfang: Wählen Sie Globaler Zugriff aus (erforderlich, um Logging-Endpunkte zu konfigurieren).
- Ablauf: Wählen Sie Läuft nie ab aus oder legen Sie ein geeignetes Ablaufdatum fest.
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
- Klicken Sie auf Token erstellen.
- Kopieren und speichern Sie das API-Token an einem sicheren Ort.
AWS S3-Bucket und IAM für Google SecOps konfigurieren
- Erstellen Sie einen Amazon S3-Bucket gemäß dem Nutzerhandbuch unter Bucket erstellen.
- Speichern Sie den Namen und die Region des Buckets zur späteren Verwendung (z. B.
fastly-cdn-logs). - Erstellen Sie einen Nutzer gemäß diesem Nutzerhandbuch: IAM-Nutzer erstellen.
- Wählen Sie den erstellten Nutzer aus.
- Wählen Sie den Tab Sicherheitsanmeldedaten aus.
- Klicken Sie im Bereich Access Keys (Zugriffsschlüssel) auf Create Access Key (Zugriffsschlüssel erstellen).
- Wählen Sie Drittanbieterdienst als Anwendungsfall aus.
- Klicken Sie auf Weiter.
- Optional: Fügen Sie ein Beschreibungs-Tag hinzu.
- Klicken Sie auf Zugriffsschlüssel erstellen.
- Klicken Sie auf CSV-Datei herunterladen, um den Zugriffsschlüssel und den geheimen Zugriffsschlüssel für die spätere Verwendung zu speichern.
- Klicken Sie auf Fertig.
- Wählen Sie den Tab Berechtigungen aus.
- Klicken Sie im Bereich Berechtigungsrichtlinien auf Berechtigungen hinzufügen.
- Wählen Sie Berechtigungen hinzufügen aus.
- Wählen Sie Richtlinien direkt anhängen aus.
- Suchen Sie nach der Richtlinie AmazonS3FullAccess.
- Wählen Sie die Richtlinie aus.
- Klicken Sie auf Weiter.
- Klicken Sie auf Berechtigungen hinzufügen.
Fastly S3-Logging-Endpunkt konfigurieren
Option A: Über das Fastly-Steuerfeld konfigurieren
- Melden Sie sich unter https://manage.fastly.com im Fastly-Steuerfeld an.
- Wählen Sie den Dienst aus, für den Sie das Logging konfigurieren möchten.
- Klicken Sie auf Konfiguration bearbeiten und wählen Sie Aktive Version klonen aus, um eine neue Entwurfsversion zu erstellen.
- Klicken Sie im Navigationsmenü links auf Logging.
- Klicken Sie im Abschnitt Amazon Web Services S3 auf Endpunkt erstellen.
Geben Sie im Formular Amazon S3-Endpunkt erstellen die folgenden Konfigurationsdetails an:
Grundeinstellungen:
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
secops-s3-logs). - Placement: Wählen Sie Format Version Default (empfohlen) aus.
Logformat: Geben Sie den folgenden JSON-Formatstring ein:
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- Zeitstempelformat: Behalten Sie die Standardeinstellung (strftime-kompatibler String) bei.
- Name: Geben Sie einen aussagekräftigen Namen ein (z. B.
S3-Bucket-Konfiguration:
- Bucket-Name: Geben Sie den S3-Bucket-Namen ein (z. B.
fastly-cdn-logs). - Domain: Lassen Sie dieses Feld leer, wenn sich Ihr Bucket in der Region „US Standard“ befindet. Geben Sie für andere Regionen den entsprechenden S3-Endpunkt ein (z. B.
s3-us-west-2.amazonaws.comfür die Region us-west-2). - Zugriffsmethode: Wählen Sie Nutzeranmeldedaten aus.
- Zugriffsschlüssel: Geben Sie den AWS-Zugriffsschlüssel aus Schritt 11 ein.
- Geheimer Schlüssel: Geben Sie den geheimen AWS-Zugriffsschlüssel aus Schritt 11 ein.
- Zeitraum: Geben Sie
3600ein (Logs werden jede Stunde abgeschlossen).
Klicken Sie auf Erweiterte Optionen, um weitere Einstellungen einzublenden:
Erweiterte Einstellungen:
- Pfad: Geben Sie
fastly-cdn/ein (optionales Präfix zum Organisieren von Logs im Bucket). - Öffentlicher PGP-Schlüssel: Lassen Sie dieses Feld leer (für diese Integration ist keine Verschlüsselung erforderlich).
- Format für Logzeile auswählen: Wählen Sie Leer aus (wir verwenden ein benutzerdefiniertes JSON-Format).
- Komprimierung: Wählen Sie gzip aus (empfohlen, um Speicherkosten zu senken).
- Redundanzstufe: Wählen Sie Standard aus.
- ACL: Wählen Sie private (empfohlen) aus.
- Serverseitige Verschlüsselung: Wählen Sie Keine aus oder konfigurieren Sie die Verschlüsselung gemäß Ihren Sicherheitsanforderungen.
- Maximale Byte: Geben Sie
0ein (keine maximale Dateigröße).
- Pfad: Geben Sie
Klicken Sie auf Erstellen, um den Logging-Endpunkt zu erstellen.
Klicken Sie rechts oben auf Aktivieren.
Wählen Sie In Produktion aktivieren aus, um die Konfigurationsänderungen bereitzustellen.
Klicken Sie im Bestätigungsdialogfeld auf Aktivieren.
Option B: Über die Fastly API konfigurieren
Wenn Sie das Logging lieber über die API konfigurieren möchten, gehen Sie so vor:
Rufen Sie Ihre Fastly-Dienst-ID über das Steuerfeld oder durch Auflisten der Dienste ab:
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/serviceKlonen Sie die aktive Version, um eine neue Entwurfsversion zu erstellen:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"Erstellen Sie den S3-Logging-Endpunkt für die neue Entwurfsversion:
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'Aktivieren Sie die neue Version:
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
Logzustellung an S3 prüfen
- Warten Sie etwa eine Stunde (je nach konfiguriertem Zeitraum), bis die erste Logdatei fertiggestellt ist.
- Rufen Sie in der AWS-Konsole S3 > Buckets auf.
- Klicken Sie auf den Namen Ihres Buckets (z. B.
fastly-cdn-logs). - Rufen Sie den Präfixordner
fastly-cdn/auf. Prüfen Sie, ob Protokolldateien mit einem ähnlichen Namensmuster erstellt werden:
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gzLaden Sie eine Beispiel-Logdatei herunter und prüfen Sie, ob das JSON-Format mit Ihrer Konfiguration übereinstimmt.
Feed in Google SecOps konfigurieren, um Fastly CDN-Logs aufzunehmen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
- Geben Sie einen eindeutigen Feednamen ein.
- Wählen Sie als Quelltyp Amazon S3 V2 aus.
- Wählen Sie Fastly CDN als Logtyp aus.
- Klicken Sie auf Weiter und dann auf Senden.
Geben Sie Werte für die folgenden Felder an:
- S3-URI:
s3://fastly-cdn-logs/fastly-cdn/. - Option zum Löschen der Quelle: Wählen Sie die gewünschte Option zum Löschen aus.
- Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage).
- Zugriffsschlüssel-ID: Der Nutzerzugriffsschlüssel mit Zugriff auf den S3-Bucket.
- Geheimer Zugriffsschlüssel: Der geheime Schlüssel des Nutzers mit Zugriff auf den S3-Bucket.
- Asset-Namespace: Der Asset-Namespace.
- Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
- S3-URI:
Klicken Sie auf Weiter und dann auf Senden.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | Zusammengeführt mit Labels, die aus jedem Feld erstellt wurden, sofern nicht leer |
| metadata.event_type | Wird auf „GENERIC_EVENT“ und dann auf „STATUS_UPDATE“ gesetzt, wenn „principal_mid_present“ „true“ ist | |
| request_method | network.http.method | Wert direkt kopiert |
| request_user_agent | network.http.parsed_user_agent | In „parseduseragent“ konvertiert und dann umbenannt |
| request_referer | network.http.referral_url | Wert direkt kopiert |
| response_status | network.http.response_code | In String und dann in Ganzzahl konvertiert |
| request_user_agent | network.http.user_agent | Wert direkt kopiert |
| Host | principal.asset.hostname | Wert direkt kopiert |
| client_ip | principal.asset.ip | Wert direkt kopiert (nach Grok-Validierung als IP) |
| Host | principal.hostname | Wert direkt kopiert |
| client_ip | principal.ip | Wert direkt kopiert (nach Grok-Validierung als IP) |
| geo_city | principal.location.city | Wert direkt kopiert |
| geo_country | principal.location.country_or_region | Wert direkt kopiert |
| security_result | security_result | Wert direkt kopiert |
| URL | target.url | Wert direkt kopiert |
| metadata.product_name | Legen Sie diesen Wert auf „FASTLY_CDN“ fest. | |
| metadata.vendor_name | Legen Sie diesen Wert auf „FASTLY_CDN“ fest. |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten