Fastly CDN-Logs erfassen

Parserversion: 2.0

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie Fastly CDN-Logs mit Amazon S3 in Google Security Operations aufnehmen.

Fastly ist ein Content Delivery Network (CDN) und eine Edge-Cloud-Plattform, die Echtzeit-Inhaltsbereitstellung, Sicherheit und Edge-Computing-Dienste bietet. Mit der Funktion „Real-Time Log Streaming“ von Fastly können CDN-Zugriffslogs, WAF-Ereignisse und andere Telemetriedaten an verschiedene Ziele gesendet werden, einschließlich Amazon S3 für Sicherheitsmonitoring und -analysen.

Hinweis

Folgende Voraussetzungen müssen erfüllt sein:

  • Eine Google SecOps-Instanz
  • Privilegierter Zugriff auf das Steuerfeld oder die API von Fastly
  • Privilegierter Zugriff auf AWS (S3, IAM)
  • Ein Fastly API-Token mit dem Bereich global oder global:read

Fastly API-Token erstellen

  1. Melden Sie sich unter https://manage.fastly.com im Fastly-Steuerfeld an.
  2. Klicken Sie rechts oben auf Ihr Nutzersymbol.
  3. Klicken Sie auf Konto > Persönliche API-Tokens.
  4. Klicken Sie auf Token erstellen.
  5. Geben Sie im Dialogfeld API-Token erstellen Folgendes an:
    • Name: Geben Sie einen aussagekräftigen Namen ein (z. B. Google SecOps S3 Logging Configuration).
    • Typ: Wählen Sie Nutzertoken aus.
    • Umfang: Wählen Sie Globaler Zugriff aus (erforderlich, um Logging-Endpunkte zu konfigurieren).
    • Ablauf: Wählen Sie Läuft nie ab aus oder legen Sie ein geeignetes Ablaufdatum fest.
  6. Klicken Sie auf Token erstellen.
  7. Kopieren und speichern Sie das API-Token an einem sicheren Ort.

AWS S3-Bucket und IAM für Google SecOps konfigurieren

  1. Erstellen Sie einen Amazon S3-Bucket gemäß dem Nutzerhandbuch unter Bucket erstellen.
  2. Speichern Sie den Namen und die Region des Buckets zur späteren Verwendung (z. B. fastly-cdn-logs).
  3. Erstellen Sie einen Nutzer gemäß diesem Nutzerhandbuch: IAM-Nutzer erstellen.
  4. Wählen Sie den erstellten Nutzer aus.
  5. Wählen Sie den Tab Sicherheitsanmeldedaten aus.
  6. Klicken Sie im Bereich Access Keys (Zugriffsschlüssel) auf Create Access Key (Zugriffsschlüssel erstellen).
  7. Wählen Sie Drittanbieterdienst als Anwendungsfall aus.
  8. Klicken Sie auf Weiter.
  9. Optional: Fügen Sie ein Beschreibungs-Tag hinzu.
  10. Klicken Sie auf Zugriffsschlüssel erstellen.
  11. Klicken Sie auf CSV-Datei herunterladen, um den Zugriffsschlüssel und den geheimen Zugriffsschlüssel für die spätere Verwendung zu speichern.
  12. Klicken Sie auf Fertig.
  13. Wählen Sie den Tab Berechtigungen aus.
  14. Klicken Sie im Bereich Berechtigungsrichtlinien auf Berechtigungen hinzufügen.
  15. Wählen Sie Berechtigungen hinzufügen aus.
  16. Wählen Sie Richtlinien direkt anhängen aus.
  17. Suchen Sie nach der Richtlinie AmazonS3FullAccess.
  18. Wählen Sie die Richtlinie aus.
  19. Klicken Sie auf Weiter.
  20. Klicken Sie auf Berechtigungen hinzufügen.

Fastly S3-Logging-Endpunkt konfigurieren

Option A: Über das Fastly-Steuerfeld konfigurieren

  1. Melden Sie sich unter https://manage.fastly.com im Fastly-Steuerfeld an.
  2. Wählen Sie den Dienst aus, für den Sie das Logging konfigurieren möchten.
  3. Klicken Sie auf Konfiguration bearbeiten und wählen Sie Aktive Version klonen aus, um eine neue Entwurfsversion zu erstellen.
  4. Klicken Sie im Navigationsmenü links auf Logging.
  5. Klicken Sie im Abschnitt Amazon Web Services S3 auf Endpunkt erstellen.
  6. Geben Sie im Formular Amazon S3-Endpunkt erstellen die folgenden Konfigurationsdetails an:

    • Grundeinstellungen:

      • Name: Geben Sie einen aussagekräftigen Namen ein (z. B. secops-s3-logs).
      • Placement: Wählen Sie Format Version Default (empfohlen) aus.
      • Logformat: Geben Sie den folgenden JSON-Formatstring ein:

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • Zeitstempelformat: Behalten Sie die Standardeinstellung (strftime-kompatibler String) bei.

    S3-Bucket-Konfiguration:

    • Bucket-Name: Geben Sie den S3-Bucket-Namen ein (z. B. fastly-cdn-logs).
    • Domain: Lassen Sie dieses Feld leer, wenn sich Ihr Bucket in der Region „US Standard“ befindet. Geben Sie für andere Regionen den entsprechenden S3-Endpunkt ein (z. B. s3-us-west-2.amazonaws.com für die Region us-west-2).
    • Zugriffsmethode: Wählen Sie Nutzeranmeldedaten aus.
    • Zugriffsschlüssel: Geben Sie den AWS-Zugriffsschlüssel aus Schritt 11 ein.
    • Geheimer Schlüssel: Geben Sie den geheimen AWS-Zugriffsschlüssel aus Schritt 11 ein.
    • Zeitraum: Geben Sie 3600 ein (Logs werden jede Stunde abgeschlossen).
  7. Klicken Sie auf Erweiterte Optionen, um weitere Einstellungen einzublenden:

    Erweiterte Einstellungen:

    • Pfad: Geben Sie fastly-cdn/ ein (optionales Präfix zum Organisieren von Logs im Bucket).
    • Öffentlicher PGP-Schlüssel: Lassen Sie dieses Feld leer (für diese Integration ist keine Verschlüsselung erforderlich).
    • Format für Logzeile auswählen: Wählen Sie Leer aus (wir verwenden ein benutzerdefiniertes JSON-Format).
    • Komprimierung: Wählen Sie gzip aus (empfohlen, um Speicherkosten zu senken).
    • Redundanzstufe: Wählen Sie Standard aus.
    • ACL: Wählen Sie private (empfohlen) aus.
    • Serverseitige Verschlüsselung: Wählen Sie Keine aus oder konfigurieren Sie die Verschlüsselung gemäß Ihren Sicherheitsanforderungen.
    • Maximale Byte: Geben Sie 0 ein (keine maximale Dateigröße).
  8. Klicken Sie auf Erstellen, um den Logging-Endpunkt zu erstellen.

  9. Klicken Sie rechts oben auf Aktivieren.

  10. Wählen Sie In Produktion aktivieren aus, um die Konfigurationsänderungen bereitzustellen.

  11. Klicken Sie im Bestätigungsdialogfeld auf Aktivieren.

Option B: Über die Fastly API konfigurieren

Wenn Sie das Logging lieber über die API konfigurieren möchten, gehen Sie so vor:

  1. Rufen Sie Ihre Fastly-Dienst-ID über das Steuerfeld oder durch Auflisten der Dienste ab:

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. Klonen Sie die aktive Version, um eine neue Entwurfsversion zu erstellen:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. Erstellen Sie den S3-Logging-Endpunkt für die neue Entwurfsversion:

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. Aktivieren Sie die neue Version:

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

Logzustellung an S3 prüfen

  1. Warten Sie etwa eine Stunde (je nach konfiguriertem Zeitraum), bis die erste Logdatei fertiggestellt ist.
  2. Rufen Sie in der AWS-Konsole S3 > Buckets auf.
  3. Klicken Sie auf den Namen Ihres Buckets (z. B. fastly-cdn-logs).
  4. Rufen Sie den Präfixordner fastly-cdn/ auf.
  5. Prüfen Sie, ob Protokolldateien mit einem ähnlichen Namensmuster erstellt werden:

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. Laden Sie eine Beispiel-Logdatei herunter und prüfen Sie, ob das JSON-Format mit Ihrer Konfiguration übereinstimmt.

Feed in Google SecOps konfigurieren, um Fastly CDN-Logs aufzunehmen

  1. Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
  2. Klicken Sie auf Neuen Feed hinzufügen.
  3. Klicken Sie auf der nächsten Seite auf Einzelnen Feed konfigurieren.
  4. Geben Sie einen eindeutigen Feednamen ein.
  5. Wählen Sie als Quelltyp Amazon S3 V2 aus.
  6. Wählen Sie Fastly CDN als Logtyp aus.
  7. Klicken Sie auf Weiter und dann auf Senden.
  8. Geben Sie Werte für die folgenden Felder an:

    • S3-URI: s3://fastly-cdn-logs/fastly-cdn/.
    • Option zum Löschen der Quelle: Wählen Sie die gewünschte Option zum Löschen aus.
    • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden (Standardwert: 180 Tage).
    • Zugriffsschlüssel-ID: Der Nutzerzugriffsschlüssel mit Zugriff auf den S3-Bucket.
    • Geheimer Zugriffsschlüssel: Der geheime Schlüssel des Nutzers mit Zugriff auf den S3-Bucket.
    • Asset-Namespace: Der Asset-Namespace.
    • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
  9. Klicken Sie auf Weiter und dann auf Senden.

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields Zusammengeführt mit Labels, die aus jedem Feld erstellt wurden, sofern nicht leer
metadata.event_type Wird auf „GENERIC_EVENT“ und dann auf „STATUS_UPDATE“ gesetzt, wenn „principal_mid_present“ „true“ ist
request_method network.http.method Wert direkt kopiert
request_user_agent network.http.parsed_user_agent In „parseduseragent“ konvertiert und dann umbenannt
request_referer network.http.referral_url Wert direkt kopiert
response_status network.http.response_code In String und dann in Ganzzahl konvertiert
request_user_agent network.http.user_agent Wert direkt kopiert
Host principal.asset.hostname Wert direkt kopiert
client_ip principal.asset.ip Wert direkt kopiert (nach Grok-Validierung als IP)
Host principal.hostname Wert direkt kopiert
client_ip principal.ip Wert direkt kopiert (nach Grok-Validierung als IP)
geo_city principal.location.city Wert direkt kopiert
geo_country principal.location.country_or_region Wert direkt kopiert
security_result security_result Wert direkt kopiert
URL target.url Wert direkt kopiert
metadata.product_name Legen Sie diesen Wert auf „FASTLY_CDN“ fest.
metadata.vendor_name Legen Sie diesen Wert auf „FASTLY_CDN“ fest.

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten