Collecter les journaux Fastly CDN

Version de l'analyseur : 2.0

Compatible avec :

Ce document explique comment ingérer des journaux Fastly CDN dans Google Security Operations à l'aide d'Amazon S3.

Fastly est un réseau de diffusion de contenu (CDN) et une plate-forme edge cloud qui fournit des services de diffusion de contenu, de sécurité et d'edge computing en temps réel. La fonctionnalité de streaming de journaux en temps réel de Fastly peut envoyer des journaux d'accès CDN, des événements WAF et d'autres données de télémétrie à différentes destinations, y compris Amazon S3, pour la surveillance et l'analyse de la sécurité.

Avant de commencer

Assurez-vous de remplir les conditions préalables suivantes :

  • Une instance Google SecOps
  • Accès privilégié au panneau de configuration ou à l'API Fastly
  • Accès privilégié à AWS (S3, IAM)
  • Un jeton d'API Fastly avec un champ d'application global ou global:read

Créer un jeton d'API Fastly

  1. Connectez-vous au panneau de configuration Fastly à l'adresse https://manage.fastly.com.
  2. Cliquez sur l'icône de votre profil en haut à droite.
  3. Accédez à Account > Personal API tokens (Compte > Jetons d'API personnels).
  4. Cliquez sur Créer un jeton.
  5. Dans la boîte de dialogue Create API Token (Créer un jeton d'API), indiquez les informations suivantes :
    • Nom : saisissez un nom descriptif (par exemple, Google SecOps S3 Logging Configuration).
    • Type : sélectionnez Jeton utilisateur.
    • Champ d'application : sélectionnez Accès mondial (obligatoire pour configurer les points de terminaison de journalisation).
    • Expiration : sélectionnez N'expire jamais ou définissez une date d'expiration appropriée.
  6. Cliquez sur Créer un jeton.
  7. Copiez et enregistrez le jeton d'API de manière sécurisée.

Configurer un bucket AWS S3 et IAM pour Google SecOps

  1. Créez un bucket Amazon S3 en suivant ce guide de l'utilisateur : Créer un bucket.
  2. Enregistrez le nom et la région du bucket pour référence ultérieure (par exemple, fastly-cdn-logs).
  3. Créez un utilisateur en suivant ce guide de l'utilisateur : Créer un utilisateur IAM.
  4. Sélectionnez l'utilisateur créé.
  5. Sélectionnez l'onglet Security credentials (Identifiants de sécurité).
  6. Cliquez sur Créer une clé d'accès dans la section Clés d'accès.
  7. Sélectionnez Service tiers comme Cas d'utilisation.
  8. Cliquez sur Suivant.
  9. Facultatif : ajoutez une balise de description.
  10. Cliquez sur Créer une clé d'accès.
  11. Cliquez sur Download .csv file (Télécharger le fichier .csv) pour enregistrer la clé d'accès et la clé d'accès secrète pour référence ultérieure.
  12. Cliquez sur OK.
  13. Sélectionnez l'onglet Autorisations.
  14. Cliquez sur Add permissions (Ajouter des autorisations) dans la section Permissions policies (Stratégies d'autorisation).
  15. Sélectionnez Ajouter des autorisations.
  16. Sélectionnez Associer directement des stratégies.
  17. Recherchez la stratégie AmazonS3FullAccess.
  18. Sélectionnez la règle.
  19. Cliquez sur Suivant.
  20. Cliquez sur Ajouter des autorisations.

Configurer le point de terminaison de journalisation Fastly S3

Option A : Configurer via le panneau de configuration Fastly

  1. Connectez-vous au panneau de configuration Fastly à l'adresse https://manage.fastly.com.
  2. Sélectionnez le service pour lequel vous souhaitez configurer la journalisation.
  3. Cliquez sur Modifier la configuration, puis sélectionnez Cloner la version active pour créer une version brouillon.
  4. Cliquez sur Journalisation dans le menu de navigation de gauche.
  5. Dans la section Amazon Web Services S3, cliquez sur Créer un point de terminaison.
  6. Dans le formulaire Créer un point de terminaison Amazon S3, fournissez les détails de configuration suivants :

    • Paramètres de base :

      • Nom : saisissez un nom descriptif (par exemple, secops-s3-logs).
      • Emplacement : sélectionnez Format Version Default (recommandé).
      • Format de journal : saisissez la chaîne de format JSON suivante :

        {"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
        
      • Format du code temporel : conservez la valeur par défaut (chaîne compatible strftime).

    Configuration du bucket S3 :

    • Nom du bucket : saisissez le nom du bucket S3 (par exemple, fastly-cdn-logs).
    • Domain (Domaine) : laissez ce champ vide si votre bucket se trouve dans la région US Standard. Pour les autres régions, saisissez le point de terminaison S3 approprié (par exemple, s3-us-west-2.amazonaws.com pour la région us-west-2).
    • Méthode d'accès : sélectionnez Identifiants utilisateur.
    • Clé d'accès : saisissez la clé d'accès AWS de l'étape 11.
    • Clé secrète : saisissez la clé d'accès secrète AWS de l'étape 11.
    • Période : saisissez 3600 (les journaux sont finalisés toutes les heures).
  7. Cliquez sur Options avancées pour afficher des paramètres supplémentaires :

    Paramètres avancés :

    • Chemin d'accès : saisissez fastly-cdn/ (préfixe facultatif pour organiser les journaux dans le bucket).
    • Clé publique PGP : laissez ce champ vide (le chiffrement n'est pas requis pour cette intégration).
    • Sélectionnez un format de ligne de journal : sélectionnez Vide (nous utilisons un format JSON personnalisé).
    • Compression : sélectionnez gzip (recommandé pour réduire les coûts de stockage).
    • Niveau de redondance : sélectionnez Standard.
    • LCA : sélectionnez private (recommandé).
    • Chiffrement côté serveur : sélectionnez Aucun (ou configurez-le en fonction de vos exigences de sécurité).
    • Nombre maximal d'octets : saisissez 0 (aucune limite de taille maximale de fichier).
  8. Cliquez sur Créer pour créer le point de terminaison de journalisation.

  9. Cliquez sur Activer en haut à droite.

  10. Sélectionnez Activer en production pour déployer vos modifications de configuration.

  11. Dans la boîte de dialogue de confirmation, cliquez sur Activer pour confirmer.

Option B : Configurer via l'API Fastly

Si vous préférez configurer la journalisation via l'API, procédez comme suit :

  1. Obtenez l'ID de votre service Fastly à partir du panneau de configuration ou en listant les services :

    curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/service
    
  2. Clonez la version active pour créer une version brouillon :

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"
    
  3. Créez le point de terminaison de journalisation S3 sur la nouvelle version brouillon :

    curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      -H "Content-Type: application/x-www-form-urlencoded" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \
      --data-urlencode 'name=secops-s3-logs' \
      --data-urlencode 'bucket_name=fastly-cdn-logs' \
      --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \
      --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \
      --data-urlencode 'path=fastly-cdn/' \
      --data-urlencode 'period=3600' \
      --data-urlencode 'gzip_level=9' \
      --data-urlencode 'format_version=2' \
      --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'
    
  4. Activez la nouvelle version :

    curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \
      "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
    

Vérifier la diffusion des journaux vers S3

  1. Attendez environ une heure (en fonction de la période configurée) que le premier fichier journal soit finalisé.
  2. Dans la console AWS, accédez à S3 > Buckets.
  3. Cliquez sur le nom de votre bucket (par exemple, fastly-cdn-logs).
  4. Accédez au dossier de préfixe fastly-cdn/.
  5. Vérifiez que les fichiers journaux sont créés avec un modèle de nom semblable à celui-ci :

    fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gz
    
  6. Téléchargez un exemple de fichier journal et vérifiez que le format JSON correspond à votre configuration.

Configurer un flux dans Google SecOps pour ingérer les journaux Fastly CDN

  1. Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
  2. Cliquez sur Ajouter un flux d'actualités.
  3. Sur la page suivante, cliquez sur Configurer un seul flux.
  4. Saisissez un nom unique dans le champ Nom du flux.
  5. Sélectionnez Amazon S3 V2 comme Type de source.
  6. Sélectionnez Fastly CDN comme Type de journal.
  7. Cliquez sur Suivant, puis sur Envoyer.
  8. Spécifiez les valeurs des champs suivants :

    • URI S3 : s3://fastly-cdn-logs/fastly-cdn/.
    • Option de suppression de la source : sélectionnez l'option de suppression de votre choix.
    • Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours (180 jours par défaut).
    • ID de clé d'accès : clé d'accès utilisateur permettant d'accéder au bucket S3.
    • Clé d'accès secrète : clé secrète de l'utilisateur ayant accès au bucket S3.
    • Espace de noms de l'élément : espace de noms de l'élément.
    • Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux.
  9. Cliquez sur Suivant, puis sur Envoyer.

Table de mappage UDM

Champ du journal mappage UDM Logique
request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge additional.fields Fusionné avec les libellés créés à partir de chaque champ s'il n'est pas vide
metadata.event_type Définissez sur "GENERIC_EVENT", puis sur "STATUS_UPDATE" si principal_mid_present est défini sur "true".
request_method network.http.method Valeur copiée directement
request_user_agent network.http.parsed_user_agent Converti en parseduseragent, puis renommé
request_referer network.http.referral_url Valeur copiée directement
response_status network.http.response_code Converti en chaîne, puis en entier
request_user_agent network.http.user_agent Valeur copiée directement
hôte principal.asset.hostname Valeur copiée directement
client_ip principal.asset.ip Valeur copiée directement (après validation grok en tant qu'adresse IP)
hôte principal.hostname Valeur copiée directement
client_ip principal.ip Valeur copiée directement (après validation grok en tant qu'adresse IP)
geo_city principal.location.city Valeur copiée directement
geo_country principal.location.country_or_region Valeur copiée directement
security_result security_result Valeur copiée directement
url target.url Valeur copiée directement
metadata.product_name Définissez cette option sur "FASTLY_CDN".
metadata.vendor_name Définissez cette option sur "FASTLY_CDN".

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.