Collecter les journaux Fastly CDN
Version de l'analyseur : 2.0
Ce document explique comment ingérer des journaux Fastly CDN dans Google Security Operations à l'aide d'Amazon S3.
Fastly est un réseau de diffusion de contenu (CDN) et une plate-forme edge cloud qui fournit des services de diffusion de contenu, de sécurité et d'edge computing en temps réel. La fonctionnalité de streaming de journaux en temps réel de Fastly peut envoyer des journaux d'accès CDN, des événements WAF et d'autres données de télémétrie à différentes destinations, y compris Amazon S3, pour la surveillance et l'analyse de la sécurité.
Avant de commencer
Assurez-vous de remplir les conditions préalables suivantes :
- Une instance Google SecOps
- Accès privilégié au panneau de configuration ou à l'API Fastly
- Accès privilégié à AWS (S3, IAM)
- Un jeton d'API Fastly avec un champ d'application
globalouglobal:read
Créer un jeton d'API Fastly
- Connectez-vous au panneau de configuration Fastly à l'adresse https://manage.fastly.com.
- Cliquez sur l'icône de votre profil en haut à droite.
- Accédez à Account > Personal API tokens (Compte > Jetons d'API personnels).
- Cliquez sur Créer un jeton.
- Dans la boîte de dialogue Create API Token (Créer un jeton d'API), indiquez les informations suivantes :
- Nom : saisissez un nom descriptif (par exemple,
Google SecOps S3 Logging Configuration). - Type : sélectionnez Jeton utilisateur.
- Champ d'application : sélectionnez Accès mondial (obligatoire pour configurer les points de terminaison de journalisation).
- Expiration : sélectionnez N'expire jamais ou définissez une date d'expiration appropriée.
- Nom : saisissez un nom descriptif (par exemple,
- Cliquez sur Créer un jeton.
- Copiez et enregistrez le jeton d'API de manière sécurisée.
Configurer un bucket AWS S3 et IAM pour Google SecOps
- Créez un bucket Amazon S3 en suivant ce guide de l'utilisateur : Créer un bucket.
- Enregistrez le nom et la région du bucket pour référence ultérieure (par exemple,
fastly-cdn-logs). - Créez un utilisateur en suivant ce guide de l'utilisateur : Créer un utilisateur IAM.
- Sélectionnez l'utilisateur créé.
- Sélectionnez l'onglet Security credentials (Identifiants de sécurité).
- Cliquez sur Créer une clé d'accès dans la section Clés d'accès.
- Sélectionnez Service tiers comme Cas d'utilisation.
- Cliquez sur Suivant.
- Facultatif : ajoutez une balise de description.
- Cliquez sur Créer une clé d'accès.
- Cliquez sur Download .csv file (Télécharger le fichier .csv) pour enregistrer la clé d'accès et la clé d'accès secrète pour référence ultérieure.
- Cliquez sur OK.
- Sélectionnez l'onglet Autorisations.
- Cliquez sur Add permissions (Ajouter des autorisations) dans la section Permissions policies (Stratégies d'autorisation).
- Sélectionnez Ajouter des autorisations.
- Sélectionnez Associer directement des stratégies.
- Recherchez la stratégie AmazonS3FullAccess.
- Sélectionnez la règle.
- Cliquez sur Suivant.
- Cliquez sur Ajouter des autorisations.
Configurer le point de terminaison de journalisation Fastly S3
Option A : Configurer via le panneau de configuration Fastly
- Connectez-vous au panneau de configuration Fastly à l'adresse https://manage.fastly.com.
- Sélectionnez le service pour lequel vous souhaitez configurer la journalisation.
- Cliquez sur Modifier la configuration, puis sélectionnez Cloner la version active pour créer une version brouillon.
- Cliquez sur Journalisation dans le menu de navigation de gauche.
- Dans la section Amazon Web Services S3, cliquez sur Créer un point de terminaison.
Dans le formulaire Créer un point de terminaison Amazon S3, fournissez les détails de configuration suivants :
Paramètres de base :
- Nom : saisissez un nom descriptif (par exemple,
secops-s3-logs). - Emplacement : sélectionnez Format Version Default (recommandé).
Format de journal : saisissez la chaîne de format JSON suivante :
{"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","geo_region":"%{client.geo.region}V","datacenter":"%{server.datacenter}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","request_protocol":"%{json.escape(req.proto)}V","request_referer":"%{json.escape(req.http.referer)}V","request_user_agent":"%{json.escape(req.http.User-Agent)}V","response_state":"%{json.escape(fastly_info.state)}V","response_status":%{resp.status}V,"response_reason":%{if(resp.response, "\"%22\"+json.escape(resp.response)+\"%22\", \"null\")}V,"response_body_size":%{resp.body_bytes_written}V,"response_header_size":%{resp.header_bytes_written}V,"request_body_size":%{req.body_bytes_read}V,"request_header_size":%{req.header_bytes_read}V,"cache_status":"%{fastly_info.state}V","is_tls":"%{if(req.is_ssl, \"true\", \"false\")}V","tls_protocol":"%{cstr_escape(tls.client.protocol)}V","tls_cipher":"%{cstr_escape(tls.client.cipher)}V","server_identity":"%{json.escape(server.identity)}V","is_edge":%{if(fastly.ff.visits_this_service == 0, "true", "false")}V,"time_elapsed_usec":%{time.elapsed.usec}V,"time_start_sec":%{time.start.sec}V}
- Format du code temporel : conservez la valeur par défaut (chaîne compatible strftime).
- Nom : saisissez un nom descriptif (par exemple,
Configuration du bucket S3 :
- Nom du bucket : saisissez le nom du bucket S3 (par exemple,
fastly-cdn-logs). - Domain (Domaine) : laissez ce champ vide si votre bucket se trouve dans la région US Standard. Pour les autres régions, saisissez le point de terminaison S3 approprié (par exemple,
s3-us-west-2.amazonaws.compour la région us-west-2). - Méthode d'accès : sélectionnez Identifiants utilisateur.
- Clé d'accès : saisissez la clé d'accès AWS de l'étape 11.
- Clé secrète : saisissez la clé d'accès secrète AWS de l'étape 11.
- Période : saisissez
3600(les journaux sont finalisés toutes les heures).
Cliquez sur Options avancées pour afficher des paramètres supplémentaires :
Paramètres avancés :
- Chemin d'accès : saisissez
fastly-cdn/(préfixe facultatif pour organiser les journaux dans le bucket). - Clé publique PGP : laissez ce champ vide (le chiffrement n'est pas requis pour cette intégration).
- Sélectionnez un format de ligne de journal : sélectionnez Vide (nous utilisons un format JSON personnalisé).
- Compression : sélectionnez gzip (recommandé pour réduire les coûts de stockage).
- Niveau de redondance : sélectionnez Standard.
- LCA : sélectionnez private (recommandé).
- Chiffrement côté serveur : sélectionnez Aucun (ou configurez-le en fonction de vos exigences de sécurité).
- Nombre maximal d'octets : saisissez
0(aucune limite de taille maximale de fichier).
- Chemin d'accès : saisissez
Cliquez sur Créer pour créer le point de terminaison de journalisation.
Cliquez sur Activer en haut à droite.
Sélectionnez Activer en production pour déployer vos modifications de configuration.
Dans la boîte de dialogue de confirmation, cliquez sur Activer pour confirmer.
Option B : Configurer via l'API Fastly
Si vous préférez configurer la journalisation via l'API, procédez comme suit :
Obtenez l'ID de votre service Fastly à partir du panneau de configuration ou en listant les services :
curl -H "Fastly-Key: YOUR_FASTLY_TOKEN" https://api.fastly.com/serviceClonez la version active pour créer une version brouillon :
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/ACTIVE_VERSION/clone"Créez le point de terminaison de journalisation S3 sur la nouvelle version brouillon :
curl -X POST -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ -H "Content-Type: application/x-www-form-urlencoded" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/logging/s3" \ --data-urlencode 'name=secops-s3-logs' \ --data-urlencode 'bucket_name=fastly-cdn-logs' \ --data-urlencode 'access_key=YOUR_AWS_ACCESS_KEY' \ --data-urlencode 'secret_key=YOUR_AWS_SECRET_KEY' \ --data-urlencode 'path=fastly-cdn/' \ --data-urlencode 'period=3600' \ --data-urlencode 'gzip_level=9' \ --data-urlencode 'format_version=2' \ --data-urlencode 'format={"timestamp":"%{begin:%Y-%m-%dT%H:%M:%S%z}t","client_ip":"%{req.http.Fastly-Client-IP}V","geo_country":"%{client.geo.country_name}V","geo_city":"%{client.geo.city}V","host":"%{if(req.http.Fastly-Orig-Host, req.http.Fastly-Orig-Host, req.http.Host)}V","url":"%{json.escape(req.url)}V","request_method":"%{json.escape(req.method)}V","response_status":%{resp.status}V,"cache_status":"%{fastly_info.state}V"}'Activez la nouvelle version :
curl -X PUT -H "Fastly-Key: YOUR_FASTLY_TOKEN" \ "https://api.fastly.com/service/SERVICE_ID/version/NEW_VERSION/activate"
Vérifier la diffusion des journaux vers S3
- Attendez environ une heure (en fonction de la période configurée) que le premier fichier journal soit finalisé.
- Dans la console AWS, accédez à S3 > Buckets.
- Cliquez sur le nom de votre bucket (par exemple,
fastly-cdn-logs). - Accédez au dossier de préfixe
fastly-cdn/. Vérifiez que les fichiers journaux sont créés avec un modèle de nom semblable à celui-ci :
fastly-cdn/YYYY-MM-DD-HH-MM-SS-RANDOM_STRING.log.gzTéléchargez un exemple de fichier journal et vérifiez que le format JSON correspond à votre configuration.
Configurer un flux dans Google SecOps pour ingérer les journaux Fastly CDN
- Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
- Cliquez sur Ajouter un flux d'actualités.
- Sur la page suivante, cliquez sur Configurer un seul flux.
- Saisissez un nom unique dans le champ Nom du flux.
- Sélectionnez Amazon S3 V2 comme Type de source.
- Sélectionnez Fastly CDN comme Type de journal.
- Cliquez sur Suivant, puis sur Envoyer.
Spécifiez les valeurs des champs suivants :
- URI S3 :
s3://fastly-cdn-logs/fastly-cdn/. - Option de suppression de la source : sélectionnez l'option de suppression de votre choix.
- Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours (180 jours par défaut).
- ID de clé d'accès : clé d'accès utilisateur permettant d'accéder au bucket S3.
- Clé d'accès secrète : clé secrète de l'utilisateur ayant accès au bucket S3.
- Espace de noms de l'élément : espace de noms de l'élément.
- Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux.
- URI S3 :
Cliquez sur Suivant, puis sur Envoyer.
Table de mappage UDM
| Champ du journal | mappage UDM | Logique |
|---|---|---|
| request_protocol, response_state, response_reason, response_body_size, fastly_server, fastly_is_edge | additional.fields | Fusionné avec les libellés créés à partir de chaque champ s'il n'est pas vide |
| metadata.event_type | Définissez sur "GENERIC_EVENT", puis sur "STATUS_UPDATE" si principal_mid_present est défini sur "true". | |
| request_method | network.http.method | Valeur copiée directement |
| request_user_agent | network.http.parsed_user_agent | Converti en parseduseragent, puis renommé |
| request_referer | network.http.referral_url | Valeur copiée directement |
| response_status | network.http.response_code | Converti en chaîne, puis en entier |
| request_user_agent | network.http.user_agent | Valeur copiée directement |
| hôte | principal.asset.hostname | Valeur copiée directement |
| client_ip | principal.asset.ip | Valeur copiée directement (après validation grok en tant qu'adresse IP) |
| hôte | principal.hostname | Valeur copiée directement |
| client_ip | principal.ip | Valeur copiée directement (après validation grok en tant qu'adresse IP) |
| geo_city | principal.location.city | Valeur copiée directement |
| geo_country | principal.location.country_or_region | Valeur copiée directement |
| security_result | security_result | Valeur copiée directement |
| url | target.url | Valeur copiée directement |
| metadata.product_name | Définissez cette option sur "FASTLY_CDN". | |
| metadata.vendor_name | Définissez cette option sur "FASTLY_CDN". |
Journal des modifications
Afficher le journal des modifications de cet analyseur
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.