Collecter les journaux de flux VPC AWS

Version de l'analyseur : 17.0

Compatible avec :

Ce document explique comment ingérer des journaux de flux AWS VPC dans Google Security Operations à l'aide de trois méthodes différentes : Amazon S3 (format texte), Amazon CloudWatch Logs avec Kinesis Data Firehose et le format CSV dans Amazon S3. Les journaux de flux VPC AWS sont une fonctionnalité qui vous permet de capturer des informations sur le trafic IP qui transite vers et depuis les interfaces réseau de votre VPC. Cette intégration vous permet d'envoyer ces journaux à Google SecOps pour analyse et surveillance.

Formats de journaux de flux VPC AWS acceptés

Google SecOps permet l'ingestion des journaux de flux VPC AWS dans deux formats de texte principaux :

  • Format JSON : le type de journal AWS_VPC_FLOW analyse les journaux au format JSON. Dans ce format, chaque entrée de journal inclut à la fois une clé et sa valeur correspondante, ce qui rend les données auto-descriptives.
  • Format CSV : Google SecOps fournit également un analyseur pour les journaux de flux VPC AWS au format CSV. Ce format liste les clés de champ une seule fois dans la ligne d'en-tête, les lignes suivantes ne contenant que des valeurs séparées par une virgule.

Étant donné que le format CSV n'inclut pas de clés de champ dans chaque entrée de journal, l'analyseur AWS_VPC_FLOW_CSV s'appuie sur un ordre strict et prédéfini des valeurs. Pour que vos fichiers CSV soient analysés correctement, ils doivent respecter l'ordre des champs suivant :

   Version,Account_id,Interface_id,Srcaddr,Dstaddr,Srcport,Dstport,Protocol,Packets,Bytes,Start,End,Action,Log_status,Vpc_id,Subnet_id,Instance_id,Tcp_flags,Type,Pkt_srcaddr,Pkt_dstaddr,Region,Az_id,Sublocation_type,Sublocation_id,Pkt_src_aws_service,Pkt_dst_aws_service,Flow_direction,Traffic_path,Ecs_cluster_arn,Ecs_cluster_name,Ecs_container_instance_arn,Ecs_container_instance_id,Ecs_container_id,Ecs_second_container_id,Ecs_service_name,Ecs_task_definition_arn,Ecs_task_arn,Ecs_task_id

Voici un exemple de ligne de journal CSV :

   7,369096419186,eni-0520bb5efed19d33a,10.119.32.34,10.119.223.3,51256,16020,6,14,3881,1723542839,1723542871,ACCEPT,OK,vpc-0769a6844ce873a6a,subnet-0cf9b2cb32f49f258,i-088d6080f45f5744f,0,IPv4,10.119.32.34,10.119.223.3,ap-northeast-1,apne1-az4,-,-,-,-,ingress,,-,-,-,-,-,-,-,-,-,-

Pour les champs pour lesquels aucune valeur n'est disponible, une valeur vide (par exemple, , ,) doit être transmise pour conserver l'ordre positionnel correct dans la ligne CSV.

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

  • Instance Google SecOps.
  • Accès privilégié à AWS.

Option 1 : Configurer l'exportation des journaux de flux AWS VPC à l'aide d'AWS S3 (format texte)

La section suivante explique comment configurer les autorisations Amazon S3 et Identity and Access Management pour permettre l'exportation des journaux de flux VPC à des fins d'analyse par Google SecOps.

Configurer un bucket AWS S3 et IAM pour Google SecOps

  1. Créez un bucket Amazon S3 en suivant ce guide de l'utilisateur : Créer un bucket.
  2. Enregistrez le nom et la région du bucket pour référence ultérieure (par exemple, aws-vpc-flowlogs).
  3. Créez un utilisateur en suivant ce guide de l'utilisateur : Créer un utilisateur IAM.
  4. Sélectionnez l'utilisateur créé.
  5. Sélectionnez l'onglet Identifiants de sécurité.
  6. Cliquez sur Créer une clé d'accès dans la section Clés d'accès.
  7. Sélectionnez Service tiers comme Cas d'utilisation.
  8. Cliquez sur Suivant.
  9. Facultatif : ajoutez un tag de description.
  10. Cliquez sur Créer une clé d'accès.
  11. Cliquez sur Télécharger le fichier CSV pour enregistrer la clé d'accès et la clé d'accès secrète pour référence ultérieure.
  12. Cliquez sur OK.
  13. Sélectionnez l'onglet Autorisations.
  14. Cliquez sur Add permissions (Ajouter des autorisations) dans la section Permissions policies (Règles d'autorisation).
  15. Sélectionnez Ajouter des autorisations.
  16. Sélectionnez Associer directement les règles.
  17. Recherchez la règle AmazonS3FullAccess.
  18. Sélectionnez la règle.
  19. Cliquez sur Suivant.
  20. Cliquez sur Ajouter des autorisations.

Créer des journaux de flux VPC (destination : Amazon S3, format texte)

  1. Ouvrez la console AWS> VPC> Vos VPC/sous-réseaux/interfaces réseau, puis sélectionnez le champ d'application que vous souhaitez enregistrer.
  2. Cliquez sur Actions > Créer un journal de flux.
  3. Fournissez les informations de configuration suivantes :
    • Filtre : sélectionnez Tous (ou Accepter / Refuser) selon votre règlement.
    • Intervalle d'agrégation maximal : sélectionnez 1 minute (recommandé) ou 10 minutes.
    • Destination : Envoyer vers un bucket Amazon S3.
    • ARN du bucket S3 : saisissez le nom du bucket créé dans la section précédente au format suivant : arn:aws:s3:::<your-bucket>.
    • Format des enregistrements de journaux : sélectionnez Format AWS par défaut.
    • Format du fichier journal : sélectionnez Texte (brut).
    • Facultatif : Désactivez les préfixes compatibles avec Hive et les partitions horaires, sauf si vous en avez besoin.
  4. Cliquez sur Créer un journal de flux.

Configurer un flux dans Google SecOps pour ingérer les journaux de flux VPC AWS (texte S3)

  1. Accédez à Paramètres SIEM> Flux.
  2. Cliquez sur + Ajouter un flux.
  3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, AWS VPC Flow Logs - S3 (Text)).
  4. Sélectionnez Amazon S3 V2 comme Type de source.
  5. Sélectionnez Flux VPC AWS comme Type de journal.
  6. Cliquez sur Suivant.
  7. Spécifiez les valeurs des paramètres d'entrée suivants :
    • URI S3 : saisissez l'adresse du bucket S3 (par exemple, s3://<your-bucket>/AWSLogs/<account-id>/vpcflowlogs/<region>/).
    • Options de suppression de la source : sélectionnez l'option de suppression de votre choix.
    • Âge maximal des fichiers : 180 jours par défaut.
    • ID de clé d'accès : clé d'accès utilisateur ayant accès au bucket S3.
    • Clé d'accès secrète : clé secrète de l'utilisateur ayant accès au bucket S3.
    • Espace de noms de l'élément : espace de noms de l'élément.
    • Libellés d'ingestion : libellé appliqué aux événements de ce flux.
  8. Cliquez sur Suivant.
  9. Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.

Option 2 : Configurer l'exportation des journaux de flux VPC AWS à l'aide d'Amazon CloudWatch Logs et de Kinesis Data Firehose

Après avoir configuré les journaux de flux pour qu'ils soient envoyés à CloudWatch, cette option fournit une couche supplémentaire d'exportation de données en diffusant ces données de journaux vers une destination de votre choix à l'aide de Kinesis Data Firehose.

Créer des journaux de flux VPC (destination : Amazon CloudWatch Logs)

  1. Ouvrez la console AWS> VPC > Vos VPC/sous-réseaux/interfaces réseau.
  2. Cliquez sur Actions > Créer un journal de flux.
  3. Fournissez les informations de configuration suivantes :
    • Filtre : sélectionnez Tous (ou Accepter/Refuser) selon votre règlement.
    • Intervalle d'agrégation maximal : sélectionnez 1 minute (recommandé) ou 10 minutes.
    • Destination : sélectionnez Envoyer vers CloudWatch Logs.
    • Groupe de journaux de destination : sélectionnez ou créez un groupe de journaux (par exemple, /aws/vpc/flowlogs).
    • Rôle IAM : sélectionnez un rôle pouvant écrire dans CloudWatch Logs.
    • Format des enregistrements de journaux : sélectionnez Par défaut AWS (version 2) ou Personnalisé (inclut des champs supplémentaires).
  4. Cliquez sur Créer un journal de flux.

Créer un flux dans Google SecOps pour obtenir l'URL du point de terminaison et la clé secrète

  1. Accédez à Paramètres SIEM> Flux.
  2. Cliquez sur + Ajouter un flux.
  3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, AWS VPC Flow Logs - CloudWatch via Firehose).
  4. Sélectionnez Amazon Data Firehose comme Type de source.
  5. Sélectionnez AWS VPC Flow comme Type de journal.
  6. Cliquez sur Suivant.
  7. Spécifiez les valeurs des paramètres d'entrée suivants :
    • Délimiteur de division : n (facultatif).
    • Espace de noms de l'élément : espace de noms de l'élément (par exemple, aws.vpc.flowlogs.cwl).
    • Libellés d'ingestion : libellé à appliquer aux événements de ce flux (par exemple, source=vpc_flow_firehose).
  8. Cliquez sur Suivant.
  9. Vérifiez la configuration du flux, puis cliquez sur Envoyer.
  10. Cliquez sur Générer une clé secrète pour générer une clé secrète permettant d'authentifier ce flux.
  11. Copiez et enregistrez la clé secrète, car vous ne pourrez plus l'afficher.
  12. Accédez à l'onglet Détails.
  13. Copiez l'URL du point de terminaison du flux à partir du champ Informations sur le point de terminaison.
  14. Cliquez sur OK.

Créer une clé API pour le flux Amazon Data Firehose

  1. Accédez à la page Identifiants de la console Google Cloud.
  2. Cliquez sur Créer des identifiants, puis sélectionnez Clé API.
  3. Copiez et enregistrez la clé dans un emplacement sécurisé.
  4. Restreignez l'accès de la clé API à l'API Google SecOps.

Configurer les autorisations IAM pour CloudWatch Logs vers Firehose

  1. Dans la console AWS, accédez à IAM > Stratégies > Créer une stratégie > JSON.

  2. Collez le fichier JSON de stratégie suivant, en remplaçant <region> et <account-id> par votre région et votre ID de compte AWS :

    {
"Version": "2012-10-17",
"Statement": [
   {
      "Effect": "Allow",
      "Action": [
      "firehose:PutRecord",
      "firehose:PutRecordBatch"
      ],
      "Resource": "arn:aws:firehose:<region>:<account-id>:deliverystream/cwlogs-to-secops"
   }
]
}

  3. Nommez la règle CWLtoFirehoseWrite, puis cliquez sur Créer une règle.

  4. Accédez à IAM > Rôles > Créer un rôle.

  5. Sélectionnez Stratégie de confiance personnalisée, puis collez :

    {
"Version": "2012-10-17",
"Statement": [
   {
      "Effect": "Allow",
      "Principal": {
      "Service": "logs.<region>.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
   }
]
}

  6. Associez la stratégie CWLtoFirehoseWrite au rôle.

  7. Nommez le rôle CWLtoFirehoseRole, puis cliquez sur Créer un rôle.

Configurer Amazon Kinesis Data Firehose pour Google SecOps

  1. Dans la console AWS, accédez à Kinesis > Data Firehose > Create delivery stream (Kinesis > Data Firehose > Créer un flux de diffusion).
  2. Fournissez les informations de configuration suivantes :
    • Source : sélectionnez PUT direct ou autres sources.
    • Destination : sélectionnez Point de terminaison HTTP.
    • Nom : cwlogs-to-secops
    • URL du point de terminaison HTTP : saisissez l'URL du point de terminaison HTTPS du flux depuis Google SecOps avec la clé API ajoutée : <ENDPOINT_URL>?key=<API_KEY>.
    • Méthode HTTP : sélectionnez POST.
  3. Sous Clé d'accès :
    • Saisissez la clé secrète générée dans le flux Google SecOps (elle devient l'en-tête X-Amz-Firehose-Access-Key).
    • Conseils de mise en mémoire tampon : définissez Taille de la mémoire tampon = 1 Mio, Intervalle de mise en mémoire tampon = 60 secondes.
    • Compression : sélectionnez Désactivée.
    • Sauvegarde S3 : sélectionnez Désactivée.
    • Conservez les paramètres retry (nouvelle tentative) et logging (journalisation) sur default (par défaut).
  4. Cliquez sur Créer un flux de diffusion.

Abonnez le groupe de journaux CloudWatch au flux Firehose.

  1. Accédez à CloudWatch > Journaux > Groupes de journaux.
  2. Sélectionnez le groupe de journaux cible (par exemple, /aws/vpc/flowlogs).
  3. Ouvrez l'onglet Filtres d'abonnement, puis cliquez sur Créer.
  4. Sélectionnez Create Amazon Kinesis Data Firehose subscription filter (Créer un filtre d'abonnement Amazon Kinesis Data Firehose).
  5. Fournissez les informations de configuration suivantes :
    • Destination : sélectionnez le flux de diffusion cwlogs-to-secops.
    • Accorder l'autorisation : sélectionnez le rôle CWLtoFirehoseRole.
    • Nom du filtre : saisissez all-events.
    • Modèle de filtre : laissez ce champ vide pour envoyer tous les événements.
  6. Cliquez sur Démarrer la diffusion.

Option 3 : Configurer les journaux de flux AWS VPC au format CSV à l'aide d'Amazon S3

Transformer les journaux au format CSV (facultatif)

  1. Assurez-vous que les lignes de votre fichier CSV suivent un ordre de colonnes strict et cohérent qui correspond aux champs que vous avez sélectionnés dans le format personnalisé de votre journal de flux VPC (par exemple, l'ensemble de champs canonique v2 ou votre ensemble v5/v7). N'incluez pas de ligne d'en-tête dans les fichiers de production, sauf si votre option d'analyseur en attend une.
  2. Écrivez les fichiers CSV dans un préfixe stable, par exemple s3://<your-bucket>/vpcflowlogs-csv/<region>/year=<year>/month=<month>/day=<day>/.

Configurer un flux dans Google SecOps pour ingérer les journaux de flux VPC AWS (CSV)

  1. Accédez à Paramètres SIEM> Flux.
  2. Cliquez sur + Ajouter un flux.
  3. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, AWS VPC Flow Logs - S3 (CSV)).
  4. Sélectionnez Amazon S3 V2 comme Type de source.
  5. Sélectionnez Flux VPC AWS (CSV) comme Type de journal.
  6. Cliquez sur Suivant.
  7. Spécifiez les valeurs des paramètres d'entrée suivants :
    • URI S3 : saisissez l'adresse du bucket S3 (par exemple, s3://<your-bucket>/vpcflowlogs-csv/<region>/).
    • Options de suppression de la source : sélectionnez l'option de suppression de votre choix.
    • Âge maximal des fichiers : 180 jours par défaut.
    • ID de clé d'accès : clé d'accès utilisateur ayant accès au bucket S3.
    • Clé d'accès secrète : clé secrète de l'utilisateur ayant accès au bucket S3.
    • Espace de noms de l'élément : espace de noms de l'élément.
    • Libellés d'ingestion : libellé appliqué aux événements de ce flux.
  8. Cliquez sur Suivant.
  9. Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.

Table de mappage UDM

Exemple de journal Champ du journal mappage UDM
"entries: { data: ""7,11111111111,eni-11aa1a1a1a1aa1a,1.1.1.1,2.2.2.2,51256,16020,6,14,3881,1723542839,1723542871,ACCEPT,OK,vpc-1aa1a1a1a1aa1aa,subnet-1aa1a1a1a1aa1a1,i-1aa1a1a1a1aa1a,0,IPv4,1.1.1.1,2.2.2.2,ap-northeast-1,masked_zone,-,-,-,-,ingress,,-,-,-,-,-,-,-,-,-,-"" collection_time: { seconds: 1741159282 nanos: 254633949 } }" 7 metadata.product_version
11111111111 metadata.product_log_id
eni-11aa1a1a1a1aa1a principal.user.product_object_id
1.1.1.1 principal.ip
2.2.2.2 target.ip
51256 principal.port
16020 target.port
6 network.ip_protocol
14 network.sent_packets
3881 network.received_bytes
1723542839 metadata.event_timestamp about.resource.attribute.labels(start_time)
1723542871 metadata.ingested_timestamp about.resource.attribute.labels(end_time)
ACCEPT security_result.action security_result.action_details
OK about.resource.attribute.labels (log-status)
vpc-1aa1a1a1a1aa1a principal.resource.attribute.labels (vpcID)
subnet-a1a1a1a1a1 principal.asset_id
i-1aa1a1a1a1aa1a principal.resource_ancestors.product_object_id
0 about.resource.attribute.labels (type)
IPv4 additional.fields (pkt-srcaddr-ip)
1.1.1.1 intermediary.ip
2.2.2.2 additional.fields (tcp_flags)
ap-northeast-1 not getting mapped
masked_zone not getting mapped
- about.resource.attribute.labels (sublocation_type)
- about.resource.attribute.labels (sublocation_id)
- about.resource.attribute.labels (pkt_src_aws_service)
- about.resource.attribute.labels (pkt_dst_aws_service)
ingress network.direction
additional.fields (traffic_path)
- not getting mapped
- not getting mapped-
"entries: { data: ""7,11111111111,eni-11aa1a1a1a1aa1a,5.5.5.5,2.2.2.2,53102,16020,6,8,2112,1723542839,1723542871,ACCEPT,OK,vpc-1aa1a1a1a1aa1a,subnet-1aa1a1a1a1aa1a,i-1aa1a1a1a1aa1a,0,IPv4,5.5.5.5,2.2.2.2,ap-northeast-1,masked_zone,-,-,-,-,ingress,,-,-,-,-,-,-,-,-,-,-"" collection_time: { seconds: 1741159390 nanos: 374934225 } }" 7 metadata.product_version
11111111111 metadata.product_log_id
eni-11aa1a1a1a1aa1a principal.user.product_object_id
5.5.5.5 principal.ip
2.2.2.2 target.ip
53102 principal.port
16020 target.port
6 network.ip_protocol
8 network.sent_packets
2112 network.received_bytes
1723542839 metadata.event_timestamp about.resource.attribute.labels(start_time)
1723542871 metadata.ingested_timestamp about.resource.attribute.labels(end_time)
ACCEPT security_result.action security_result.action_details
OK about.resource.attribute.labels (log-status)
vpc-1aa1a1a1a1aa1a principal.resource.attribute.labels (vpcID)
subnet-1aa1a1a1a1aa1a principal.asset_id
i-1aa1a1a1a1aa1a principal.resource_ancestors.product_object_id
0 about.resource.attribute.labels (type)
IPv4 additional.fields (pkt-srcaddr-ip)
5.5.5.5 intermediary.ip
2.2.2.2 additional.fields (tcp_flags)
ap-northeast-1 not getting mapped
masked_zone not getting mapped
- about.resource.attribute.labels (sublocation_type)
- about.resource.attribute.labels (sublocation_id)
- about.resource.attribute.labels (pkt_src_aws_service)
- about.resource.attribute.labels (pkt_dst_aws_service)
ingress network.direction
additional.fields (traffic_path)
- not getting mapped
- not getting mapped1
"entries: { data: ""7,11111111111,eni-11aa1a1a1a1aa1a,1.1.2.2,1.1.2.1,36358,42659,6,1091,3.754327e+06,1747981553,1747981582,ACCEPT,OK,vpc-1aa1a1a1a1aa1a,subnet-1aa1a1a1a1aa1a,i-1aa1a1a1a1aa1a,0,IPv4,1.1.2.2,1.1.2.1,ap-northeast-1,apne1-az1,-,-,-,-,egress,1,-,-,-,-,-,-,-,-,-,-,604249"" collection_time: { seconds: 1748238552 nanos: 479960397 } }" 7 metadata.product_version
11111111111 metadata.product_log_id
eni-11aa1a1a1a1aa1a about.resource.attribute.labels
1.1.2.2 principal.ip
1.1.2.1 target.ip
36358 principal.port
42659 target.port
6 network.ip_protocol
1091 network.sent_packets
3.75E+06 network.sent_bytes
1747981553 metadata.event_timestamp about.resource.attribute.labels(start_time)
1747981582 metadata.ingested_timestamp about.resource.attribute.labels(end_time)
ACCEPT security_result.action security_result.action_details
OK about.resource.attribute.labels (log-status)
vpc-1aa1a1a1a1aa1a principal.resource.attribute.labels (vpcID)
subnet-1aa1a1a1a1aa1a principal.asset_id
i-1aa1a1a1a1aa1a principal.resource_ancestors.product_object_id
0 additional.fields (tcp_flags)
IPv4 about.resource.attribute.labels(type)
1.1.2.2 "additional.fields (pkt-srcaddr-ip)
Condition :
if [pkt_dstaddr_ip] != [dstaddr] will map to intermediary.ip"
1.1.2.1 "additional.fields (pkt-dstaddr-ip)
Condition :
if [pkt_srcaddr_ip] != [srcaddr] will map to intermediary.ip"
ap-northeast-1 principal.location.country_or_region
apne1-az1 principal.location.name
- about.resource.attribute.labels (sublocation_type)
- about.resource.attribute.labels (sublocation_id)
- about.resource.attribute.labels (pkt_src_aws_service)
- about.resource.attribute.labels (pkt_dst_aws_service)
egress network.direction
1 additional.fields (traffic_path)
- not getting mapped
604249 not getting mapped
Connection_info.Tcp_flags additional.fields
connection_info.tcp_flags additional.fields
Dst_endpoint.Interface_uid target.user.product_object_id
Log_status additional.fields
Src_endpoint.Instance_uid principal.user.product_object_id
Tcp_flags additional.fields
tcp_flags additional.fields
tgw_dst_az_id target.resource.attribute.cloud.availability_zone
tgw_id target.resource.product_object_id
tgw_src_az_id principal.location.name
Traffic_Bytes network.sent_bytes
Traffic_Packets network.sent_packets

Delta de version

L'équipe SecOps de Google a publié la version 16.0 de l'analyseur des journaux de flux VPC AWS, qui inclut des modifications importantes concernant le mappage des champs de journaux Parser_Name vers les champs UDM et le mappage des types d'événements.

Delta de mappage des champs de journal

Champ du journal Ancien mappage Mappage actuel
bytes network.sent_bytes Removed
Connection_info.Tcp_flags network.dhcp.flags additional.fields
connection_info.tcp_flags network.dhcp.flags additional.fields
Dst_endpoint.Interface_uid additional.fields target.user.product_object_id
flow_direction about.resource.attribute.labels Removed
Log_status about.resource.attribute.labels additional.fields
Src_endpoint.Instance_uid additional.fields principal.user.product_object_id
Tcp_flags network.dhcp.flags additional.fields
tcp_flags network.dhcp.flags additional.fields
tgw_dst_az_id target.resource.attribute.labels target.resource.attribute.cloud.availability_zone
tgw_id additional.fields target.resource.product_object_id
tgw_src_az_id principal.resource.attribute.labels principal.location.name
Traffic_Bytes additional.fields network.sent_bytes
Traffic_Packets additional.fields network.sent_packets

Delta de mappage des types d'événements

Plusieurs événements qui avaient été classés de manière générique sont désormais correctement classés avec des types d'événements pertinents.

Type d'événement Champs du journal Motif
FILE_UNCATEGORIZED Bytes Il est désormais géré dans cette demande d'extraction, mappé à un type d'événement spécifique approprié.
NETWORK_CONNECTION protocol Il est désormais géré dans cette demande d'extraction et associé à un type d'événement spécifique approprié.
NETWORK_UNCATEGORIZED Class_name Il est désormais géré dans cette requête d'extraction et associé à un type d'événement spécifique approprié.
NETWORK_UNCATEGORIZED flow_direction Il est désormais géré dans cette demande d'extraction, mappé à un type d'événement spécifique approprié.
STATUS_UPDATE [src_endpoint][ip] Il est désormais géré dans cette requête d'extraction et associé à un type d'événement spécifique approprié.

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.