Présentation de l'ingestion de données

Compatible avec :

Google Security Operations ingère les journaux des clients, normalise les données et détecte les alertes de sécurité. Il fournit des fonctionnalités en libre-service pour l'ingestion de données, la détection des menaces, les alertes et la gestion des cas. Google SecOps peut également recevoir des alertes d'autres systèmes SIEM et les analyser.

Présentation de l'architecture d'ingestion de données

Le schéma suivant illustre le flux de vos données de sécurité dans Google SecOps et la manière dont le système traite ces données pour les analyser dans l'interface.

Flux et traitement des données vers Google SecOps

Étapes clés de l'ingestion de données

Google SecOps traite vos données de sécurité comme suit :

  1. Récupère les données de sécurité à partir de services cloud tels qu'Amazon S3 ou le Google Cloud. Google SecOps chiffre ces données en transit.
  2. Sépare et stocke vos données de sécurité chiffrées dans votre compte. L'accès est limité à vous et à un petit nombre d'employés Google pour l'assistance produit, le développement et la maintenance.
  3. Analyse et valide les données de sécurité brutes, ce qui facilite leur traitement et leur affichage.
  4. Indexe les données pour des recherches rapides.
  5. Stocke les données analysées et indexées dans votre compte.
  6. Offre un accès sécurisé aux utilisateurs pour rechercher et examiner leurs données de sécurité.
  7. Compare vos données de sécurité à la base de données de logiciels malveillants VirusTotal pour identifier les correspondances. Dans une vue d'événement Google SecOps, telle que la vue "Asset", cliquez sur VT Context (Contexte VT) pour afficher les informations VirusTotal. Google SecOps ne partage pas vos données de sécurité avec VirusTotal.

Présentation des méthodes d'ingestion de données

Le service d'ingestion Google SecOps sert de passerelle pour toutes les données.

Google SecOps ingère les données à l'aide des systèmes suivants :

  • Google Cloud : Google SecOps récupère les données directement auprès de votre Google Cloud organisation, ce qui constitue la méthode principale pour tous les journaux standards Google Cloud (par exemple, les journaux d'audit, de flux VPC, DNS et de pare-feu). Il s'agit du moyen le plus économique et le plus performant d'intégrer la té Google Cloud lémétrie à Google SecOps. Pour en savoir plus, consultez la section Ingérer Google Cloud des données dans Google SecOps.

  • Agent Bindplane : il s'agit d'un agent géré permettant de collecter les journaux à partir d'environnements et de serveurs sur site (Windows ou Linux). Bindplane est un pipeline de télémétrie qui peut collecter, affiner et exporter des journaux de n'importe quelle source vers Google SecOps. Il offre donc une flexibilité dans la collecte de différents types de journaux qui ne fonctionnent pas avec d'autres méthodes. Vous pouvez l'utiliser pour les données sur site, telles que les journaux de pare-feu, les journaux Windows et Linux, ou pour les données cloud que vous souhaitez prétraiter (par exemple, affiner ou filtrer) avant de les ingérer dans Google SecOps. Vous pouvez également gérer cet agent à l'aide de la console de gestion Bindplane OP. Pour en savoir plus, consultez la section Utiliser l'agent Bindplane.

  • Flux de données : les flux de données sont principalement utilisés pour les journaux basés sur le cloud, lorsque les journaux tiers sont déjà agrégés dans un magasin d'objets, tel que Cloud Storage ou Amazon S3, ou lorsque le tiers est compatible avec les méthodes basées sur le "push", telles que les webhooks. Les flux de données fournissent également une compatibilité prête à l'emploi pour un ensemble prédéfini d'intégrations basées sur des API. Utilisez les flux de données pour les journaux basés sur le cloud, tels que les EDR ou toute application SaaS, ainsi que pour les intégrations spécifiques prédéfinies en tant qu'API directe. Les flux de données envoient les journaux directement au service d'ingestion Google SecOps. Pour en savoir plus, consultez la documentation sur la gestion des flux. Les flux de données sont compatibles avec les lignes de journal d'une taille maximale de 4 Mo.

  • API d'ingestion : utilisez l'API d'ingestion pour les applications personnalisées, à volume élevé ou développées en interne qui ne correspondent pas à d'autres méthodes. Cette méthode est légèrement plus complexe à utiliser que les autres méthodes d'ingestion. Pour en savoir plus, consultez la section API d'ingestion.

  • Redirecteurs : les redirecteurs ne sont plus disponibles. Google vous recommande d'utiliser l'agent Bindplane à la place.

Les analyseurs convertissent les journaux des systèmes clients en Unified Data Model (UDM). Les systèmes en aval de Google SecOps utilisent l'UDM pour fournir des fonctionnalités supplémentaires, y compris des règles et la recherche UDM.

Pour en savoir plus sur le cycle de vie de l'ingestion de données, y compris le flux de données de bout en bout et la latence, ainsi que sur l'impact de ces facteurs sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse, consultez la section Comprendre la disponibilité des données pour la recherche.

Caractéristiques :

  • Lors de l'ingestion de fichiers, le format du contenu du fichier doit correspondre au format attendu de l'extension de fichier pour que les journaux soient ingérés correctement.

  • Les fichiers volumineux (5 à 10 Go ou plus) peuvent retarder considérablement l'ingestion de données.

  • L'ingestion n'est compatible qu'avec l'encodage UTF-8.

Comprendre les délais d'ingestion et de disponibilité des données

La disponibilité des données pour l'analyse dans Google SecOps dépend de plusieurs étapes. Pour résoudre les problèmes de retard, faites la distinction entre les retards du système source et le temps de traitement de Google SecOps.

  • Retards du système source (avant l'ingestion) : de nombreuses sources de données présentent des latences inhérentes. Il est possible que les données ne soient pas disponibles pour la collecte immédiatement après un événement. Les causes les plus courantes sont les suivantes :

    • Planification du traitement et du traitement par lots des sources.
    • Temps nécessaire pour écrire des événements dans des fichiers journaux ou des points de terminaison d'API.
    • Limites de débit des API.
    • Différence entre l'horodatage de l'événement et le moment où le journal est disponible pour l'ingestion (par exemple, createTime).

  • Retards d'ingestion et de traitement de Google SecOps : une fois que les données atteignent un point d'ingestion, les étapes suivantes peuvent entraîner des retards :

    • Intervalle de collecte : pour les sources mises en commun (telles que les API ou les buckets de stockage), la fréquence de flux configurée (par exemple, toutes les cinq minutes ou toutes les heures) détermine le délai maximal.
    • Pipeline interne : analyse, normalisation, indexation et enrichissement. Pour en savoir plus, consultez la section Comprendre la disponibilité des données pour la recherche.

Si vous rencontrez des retards, déterminez si la source ou Google SecOps en est la cause. Par exemple, les journaux des services de stockage d'objets blob ne sont pas en temps réel et dépendent de la fréquence d'interrogation.

Pour obtenir la liste des types de journaux présentant des retards connus côté source, consultez la documentation de référence de l'API de gestion des flux.

Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels Google SecOps.