Comprendre la disponibilité des données pour la recherche

Compatible avec :

Ce document décrit en détail le cycle de vie de l'ingestion de données, y compris le flux de données de bout en bout et la latence. Il explique également comment ces facteurs ont un impact sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse.

Ingérer et traiter des données dans Google Security Operations

Cette section décrit comment Google SecOps ingère, traite et analyse les données de sécurité.

Ingestion de données

Le pipeline d'ingestion de données commence par collecter vos données de sécurité brutes à partir de sources telles que :

  • Journaux de sécurité de vos systèmes internes
  • Données stockées dans Cloud Storage
  • Votre centre d'opérations de sécurité (SOC) et d'autres systèmes internes

Google SecOps importe ces données sur la plate-forme à l'aide de l'une de ses méthodes d'ingestion sécurisées.

Voici les principales méthodes d'ingestion :

  • Ingestion Google Cloud directe

    Google SecOps utilise l'ingestion directe Google Cloud pour extraire automatiquement les journaux et les données de télémétrie de votre organisation Google Cloud, y compris Cloud Logging, les métadonnées inventaire des éléments cloud et les résultats Security Command Center Premium.

  • API d'ingestion

    Envoyez les données directement à Google SecOps à l'aide de ses API d'ingestion REST publiques. Vous utilisez cette méthode pour les intégrations personnalisées ou pour envoyer des données sous forme de journaux non structurés ou d'événements UDM (Unified Data Model) préformatés.

  • Agent Bindplane

    Vous pouvez déployer l'agent Bindplane polyvalent dans votre environnement (sur site ou dans d'autres clouds) pour collecter les journaux provenant de diverses sources et les transférer vers Google SecOps.

  • Flux de données

    Dans Google SecOps, vous configurez des flux de données pour extraire les journaux de sources tierces, telles que des buckets de stockage cloud tiers spécifiques (comme Amazon S3) ou des API tierces (comme Okta ou Microsoft 365).

Normalisation et enrichissement des données

Une fois les données reçues dans Google SecOps, la plate-forme les traite en suivant les étapes suivantes :

  1. Analyse et normalisation

    Les données de journaux brutes sont d'abord traitées par un analyseur pour valider, extraire et transformer les données de leur format d'origine au format UDM standardisé. Le parsing et la normalisation vous permettent d'analyser des sources de données disparates (par exemple, les journaux de pare-feu, les données de points de terminaison, les journaux cloud) à l'aide d'un schéma unique et cohérent. Le journal brut d'origine reste stocké à côté de l'événement UDM.

  2. Indexation

    Après la normalisation, Google SecOps indexe les données UDM pour fournir des requêtes rapides sur des ensembles de données volumineux, ce qui permet de rechercher les événements UDM. Il indexe également les journaux bruts d'origine pour les recherches de journaux bruts.

  3. Enrichissement des données

    Google SecOps enrichit vos données avec un contexte précieux comme suit :

    • Contexte d'entité (alias) : l'alias enrichit les enregistrements de journaux UDM en identifiant et en ajoutant des données de contexte et des indicateurs pour les entités de journaux. Par exemple, il associe le nom de connexion d'un utilisateur à ses différentes adresses IP, noms d'hôte et adresses MAC, en créant un "graphique d'entités" consolidé.
    • Renseignements sur les menaces : les données sont automatiquement comparées aux nombreux renseignements sur les menaces de Google, y compris à des sources telles que VirusTotal et la navigation sécurisée, pour identifier les domaines, adresses IP, hachages de fichiers malveillants connus, etc.
    • Géolocalisation : les adresses IP sont enrichies avec des données de géolocalisation.
    • WHOIS : les noms de domaine sont enrichis avec leurs informations d'enregistrement public WHOIS.

Disponibilité des données pour l'analyse

Une fois traitées et enrichies, les données UDM sont immédiatement disponibles pour l'analyse :

  • Détection en temps réel

    Le moteur de détection exécute automatiquement les règles personnalisées et celles intégrées à Google pour lesquelles l'option de règle en direct est activée. Il les applique aux données entrantes en direct afin d'identifier les menaces et de générer des alertes.

  • Recherche et investigation

    Un analyste peut utiliser les méthodes de recherche pour effectuer des recherches dans toutes ces données normalisées et enrichies. Par exemple, utilisez la recherche UDM pour passer d'une entité associée à une autre (par exemple, d'un user à son asset, puis à un domain malveillant) et examiner les alertes.

Méthodes de recherche

Google SecOps propose plusieurs méthodes distinctes pour rechercher vos données, chacune ayant un objectif différent.

La recherche UDM est la méthode de recherche principale et la plus rapide, utilisée pour la plupart des investigations.

  • Éléments recherchés : la requête interroge les événements UDM normalisés et indexés. Comme toutes les données sont analysées dans ce format standard, vous pouvez écrire une requête pour trouver la même activité (comme une connexion) dans tous vos produits (par exemple, Windows, Okta, Linux).
  • Fonctionnement : vous utilisez une syntaxe spécifique pour interroger des champs, des opérateurs et des valeurs.
  • Exemple : principal.hostname = "win-server" AND target.ip = "10.1.2.3"

Utilisez la recherche dans les journaux bruts pour trouver des éléments dans le message de journal d'origine non analysé qui n'ont peut-être pas été mappés à un champ UDM.

  • Ce que la recherche analyse : elle analyse le texte brut d'origine des journaux avant qu'ils aient été analysés et normalisés. Cela permet de trouver des chaînes spécifiques, des arguments de ligne de commande ou d'autres artefacts qui ne sont pas des champs UDM indexés.
  • Fonctionnement : utilisez le préfixe raw =. Elle peut être plus lente que la recherche UDM, car elle ne recherche pas les champs indexés.
  • Exemple (chaîne) : raw = "PsExec.exe"
  • Exemple (expression régulière) : raw = /admin\$/

Recherche en langage naturel (Gemini)

La recherche en langage naturel (Gemini) vous permet de poser des questions en langage courant. Gemini les traduit ensuite en requêtes UDM formelles.

  • Ce qu'il recherche : il fournit une interface conversationnelle pour interroger les données UDM.
  • Fonctionnement : vous saisissez une question, et Gemini génère la requête de recherche UDM sous-jacente pour vous. Vous pouvez ensuite l'exécuter ou l'affiner.
  • Exemple : "Montre-moi toutes les tentatives de connexion ayant échoué pour l'utilisateur 'bob' au cours des dernières 24 heures"

La recherche SOAR est spécifique aux composants SOAR. Vous l'utilisez pour gérer les incidents de sécurité, et non pour rechercher des informations dans les journaux.

  • Éléments recherchés : la recherche porte sur les demandes et les entités (comme les utilisateurs, les composants et les adresses IP) dans la plate-forme SOAR.
  • Fonctionnement : vous pouvez utiliser des filtres en texte libre ou basés sur des champs pour trouver des cas par ID, nom d'alerte, état et utilisateur attribué, par exemple.
  • Exemple : Recherchez CaseIds:180 ou AlertName:Brute Force

Pipeline d'ingestion de données pour la recherche de disponibilité

Le système traite les données nouvellement ingérées en plusieurs étapes. La durée de ces étapes détermine le moment où les données nouvellement ingérées deviennent disponibles pour les requêtes et l'analyse.

Le tableau suivant détaille les étapes de traitement des données nouvellement ingérées par méthode de recherche. Une fois ces étapes terminées, les données ingérées récemment deviennent consultables.

Méthode de recherche Données recherchées Étapes de traitement contribuant au délai de disponibilité
Événements UDM normalisés et enrichis
  1. Ingestion : le journal arrive au point d'ingestion Google SecOps.
  2. Analyse : le journal brut est identifié et traité par son analyseur spécifique.
  3. Normalisation : les données sont extraites et mappées au schéma UDM.
  4. Indexation (UDM) : l'enregistrement UDM normalisé est indexé pour une recherche rapide et structurée.
  5. Enrichissement : le contexte (informations sur les menaces, la géolocalisation, les utilisateurs ou les ressources) est ajouté.
Recherche dans les journaux bruts Texte du journal d'origine non analysé
  1. Ingestion : le journal arrive au point d'ingestion Google SecOps.
  2. Indexation (brute) : la chaîne de texte d'origine du journal est indexée.
Recherche SOAR Demandes et entités Il s'agit d'un cycle de vie différent, car il recherche des alertes et des cas, et non des journaux. L'heure est basée sur :
  1. Disponibilité des événements UDM : utilise les mêmes étapes de traitement que celles listées pour la "recherche UDM".
  2. Détection : une règle du moteur de détection doit correspondre à un ou plusieurs événements UDM.
  3. Génération d'alertes : le système crée une alerte formelle à partir de la détection.
  4. Création de la demande : la plate-forme SOAR ingère l'alerte et crée une demande.

Exemple de flux de données

L'exemple suivant montre comment Google SecOps ingère, traite, améliore et analyse vos données de sécurité, en les rendant disponibles pour les recherches et les analyses plus approfondies.

Exemple d'étapes de traitement des données

  1. Récupère les données de sécurité des services cloud tels qu'Amazon S3 ou à partir deGoogle Cloud. Google SecOps chiffre ces données en transit.
  2. Sépare et stocke vos données de sécurité chiffrées dans votre compte. L'accès est limité à vous et à un petit nombre d'employés Google pour l'assistance, le développement et la maintenance des produits.
  3. Analyse et valide les données de sécurité brutes, ce qui facilite leur traitement et leur affichage.
  4. Normalise et indexe les données pour des recherches rapides.
  5. Stocke les données analysées et indexées dans votre compte.
  6. Enrichit les données avec des données contextuelles.
  7. Offre aux utilisateurs un accès sécurisé pour rechercher et examiner leurs données de sécurité.
  8. Compare vos données de sécurité à la base de données de logiciels malveillants VirusTotal pour identifier les correspondances. Dans une vue d'événement Google SecOps, telle que la vue "Asset", cliquez sur Contexte VT pour afficher les informations VirusTotal. Google SecOps ne partage pas vos données de sécurité avec VirusTotal.

Flux et traitement des données vers Google SecOps

Exemples de délai avant la disponibilité de la recherche

Le temps prévu avant que les nouvelles données ingérées ne soient disponibles pour la recherche correspond à la somme des durées des flux le long du flux de données.

Par exemple, le temps moyen typique de disponibilité des données dans la recherche UDM est d'environ 5 minutes et 30 secondes à partir du moment où les données sont envoyées au service d'ingestion Google SecOps.

Étape de flux de données Description Durée du flux
Cloud Storage vers Journaux bruts Ingère les journaux bruts depuis Cloud Storage. Moins de 30 secondes
Journaux de sécurité vers Service de transfert de données Transmet les journaux de sécurité des systèmes internes à la plate-forme. N/A
Service de transfert de données vers Journaux bruts Envoie les données de sécurité brutes reçues de différentes sources au pipeline d'ingestion. Moins de 30 secondes
Journaux bruts vers Analyser et valider Analyse et valide les journaux bruts au format UDM. Moins de trois minutes
Analyser et valider vers Index Indexe les données UDM analysées pour une recherche rapide. N/A
Index vers Données client analysées Rend les données indexées disponibles sous forme de données client analysées pour l'analyse. Moins de 2 minutes

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.