Présentation de l'ingestion de données

Compatible avec :

Google SecOps SIEM

Google Security Operations ingère les journaux des clients, normalise les données et détecte les alertes de sécurité. Il fournit des fonctionnalités en libre-service pour l'ingestion de données, la détection des menaces, les alertes et la gestion des cas. Google SecOps peut également recevoir des alertes d'autres systèmes SIEM et les analyser.

Présentation de l'architecture d'ingestion de données

Le schéma suivant illustre le flux de vos données de sécurité vers Google SecOps et la façon dont le système traite ces données pour les analyser dans l'interface.

Remarque : Pour en savoir plus sur le cycle de vie de l'ingestion de données, y compris sur le flux de données de bout en bout et la latence, ainsi que sur l'impact de ces facteurs sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse, consultez Comprendre la disponibilité des données pour la recherche.

Étapes clés de l'ingestion de données

Google SecOps traite vos données de sécurité comme suit :

1. Récupère les données de sécurité des services cloud tels qu'Amazon S3 ouGoogle Cloud. Google SecOps chiffre ces données en transit.
2. Sépare et stocke vos données de sécurité chiffrées dans votre compte. L'accès est limité à vous et à un petit nombre d'employés Google pour l'assistance, le développement et la maintenance du produit.
3. Analyse et valide les données de sécurité brutes, ce qui facilite leur traitement et leur affichage.
4. Indexe les données pour des recherches rapides.
5. Stocke les données analysées et indexées dans votre compte.
6. Offre aux utilisateurs un accès sécurisé pour rechercher et examiner leurs données de sécurité.
7. Compare vos données de sécurité à la base de données de logiciels malveillants VirusTotal pour identifier les correspondances. Dans une vue d'événement Google SecOps, telle que la vue "Asset", cliquez sur Contexte VT pour afficher les informations VirusTotal. Google SecOps ne partage pas vos données de sécurité avec VirusTotal.

Présentation des méthodes d'ingestion de données

Le service d'ingestion Google SecOps sert de passerelle pour toutes les données.

Google SecOps ingère les données à l'aide des systèmes suivants :

• Google Cloud : Google SecOps récupère les données directement depuis votre organisation Google Cloud , qui est la méthode principale pour tous les journaux Google Cloud standards (par exemple, les journaux d'audit, de flux VPC, DNS et de pare-feu). Il s'agit du moyen le plus économique et le plus performant d'importer la télémétrie Google Cloud dans Google SecOps. Pour en savoir plus, consultez Ingérer des données Google Cloud dans Google SecOps.

• Agent Bindplane : il s'agit d'un agent géré permettant de collecter les journaux des environnements et serveurs sur site (Windows ou Linux). Bindplane est un pipeline de télémétrie qui peut collecter, affiner et exporter des journaux depuis n'importe quelle source vers Google SecOps. Il offre ainsi une grande flexibilité pour collecter différents types de journaux qui ne fonctionnent pas avec d'autres méthodes. Vous pouvez l'utiliser pour les données sur site, telles que les journaux de pare-feu, les journaux Windows et Linux, ou pour les données cloud que vous souhaitez prétraiter (par exemple, affiner ou filtrer) avant de les ingérer dans Google SecOps. Vous pouvez également gérer cet agent à l'aide de la console de gestion Bindplane OP. Pour en savoir plus, consultez Utiliser l'agent Bindplane.

• Flux de données : les flux de données sont principalement utilisés pour les journaux basés sur le cloud, lorsque les journaux tiers sont déjà agrégés dans un magasin d 'objets, tel que Cloud Storage ou Amazon S3, ou lorsque le tiers accepte les méthodes basées sur l'envoi (push), telles que les webhooks. Les flux de données offrent également une compatibilité prête à l'emploi pour un ensemble prédéfini d'intégrations basées sur des API. Utilisez les flux de données pour les journaux basés sur le cloud, tels que les EDR ou toute application SaaS, ainsi que pour les intégrations spécifiques prédéfinies en tant qu'API directe. Les flux de données envoient les journaux directement au service d'ingestion Google SecOps. Pour en savoir plus, consultez la documentation sur la gestion des flux. Les flux de données acceptent les lignes de journaux d'une taille maximale de 4 Mo. Vous pouvez surveiller l'activité et les erreurs liées aux flux à l'aide de Cloud Logging. Pour en savoir plus, consultez Analyser l'activité des flux avec Cloud Logging.

• Méthodes d'ingestion de l'API Chronicle : utilisez les méthodes d'ingestion de l'API Chronicle modernes pour les applications personnalisées, à volume élevé ou développées en interne qui ne correspondent pas aux autres méthodes. Cette méthode est légèrement plus complexe à utiliser que les autres méthodes d'ingestion.

Remarque : L'ancienne API d'ingestion est obsolète. Si vous l'utilisez, prenez les mesures nécessaires pour migrer, comme décrit dans Migrer de l'ancienne API SIEM vers l'API Chronicle.

• Redirecteurs : les redirecteurs sont désormais en fin de vie. Google vous recommande d'utiliser l'agent Bindplane à la place.

Les analyseurs convertissent les journaux des systèmes clients en modèle de données unifié (UDM). Les systèmes en aval de Google SecOps utilisent l'UDM pour fournir des fonctionnalités supplémentaires, y compris des règles et la recherche UDM.

Pour en savoir plus sur le cycle de vie de l'ingestion de données, y compris sur le flux de données de bout en bout et la latence, et sur la façon dont ces facteurs ont un impact sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse, consultez Comprendre la disponibilité des données pour la recherche.

Remarque : Pour surveiller l'état opérationnel et l'intégrité de toutes vos sources de données et de tous vos analyseurs, accédez au Centre d'intégrité. Il inclut des informations sur les sources et les types de journaux défaillants et irréguliers, et fournit un contexte pour diagnostiquer et résoudre les problèmes.

Spécifications :

• Lorsque vous ingérez des fichiers, le format du contenu du fichier doit correspondre au format attendu de l'extension du fichier pour que les journaux soient ingérés correctement.

• Les fichiers volumineux (5 à 10 Go ou plus) peuvent retarder considérablement l'ingestion de données.

• L'ingestion n'accepte que l'encodage UTF-8.

Comprendre les délais d'ingestion et de disponibilité des données

La disponibilité des données pour l'analyse dans Google SecOps dépend de plusieurs étapes. Pour résoudre les problèmes de retard, faites la distinction entre les retards du système source et le temps de traitement de Google SecOps.

• Retards du système source (avant l'ingestion) : de nombreuses sources de données présentent des latences inhérentes. Il est possible que les données ne soient pas disponibles pour la collecte immédiatement après un événement. Les causes les plus courantes sont les suivantes :

  • Programmes de traitement et de regroupement des sources.
  • Temps nécessaire pour écrire des événements dans des fichiers journaux ou des points de terminaison d'API.
  • Limites de débit des API.
  • Différence entre le code temporel de l'événement et l'heure à laquelle le journal est disponible pour l'ingestion (par exemple, createTime).

• Retards d'ingestion et de traitement dans Google SecOps : une fois que les données ont atteint un point d'ingestion, les étapes suivantes peuvent entraîner des retards :

  • Intervalle de collecte : pour les sources groupées (telles que les API ou les buckets de stockage), la fréquence de flux configurée (par exemple, toutes les cinq minutes ou toutes les heures) détermine le délai maximal.
  • Pipeline interne : analyse, normalisation, indexation et enrichissement. Pour en savoir plus, consultez Comprendre la disponibilité des données pour la recherche.

Si vous constatez des retards, déterminez si la source ou Google SecOps en sont la cause. Par exemple, les journaux des services de stockage Blob ne sont pas en temps réel et dépendent de la fréquence d'interrogation.

Pour obtenir la liste des types de journaux présentant des délais connus côté source, consultez la documentation de référence de l'API Feed Management.

Vous avez encore besoin d'aide ? Obtenez des réponses auprès des membres de la communauté et des professionnels Google SecOps.