Ingestion de données Google SecOps

Compatible avec :

Google SecOps SIEM

Google Security Operations ingère les journaux des clients, normalise les données et détecte les alertes de sécurité. Il fournit des fonctionnalités en libre-service pour l'ingestion de données, la détection des menaces, les alertes et la gestion des cas. Google SecOps peut également recevoir des alertes d'autres systèmes SIEM et les analyser.

Remarque : Les fichiers volumineux (5 à 10 Go ou plus) peuvent retarder considérablement l'ingestion des données.

Remarque : L'ingestion n'est compatible qu'avec l'encodage UTF-8.

Ingestion des journaux Google SecOps

Le service d'ingestion Google SecOps sert de passerelle pour toutes les données.

Google SecOps ingère les données à l'aide des systèmes suivants :

• Google Cloud : Google SecOps récupère les données directement depuis votre organisation Google Cloud . Il s'agit de la méthode principale pour tous les journaux Google Cloud standards (par exemple, les journaux d'audit, de flux VPC, DNS et de pare-feu). Il s'agit du moyen le plus économique et le plus performant d'importer la télémétrie Google Cloud dans Google SecOps. Pour en savoir plus, consultez Ingérer des données Google Cloud dans Google SecOps.

• Agent Bindplane : il s'agit d'un agent géré permettant de collecter les journaux des environnements et serveurs sur site (Windows ou Linux). Bindplane est un pipeline de télémétrie qui peut collecter, affiner et exporter des journaux depuis n'importe quelle source vers Google SecOps. Il offre ainsi une grande flexibilité pour collecter différents types de journaux qui ne fonctionnent pas avec d'autres méthodes. Vous pouvez l'utiliser pour les données sur site, telles que les journaux de pare-feu, les journaux Windows et Linux, ou pour les données cloud que vous souhaitez prétraiter (par exemple, affiner ou filtrer) avant de les ingérer dans Google SecOps. Vous pouvez également gérer cet agent à l'aide de la console de gestion Bindplane OP. Pour en savoir plus, consultez Utiliser l'agent BindPlane.

• Flux de données : les flux de données sont principalement utilisés pour les journaux basés sur le cloud, lorsque les journaux tiers sont déjà agrégés dans un magasin d 'objets, tel que Cloud Storage ou Amazon S3, ou lorsque le tiers accepte les méthodes basées sur l'envoi (push), telles que les webhook. Les flux de données offrent également une compatibilité prête à l'emploi pour un ensemble prédéfini d'intégrations basées sur des API. Utilisez les flux de données pour les journaux basés sur le cloud, tels que les EDR ou toute application SaaS, ainsi que pour les intégrations spécifiques prédéfinies en tant qu'API directe. Les flux de données envoient les journaux directement au service d'ingestion Google SecOps. Pour en savoir plus, consultez la documentation sur la gestion des flux. Les flux de données acceptent les lignes de journaux d'une taille maximale de 4 Mo.

• API d'ingestion : utilisez l'API d'ingestion pour les applications personnalisées, à volume élevé ou développées en interne qui ne correspondent pas aux autres méthodes. Cette méthode est légèrement plus complexe à utiliser que les autres méthodes d'ingestion. Pour en savoir plus, consultez la documentation de l'API Ingestion.

• Redirecteurs : les redirecteurs sont désormais en fin de vie. Google vous recommande d'utiliser l'agent Bindplane à la place.

Les analyseurs convertissent les journaux des systèmes clients en modèle de données unifié (UDM). Les systèmes en aval de Google SecOps utilisent l'UDM pour fournir des fonctionnalités supplémentaires, y compris des règles et la recherche UDM.

Remarque : L'ingestion est compatible avec le format de fichier Parquet.

Pour en savoir plus sur le cycle de vie de l'ingestion de données, y compris sur le flux de données de bout en bout et la latence, ainsi que sur l'impact de ces facteurs sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse, consultez Comprendre la disponibilité des données pour la recherche.

Remarque : Pour surveiller l'état de fonctionnement et l'intégrité de toutes vos sources de données et de tous vos analyseurs, accédez au Centre d'intégrité. Il inclut des informations sur les sources et les types de journaux anormaux, et fournit un contexte pour diagnostiquer et résoudre les problèmes.

Remarque : Google SecOps recommande d'utiliser les formats UTC ou ISO 8601 pour les codes temporels des journaux.

Types d'ingestion Google SecOps

Google SecOps peut ingérer à la fois des journaux et des alertes, mais ne prend en charge que les alertes d'événement unique. Vous pouvez utiliser la recherche UDM pour trouver les alertes Google SecOps ingérées et intégrées.

Google SecOps est compatible avec les types d'ingestion de données suivants :

Journaux bruts

Google SecOps ingère les journaux bruts à l'aide de redirecteurs, de l'API d'ingestion, de flux de données ou directement à partir de Google Cloud.

Utilisez une charge utile JSON sur une seule ligne pour l'ingestion de journaux bruts. Par exemple : { "firstName": "Alex", "lastName": "N", "age": 30, "isStudent": false, "address": { "streetAddress": "1800 Amphibious Blvd", "city": "Anytown", "state": "CA", "postalCode": "94045" }, "phoneNumbers": [ { "type": "home", "number": "800-555-0199" }, { "type": "mobile", "number": "800-554-0199" } ], "hobbies": ["reading", "hiking", "cooking"]}

Si vous envoyez une charge utile multiligne, le système interprète chaque ligne comme une entrée de journal distincte.

Remarque : Si votre source de données génère des charges utiles JSON multilignes, utilisez un script personnalisé ou un outil de transformation de données pour les traiter au format monoligne. Après le traitement, envoyez les charges utiles à l'API d'ingestion. Vous pouvez également utiliser le paramètre de délimiteur de fractionnement dans un flux de webhook pour fractionner les lignes de journaux.

Alertes provenant d'autres systèmes SIEM

Google SecOps peut ingérer des alertes provenant d'autres systèmes SIEM, EDR ou de gestion des tickets, comme suit :

1. Recevez des alertes à l'aide des connecteurs Google SecOps ou des webhooks Google SecOps.
2. Ingérez les événements associés à chaque alerte et créez une détection correspondante.
3. Traitez les événements et les détections ingérés.

Vous pouvez créer des règles de moteur de détection pour identifier des modèles dans les événements ingérés et générer des détections supplémentaires.

Remarque : Les règles du moteur de détection n'identifient pas les schémas dans les alertes ingérées à partir de Google SecOps.

Flux d'ingestion de données

Le schéma suivant illustre la façon dont vos données de sécurité sont transmises à Google SecOps et comment le système les traite pour les analyser dans l'interface.

Remarque : Pour en savoir plus sur le cycle de vie de l'ingestion de données, y compris sur le flux de données de bout en bout et la latence, ainsi que sur l'impact de ces facteurs sur la disponibilité des données récemment ingérées pour les requêtes et l'analyse, consultez Comprendre la disponibilité des données pour la recherche.

Traiter les données de sécurité des clients dans Google SecOps

Google SecOps traite vos données de sécurité comme suit :

1. Récupère les données de sécurité des services cloud tels qu'Amazon S3 ouGoogle Cloud. Google SecOps chiffre ces données en transit.
2. Sépare et stocke vos données de sécurité chiffrées dans votre compte. L'accès est limité à vous et à un petit nombre d'employés Google pour l'assistance, le développement et la maintenance des produits.
3. Analyse et valide les données de sécurité brutes, ce qui facilite leur traitement et leur affichage.
4. Indexe les données pour des recherches rapides.
5. Stocke les données analysées et indexées dans votre compte.
6. Offre aux utilisateurs un accès sécurisé pour rechercher et examiner leurs données de sécurité.
7. Compare vos données de sécurité à la base de données de logiciels malveillants VirusTotal pour identifier les correspondances. Dans une vue d'événement Google SecOps, telle que la vue "Asset", cliquez sur Contexte VT pour afficher les informations VirusTotal. Google SecOps ne partage pas vos données de sécurité avec VirusTotal.

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.