Exporter vers un projet BigQuery géré par Google

Compatible avec :

Google SecOps fournit un lac de données géré de télémétrie normalisée et enrichie en renseignements sur les menaces en exportant les données vers BigQuery. Vous pouvez ainsi effectuer les opérations suivantes :

  • Exécutez des requêtes ponctuelles directement dans BigQuery.
  • Utilisez vos propres outils d'informatique décisionnelle, tels que Looker ou Microsoft Power BI, pour créer des tableaux de bord, des rapports et des analyses.
  • Associez les données Google SecOps à des ensembles de données tiers.
  • Exécutez des analyses à l'aide d'outils de data science ou de machine learning.
  • Exécutez des rapports à l'aide de tableaux de bord par défaut prédéfinis et de tableaux de bord personnalisés.

Google SecOps exporte les catégories de données suivantes vers BigQuery :

  • Enregistrements d'événements UDM : enregistrements UDM créés à partir des données de journaux ingérées par les clients. Ces enregistrements sont enrichis avec des informations sur les alias.
  • Correspondances de règles (détections) : instances où une règle correspond à un ou plusieurs événements.
  • Correspondances d'IoC : artefacts (par exemple, domaines, adresses IP) provenant d'événements correspondant à des flux d'indicateurs de compromission (IoC). Cela inclut les correspondances avec les flux mondiaux et les flux spécifiques aux clients.
  • Les métriques d'ingestion incluent des statistiques telles que le nombre de lignes de journaux ingérées, le nombre d'événements produits à partir des journaux, le nombre d'erreurs de journaux indiquant que les journaux n'ont pas pu être analysés et l'état des transférateurs Google SecOps. Pour en savoir plus, consultez le schéma BigQuery des métriques d'ingestion.
  • Graphique d'entités et relations entre entités : stocke la description des entités et de leurs relations avec d'autres entités.

Présentation des tables

Google SecOps crée l'ensemble de données datalake dans BigQuery et les tables suivantes :

  • entity_enum_value_to_name_mapping : pour les types énumérés dans le tableau entity_graph, mappe les valeurs numériques aux valeurs de chaîne.
  • entity_graph : stocke des données sur les entités UDM.
  • events : stocke les données sur les événements UDM.
  • ingestion_metrics : stocke les statistiques liées à l'ingestion et à la normalisation des données provenant de sources d'ingestion spécifiques, telles que les forwarders Google SecOps, les flux et l'API Ingestion.
  • ioc_matches : stocke les correspondances d'IOC trouvées par rapport aux événements UDM.
  • job_metadata : table interne utilisée pour suivre l'exportation des données vers BigQuery.
  • rule_detections : stocke les détections renvoyées par les règles exécutées dans Google SecOps. Ce tableau n'inclut que les détections provenant de règles actives (par exemple, activées et non supprimées) au moment de l'exécution du processus d'exportation. Les détections issues de règles désactivées ou supprimées avant l'exécution du job d'exportation ne seront pas incluses dans ce tableau, même si la date de détection se situe dans la plage de la requête.
  • rulesets : stocke des informations sur les détections optimisées de Google SecOps, y compris la catégorie à laquelle appartient chaque ensemble de règles, s'il est activé et l'état actuel des alertes.
  • udm_enum_value_to_name_mapping : pour les types énumérés dans le tableau des événements, mappe les valeurs numériques aux valeurs de chaîne.
  • udm_events_aggregates : stocke les données agrégées résumées par heure des événements normalisés. Ce tableau est rempli au mieux. Il est possible que les données de chaque heure ne soient pas immédiatement disponibles et que la population soit retardée.

Fraîcheur des données et calendrier d'exportation

Les données des tables BigQuery sont mises à jour à des intervalles différents. Comprendre ces éléments peut vous aider à définir des attentes concernant la disponibilité des données :

  • Événements UDM (table events) : généralement mis à jour fréquemment, avec des données disponibles environ deux heures après l'ingestion.
  • Exportations au mieux : de nombreux autres ensembles de données sont exportés au mieux. Cela inclut, sans s'y limiter :
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Pour les tables exportées dans la mesure du possible, les mises à jour sont régulières, mais aucune latence ni aucun calendrier précis ne sont garantis. Des retards peuvent se produire. Pour les agrégations horaires comme udm_events_aggregates, les données de chaque heure ne sont pas forcément disponibles immédiatement à la fin de l'heure. Les données devraient généralement être mises à jour sous un jour.

Accéder aux données dans BigQuery

Vous pouvez exécuter des requêtes directement dans BigQuery ou connecter votre propre outil de business intelligence, tel que Looker ou Microsoft Power BI, à BigQuery.

Pour activer l'accès à l'instance BigQuery, utilisez l'API Google SecOps BigQuery Access. Vous pouvez fournir l'adresse e-mail d'un utilisateur ou d'un groupe dont vous êtes propriétaire. Si vous configurez l'accès à un groupe, utilisez-le pour gérer les membres de l'équipe qui peuvent accéder à l'instance BigQuery.

Pour connecter Looker ou un autre outil d'informatique décisionnelle à BigQuery, contactez votre représentant Google SecOps afin d'obtenir les identifiants du compte de service qui vous permettront de connecter une application à l'ensemble de données Google SecOps BigQuery. Le compte de service disposera du rôle IAM Lecteur de données BigQuery (roles/bigquery.dataViewer) et du rôle Lecteur de tâches BigQuery (roles/bigquery.jobUser).

Conservation des données

Pour les clients Google SecOps Enterprise Plus qui utilisent BigQuery géré par Google, les paramètres de conservation suivants s'appliquent :

  • Anciens clients Google SecOps Enterprise Plus (en cours de migration) :

    • Tables ioc_matches et rule_detections : aucune limite de conservation n'est définie en raison du faible volume.
    • entity_graph, udm_events_aggregates et les autres tables partitionnées, à l'exception de la table events : 180 jours.
    • Table events (événements UDM) : les données sont conservées conformément à votre contrat Google SecOps ou pendant 366 jours par défaut si aucune durée n'est spécifiée dans le contrat.

  • Nouveaux clients : la durée de conservation est régie par le contrat Google SecOps (comme pour la fonctionnalité BigQuery Export avancée).

Étapes suivantes

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.